Automated Verification System Framework

Tran Van Ngoc|
#type/method#status/permanent

TL;DR

Khung phương pháp này định nghĩa cấu trúc 4 tầng kiểm chứng tự động (Automated Verification Stack) và mô hình phân định trách nhiệm Hai Chìa Khóa (Dual-Key Control Model) giữa con người và AI Agents. Phương pháp này loại bỏ quá tải nhận thức do đọc dò code ngẫu nhiên bằng mắt, đồng thời ngăn chặn bẫy ngụy biện tự xác nhận vòng tròn (Self-Referential Validation Bias) khi AI tự sinh code và tự duyệt test của chính nó.

Core Concept

Hệ thống kiểm chứng tự động trong kỹ nghệ phần mềm hiện đại vận hành theo 4 tầng bảo vệ độc lập:

[Layer 4: CI/CD Pipeline & Mutation Testing]  <-- Kiểm tra chất lượng của chính bộ Test
      ↑
[Layer 3: Property-Based Testing Systems]    <-- Tự động sinh 1,000+ data samples kiểm tra Invariants
      ↑
[Layer 2: Contract & Schema Enforcement]     <-- Giam giữ kiểu dữ liệu & ranh giới API
      ↑
[Layer 1: Unit & Integration Test Suites]    <-- Kiểm tra kịch bản nghiệp vụ cụ thể

Layer 1: Unit & Integration Test Suites

  • Công cụ: Vitest, Jest, PyTest, Go test, JUnit.
  • Vai trò: Kiểm tra tính đúng đắn của các hàm, component, và API endpoints đối với các đầu vào/đầu ra cố định đã biết.
  • Quy tắc: Mọi tính năng mới hoặc chỉnh sửa bug phải kèm theo ít nhất một ca kiểm thử đơn vị hoặc tích hợp tương ứng.

Layer 2: Contract & Schema Enforcement

  • Công cụ: TypeScript Strict Mode, Zod, TypeBox, OpenAPI Specifications, gRPC Protobuf.
  • Vai trò: Ràng buộc cấu trúc dữ liệu ngay tại thời điểm biên dịch (Compile-time) hoặc tại ranh giới nhận dữ liệu (Runtime Boundaries).
  • Quy tắc: Từ chối mọi dữ liệu không thỏa mãn Schema trước khi cho phép đi sâu vào logic nghiệp vụ bên trong.

Layer 3: Property-Based Testing Systems

  • Công cụ: fast-check (TypeScript), Hypothesis (Python), QuickCheck (Haskell/Erlang).
  • Vai trò: Tự động tạo ngẫu nhiên hàng nghìn mẫu dữ liệu khắc nghiệt (chuỗi rỗng, số âm, ký tự Unicode đặc biệt, mảng quá giới hạn) để kiểm tra các Thuộc tính Bất biến (System Invariants).
  • Quy tắc: Mệnh đề bất biến phải đúng với mọi dữ liệu đầu vào ngẫu nhiên trong miền hợp lệ (ví dụ: forall x: decrypt(encrypt(x, key)) == x).

Layer 4: CI/CD Pipeline & Mutation Testing

  • Công cụ: GitHub Actions, GitLab CI, Stryker Mutator (JS/TS), Mutmut (Python).
  • Vai trò:
    • CI/CD Pipeline: Tự động thực thi toàn bộ bộ test trên môi trường sandbox độc lập mỗi khi tạo Pull Request.
    • Mutation Testing: Tự động cố tình bơm lỗi đột biến vào mã nguồn (thay đổi toán tử logic) để đo lường xem bộ test có phát hiện ra lỗi hay không.
  • Quy tắc: Một bộ test chỉ đạt yêu cầu khi có tỷ lệ tiêu diệt đột biến (Mutant Kill Rate) cao.

Dual-Key Control Matrix (Phân Định Trách Nhiệm Human vs AI)

Để tránh hiện tượng AI tự sinh code sai và tự viết test báo xanh giả tạo (Self-Referential Validation Bias), trách nhiệm được phân định theo bảng matrix sau:

Hạng MụcCon Người (Human Engineer)AI AgentHệ Thống Tự Động (CI/CD Engine)
System SpecificationsTrực tiếp định nghĩa & phê duyệtHỗ trợ đề xuất edge casesLưu trữ trong Git repository
Core InvariantsTrực tiếp viết mệnh đề bất biếnKhông được quyền sửa đổiChạy qua Property-Based Testing
Implementation CodeXây dựng kiến trúc & kiểm duyệtSinh mã thực thi chi tiếtThực thi linter & type checker
Boundary Test CasesĐưa ra tiêu chí chấp nhậnTự động sinh tổ hợp test biênChạy tự động trên môi trường isolation
Test Quality AuditĐặt ngưỡng mutant kill rateSửa code khi test báo đỏChạy Mutation Testing tự động

Practical Implementation

Khi triển khai mô hình kiểm chứng tự động với AI Coding Workflow:

  1. Bước 1 (Specification Freeze): Con người định nghĩa Hợp đồng dữ liệu (TypeScript Interfaces / Zod Schemas) và danh sách System Invariants trước khi yêu cầu AI viết code.
  2. Bước 2 (Invariant Test Writing): Viết bộ khung kiểm thử (Test Framework) hoặc Property-Based Test miêu tả các điều kiện không bao giờ được sai của hệ thống.
  3. Bước 3 (AI Code Generation): Cung cấp Specification và Test Framework cho AI Agent để AI tự sinh mã thực thi (Implementation Code).
  4. Bước 4 (Automated Loop Execution): Chạy bộ test tự động. Nếu test báo đỏ, yêu cầu AI đọc log lỗi và tự sửa code cho đến khi toàn bộ test suite chuyển sang xanh.
  5. Bước 5 (Mutation Verification): Thực thi Mutation Testing qua CI/CD để đảm bảo code AI không qua mặt bộ test bằng các câu lệnh rỗng hoặc giả lập không chặt chẽ.