Bộ test báo xanh nhưng không kiểm gì

Vấn đề

Nền tảng SaaS cho ngành xây dựng nhà ở tại Mỹ: web quản trị, ứng dụng di động cho thợ, cổng nhà cung cấp, 15 repo. Bảng CI phần lớn báo xanh, nhưng bug vẫn lọt tới khách.

Jira, đầu tháng 9Bug tồn khi tôi nhận vai trò QA/QC Lead

• Mở quá 30 ngày
• Mở dưới 30 ngày
• Không còn mở

• 244 bug156 đang mở

  926488

Bối cảnh và vai trò

• BA đầu mối với khách hàng Mỹ, kiêm hỗ trợ QA; từ 09/2026 kiêm QA/QC Lead.
• Không có quyền mở pull request trên repo sản phẩm, nên mọi phát hiện phải kèm đủ bằng chứng để Dev tự sửa.
• Quy trình có agent AI hỗ trợ do tôi thiết kế; mọi kết luận được đối chiếu với log chạy thật.
• Tên khách hàng, tên sản phẩm và chi tiết lỗ hổng được ẩn.

Bước 1: Kiểm toán bộ test

Tôi chạy lại toàn bộ test ở 6 repo và đọc từng loại test, không tin vào màu xanh trên CI.

Kiểm toán bộ testTrước và sau khi sửa gốc (07/2026)

• Trước
• Sau

• Test giao diện giả, luôn đạt mà không kiểm gì✓ 146 → 0

  146
  0

• Test backend chạy đạt✓ 35 đạt, 195 lỗi → 276 đạt, 0 lỗi

  35 đạt, 195 lỗi
  276 đạt, 0 lỗi

• Độ phủ ứng dụng di động cho thợ✓ 12,6% → 21%

  12,6%
  21%

• Unit test cổng nhà cung cấp✓ 0 → 133

  0
  133

Nguyên nhân195 test lỗi, một nguyên nhân chiếm 183

• Hỏng ở bước khởi tạo vì một lỗi ánh xạ kiểu jsonb
• Các nhóm lỗi khác

• 195 test lỗi195

  18312

Bước 2: Kiểm toán CI

CI báo xanh chưa chắc là test đã chạy. Tôi đối chiếu cấu hình pipeline với lịch sử chạy thật của từng repo (09/2026).

Kiểm toán CIBa chỗ màu xanh không mang nghĩa gì

1. 1Code mới
2. 2Pipelinenhiều bộ test không được gọi tới
   cấu hình bỏ qua lỗi, vẫn báo xanh
3. 3Bước testjob đêm: 6/6 bước con lỗi
   không repo nào bật branch protection
4. 4Merge vào nhánh chính

Bước 3: Kiểm thử từng ticket bằng Tester Kit

Máy tách ticket, comment và PR thành danh sách nguồn; mỗi test case phải trỏ về một nguồn, rồi qua cổng độ phủ và một phiên AI khác soát độc lập trước khi chạy.

Tester Kit

1. 1Ticket, comment, PRtách thành nguồn
2. 2Test case có nguồn
3. 3Cổng độ phủ
4. 4Soát độc lậpmột phiên AI khác
5. 5Chạy API và giao diện
6. 6Tester kýmột file Excel

Bước 4: Kiểm thử cả một epic phân quyền

Tính năng phân quyền theo công ty (multi-tenant) được chia thành nhiều ticket. Từng ticket riêng lẻ đều đạt.

Vì sao test theo epic

1. 1Từng ticketđều đạt khi test riêng
2. 2Chỗ các ticket gặp nhauMàn hình mớiBản xuất ExcelAPI dùng chung
3. 3Dữ liệu lọt sang công ty khác

Kết quả epicPhân quyền theo công ty

• Đạt
• Lỗi thật
• Còn lại

• 146 case146

  128108

Kết quả

• Test backend chạy được trở lại: từ 35 đạt, 195 lỗi lên 276 đạt, 0 lỗi; 146 test giả bị loại; smoke test thành cổng chặn merge.
• Danh sách cụ thể các test đang nằm im và 4 chỗ sửa CI để bật lại, kèm bằng chứng từ lịch sử chạy.
• 901 test case tự động trong 2 tuần; 9 kết quả đạt giả bị chặn trước khi được tin.
• 10 lỗi cách ly dữ liệu giữa các công ty được tìm ra trước phát hành.

Điều tôi học được

• Màu xanh trên CI chỉ có nghĩa khi đã chứng minh bước test thực sự chạy và thực sự chặn.
• Hàng trăm test lỗi thường chung vài nguyên nhân; tìm gốc nhanh hơn sửa ngọn.
• Lỗi phân quyền nằm ở chỗ các tính năng gặp nhau, nên phải test ở mức epic chứ không chỉ từng ticket.