Skip to main content

Sample documents

Agent-assisted test execution report

The report keeps two columns clearly apart: the agent’s preliminary result and the result after the tester’s verification. The part most worth reading is the cases where the tester changed the result.

Related case study: Tester Kit: agents run the tests, people decide

Test execution report

Document in Vietnamese

Module
Học phí và công nợ
Bản build
staging
Phiên agent
12 chạy song song
Tổng số case
86
  • TesterNgười quyết định
  • BAXác nhận
Chưa phát hành
Cách bản báo cáo này được tạo
  • Agent
  • Tester
  1. AgentChạy case tự động12 phiên song song×12
  2. AgentKết quả sơ bộkèm ảnh, log, truy vấn
  3. TesterXác minh evidence
  4. TesterTest taycase không giao agent
  5. TesterQuyết định phát hành

1. Tổng quan

Agent và testerCùng một bộ case, trước và sau khi xác minh
  • Đạt
  • Lỗi
  • Không chắc
  • Test tay, không giao agent
  • Kết quả sơ bộ của agent86 case

  • Sau khi tester xác minh86 case

Sáu case không chắc đã được phân loại hết. Ba case agent báo đạt bị tester đổi thành lỗi (mục 3).

Kết luận QA: bản build chưa đủ điều kiện phát hành. Có hai bug mức cao ở luồng thanh toán một phần và hoàn phí. Regression các module khác đạt.

2. Phân bổ phiên agent

12 phiên agentKết quả sơ bộ theo nhóm case
  • Đạt
  • Lỗi
  • Không chắc
  • Phiên 1 · API hoá đơn12

  • Phiên 2 · API thanh toán10

  • Phiên 3 · Giao diện ghi danh9

  • Phiên 4 · Thanh toán một phần8

  • Phiên 5 · Hoàn phí7

  • Phiên 6 · Bảo lưu và công nợ6

  • Phiên 7 đến 12 · RegressionCRM, lớp học, giáo viên, phân quyền, báo cáo · 34

3. Case tester đã đổi kết quả

Agent báo có vẻ đạt, tester xác minh và kết luận lỗi.

Agent thấy

  • TC-FEE-04-02 · thanh toán 1.000.000đ cho hoá đơn 3.000.000đ: số dư trên màn hình giảm.
  • TC-FEE-07-03 · hoàn phí 70%: hiện 2.100.000đ.
  • TC-REG-31 · báo cáo công nợ tổng: khớp với màn hình cũ.

Tester thấy

  • Trạng thái hoá đơn trong database không đổi sau khi tải lại. BUG-144, mức cao.
  • Hoá đơn đã giảm giá 10% nên phải hoàn 70% của 2.700.000đ, tức 1.890.000đ. BUG-145, mức cao.
  • Đối chiếu với số kế toán tự tính thì lệch một học viên. BUG-146, mức trung bình.
BUG-145Hoàn phí phải tính trên số tiền sau giảm giá
  1. 3.000.000đhọc phí gốc
  2. − 10%giảm giá
  3. 2.700.000đsố tiền đã thu
  4. × 70%tỷ lệ hoàn
  5. 1.890.000đđúng; hệ thống hiện 2.100.000đ

Ba case này là lý do quy tắc “luồng có tính toán phải xác minh toàn bộ evidence, kể cả database” tồn tại.

4. Case agent không chắc

Phân loạiBa case agent không chắc, ba cách xử lý
  1. Agent không chắc6 case, ví dụ 3 case dưới đây
  2. Tester phân loạiTest tayLặp lại 3 lầnSửa kỳ vọng
  3. Đạtkèm ghi chú cho Dev hoặc sửa test case
Mã Vì sao agent không chắc Tester làm gì Kết quả
TC-PAY-09 Thanh toán qua cổng thật, lẽ ra không giao agent Test tay trên môi trường thử Đạt
TC-FEE-04-06 Hộp xác nhận xuất hiện không đúng lúc Test tay ba lần Đạt ghi chú cho Dev
TC-FEE-07-05 Không thấy nút “Hoàn phí” với vai trò Tư vấn Đúng theo ma trận phân quyền, kỳ vọng viết sai Đạt sửa test case

5. Bug report

BUG-144CAO

Thanh toán một phần cập nhật giao diện nhưng hoá đơn vẫn ở trạng thái chưa thanh toán

  • Tiền điều kiện: học viên thử nghiệm, hoá đơn 3.000.000đ, trạng thái chưa thanh toán.
  • Các bước: kế toán ghi nhận thanh toán 1.000.000đ, lưu, tải lại trang.
  • Kỳ vọng: hoá đơn “Thanh toán một phần”, công nợ giảm 1.000.000đ, lịch sử có bản ghi.
  • Thực tế: giao diện giảm ngay sau khi lưu. Sau khi tải lại, hoá đơn vẫn chưa thanh toán và công nợ về 3.000.000đ.
Module
Học phí
Kỳ vọng theo
US-FEE-04
Evidence
3 ảnh màn hình, 1 truy vấn database
EvidenceBốn lần chụp cho thấy chỗ sai
  1. Trước khi lưucông nợ 3.000.000đ
  2. Sau khi lưumàn hình: 2.000.000đ
  3. Sau khi tải lạimàn hình: 3.000.000đ
  4. Databasehoá đơn vẫn chưa thanh toán

6. Quyết định cuối

Quyết địnhKhông phát hành; sửa rồi chạy lại đúng chỗ bị ảnh hưởng
  1. Sửa BUG-144 và BUG-145
  2. Chạy lại phiên 4 và 5thanh toán một phần, hoàn phí
  3. Regression công nợ
  4. Xét phát hành lại
Quyết định bởi Tester, xác nhận bởi BA.

Agent hỗ trợ thực thi và thu evidence. Tester chịu trách nhiệm xác minh và ra quyết định cuối cùng.

Sample document, simulated data. The structure and presentation are how I actually work.