Sample documents
Agent-assisted test execution report
The report keeps two columns clearly apart: the agent’s preliminary result and the result after the tester’s verification. The part most worth reading is the cases where the tester changed the result.
Related case study: Tester Kit: agents run the tests, people decide
Test execution report
Document in Vietnamese
- Module
- Học phí và công nợ
- Bản build
- staging
- Phiên agent
- 12 chạy song song
- Tổng số case
- 86
- TesterNgười quyết định
- BAXác nhận
- Agent
- Tester
- AgentChạy case tự động12 phiên song song×12
- AgentKết quả sơ bộkèm ảnh, log, truy vấn
- TesterXác minh evidence
- TesterTest taycase không giao agent
- TesterQuyết định phát hành
1. Tổng quan
- Đạt
- Lỗi
- Không chắc
- Test tay, không giao agent
Kết quả sơ bộ của agent86 case
Sau khi tester xác minh86 case
Kết luận QA: bản build chưa đủ điều kiện phát hành. Có hai bug mức cao ở luồng thanh toán một phần và hoàn phí. Regression các module khác đạt.
2. Phân bổ phiên agent
- Đạt
- Lỗi
- Không chắc
Phiên 1 · API hoá đơn12
Phiên 2 · API thanh toán10
Phiên 3 · Giao diện ghi danh9
Phiên 4 · Thanh toán một phần8
Phiên 5 · Hoàn phí7
Phiên 6 · Bảo lưu và công nợ6
Phiên 7 đến 12 · RegressionCRM, lớp học, giáo viên, phân quyền, báo cáo · 34
3. Case tester đã đổi kết quả
Agent báo có vẻ đạt, tester xác minh và kết luận lỗi.
Agent thấy
- TC-FEE-04-02 · thanh toán 1.000.000đ cho hoá đơn 3.000.000đ: số dư trên màn hình giảm.
- TC-FEE-07-03 · hoàn phí 70%: hiện 2.100.000đ.
- TC-REG-31 · báo cáo công nợ tổng: khớp với màn hình cũ.
Tester thấy
- Trạng thái hoá đơn trong database không đổi sau khi tải lại. BUG-144, mức cao.
- Hoá đơn đã giảm giá 10% nên phải hoàn 70% của 2.700.000đ, tức 1.890.000đ. BUG-145, mức cao.
- Đối chiếu với số kế toán tự tính thì lệch một học viên. BUG-146, mức trung bình.
- 3.000.000đhọc phí gốc
- − 10%giảm giá
- 2.700.000đsố tiền đã thu
- × 70%tỷ lệ hoàn
- 1.890.000đđúng; hệ thống hiện 2.100.000đ
Ba case này là lý do quy tắc “luồng có tính toán phải xác minh toàn bộ evidence, kể cả database” tồn tại.
4. Case agent không chắc
- Agent không chắc6 case, ví dụ 3 case dưới đây
- Tester phân loạiTest tayLặp lại 3 lầnSửa kỳ vọng
- Đạtkèm ghi chú cho Dev hoặc sửa test case
| Mã | Vì sao agent không chắc | Tester làm gì | Kết quả |
|---|---|---|---|
| TC-PAY-09 | Thanh toán qua cổng thật, lẽ ra không giao agent | Test tay trên môi trường thử | Đạt |
| TC-FEE-04-06 | Hộp xác nhận xuất hiện không đúng lúc | Test tay ba lần | Đạt ghi chú cho Dev |
| TC-FEE-07-05 | Không thấy nút “Hoàn phí” với vai trò Tư vấn | Đúng theo ma trận phân quyền, kỳ vọng viết sai | Đạt sửa test case |
5. Bug report
Thanh toán một phần cập nhật giao diện nhưng hoá đơn vẫn ở trạng thái chưa thanh toán
- Tiền điều kiện: học viên thử nghiệm, hoá đơn 3.000.000đ, trạng thái chưa thanh toán.
- Các bước: kế toán ghi nhận thanh toán 1.000.000đ, lưu, tải lại trang.
- Kỳ vọng: hoá đơn “Thanh toán một phần”, công nợ giảm 1.000.000đ, lịch sử có bản ghi.
- Thực tế: giao diện giảm ngay sau khi lưu. Sau khi tải lại, hoá đơn vẫn chưa thanh toán và công nợ về 3.000.000đ.
- Module
- Học phí
- Kỳ vọng theo
- US-FEE-04
- Evidence
- 3 ảnh màn hình, 1 truy vấn database
- Trước khi lưucông nợ 3.000.000đ
- Sau khi lưumàn hình: 2.000.000đ
- Sau khi tải lạimàn hình: 3.000.000đ
- Databasehoá đơn vẫn chưa thanh toán
6. Quyết định cuối
- Sửa BUG-144 và BUG-145
- Chạy lại phiên 4 và 5thanh toán một phần, hoàn phí
- Regression công nợ
- Xét phát hành lại
Agent hỗ trợ thực thi và thu evidence. Tester chịu trách nhiệm xác minh và ra quyết định cuối cùng.
Sample document, simulated data. The structure and presentation are how I actually work.
