GPUAI-3999
BUG
To Do
Dự án: GPUAI
[Alerts] Alert Model Quality Drift có Observed Value (0.7467) không khớp Accuracy trên Run detail (0,85) và bị bắn alert dù Accuracy ≥ ngưỡng
Mô tả chi tiết & Yêu cầu
*Môi trường:* https://cloud-console.aladintech.co - AI Platform > Module Monitoring > Serving Monitors (Chrome, ngôn ngữ vi)
*Dữ liệu test:* Monitor "qa-reg-mon-1005" (ID: 3150a111-de15-47d6-bf0c-22cf682e78c6), model fraud-detection-xgb v1, Multiclass Classification; schema numerical [queue_len, resolution_min], categorical [channel], prediction, label; baseline testdata/test_mq_multi/baseline.parquet, ground truth testdata/test_mq_multi/ground_truth.parquet
*Các bước thực hiện:*
# Tạo monitor với Model Quality Drift, ngưỡng Accuracy = 0.8 (placeholder: Safe ≥ ngưỡng)
# Run Now với inference ClickHouse vn-central-1 > monitoring > test_mq_multi
# Mở Run detail > tab Model Quality Drift
# Mở tab Alerts của monitor
*Kết quả thực tế:*
- Run detail: Accuracy = 0,85, Threshold 0,8, hiển thị "Exceeds Threshold" màu đỏ.
- Tab Alerts: mỗi run (qa-reg-run-1, qa-reg-sched-cron_Run1/2/3) đều sinh 1 alert model_quality_drift với Observed Value = 0.7466666666666667, Threshold 0.8.
- Giá trị alert không khớp với giá trị Accuracy hiển thị ở Run detail.
*Kết quả mong đợi:*
- Observed Value của alert khớp với metric hiển thị trên Run detail.
- Accuracy 0,85 ≥ ngưỡng 0,8 thì là trạng thái an toàn, không hiển thị Exceeds Threshold và không sinh alert.
!mq_accuracy_run_detail.jpg|thumbnail! !alerts_tab.jpg|thumbnail!
*Ảnh minh hoạ bổ sung:*
!04_run_detail_accuracy_0.85_exceeds_threshold.jpg|thumbnail! !06_alerts_observed_value_0.7467.jpg|thumbnail!
AI Chẩn đoán Bug & Tự động sửa lỗi (Auto-Fix)
Hệ thống AI sẽ rà soát mã lỗi, đối chiếu với lịch sử Git commit của các module repo để kiểm tra:
1. Đã fix trong code chưa? ·
2. Bug có được log đúng tiêu chuẩn không? ·
3. Định hướng sửa lỗi ·
4. Tự động sinh mã sửa và tạo git branch.
1. TÌNH TRẠNG FIX TRONG CODE:
CHƯA PHÂN TÍCH
2. ĐÁNH GIÁ CHẤT LƯỢNG LOG BUG:
CHƯA ĐÁNH GIÁ
3. NGUYÊN NHÂN GỐC RỄ & ĐỊNH HƯỚNG CÁCH FIX:
4. MÃ NGUỒN SỬA LỖI ĐỀ XUẤT (AUTO-FIX PATCH):
Nhánh đề xuất: fix/gpuai-3999-auto-patch
// Đoạn mã vá tự động sẽ xuất hiện sau khi chạy phân tích
Tự động hóa: Nhấn nút bên phải để tự động checkout nhánh và commit bản vá vào repository.
Ghi nhận công việc vào Jira (AI Log Work)
Thông tin Ticket Jira
Module Repositories (2)
Backend Core
Web Dashboard
Commits gần đây
d18bf0f
Backend Core
d18bf0f
Web Dashboard