Xây dựng luồng xử lý Kafka Streaming trên Kubernetes và chuẩn hóa bộ API quản lý

* Khởi tạo thành công kiến trúc chạy các tiến trình Stream Monitoring độc lập hoàn toàn trên các Kubernetes Pod thay vì chạy trực tiếp trên Server. * Cải tiến tính linh hoạt của cấu hình: Gỡ bỏ việc khai báo cứng thông số (S3, Kafka, ClickHouse), hệ thống hiện tại tự động nhận thông số cấu hình kết nối trực tiếp từ dữ liệu đầu vào (Payload) và truyền thẳng cho Pod K8s. * Xử lý mượt mà logic tính toán cửa sổ dữ liệu (Windowing): Hệ thống tự động thu thập thông tin baseline từ S3 và chỉ chốt kết quả đánh giá khi tích lũy đủ số lượng dữ liệu log theo kích thước cấu hình (ví dụ: 50 bản ghi). * Tối ưu hóa cơ chế xử lý Offset của Kafka: Tinh chỉnh bộ đọc dữ liệu để khi người dùng nhấn Tiếp tục (Resume) sau một thời gian Tạm dừng (Pause), hệ thống sẽ đọc liền mạch các dữ liệu mới nhất, tự động bỏ qua các dữ liệu rác tồn đọng. * Hoàn thiện và thắt chặt logic của bộ API điều khiển luồng (Tạo / Dừng / Tạm dừng / Tiếp tục / Xem dữ liệu): ** Đảm bảo hiển thị chính xác dữ liệu xử lý theo thời gian thực. ** Bắt lỗi chặt chẽ mọi thao tác sai luồng trạng thái của người dùng. ** Tối ưu hóa bộ nhớ: Tự động dọn dẹp và thu hồi tài nguyên hệ thống ngay khi một luồng Stream bị bấm dừng (Stop).