ĐÁNH GIÁ AI (LLM) TRONG DATA SCIENCE

Bài Toán Dự Đoán Churn Như Một Ví Dụ Điển Hình

"Khi nào thì dùng LLM, khi nào thì dùng ML truyền thống — và cách đánh giá đúng cách"

Hãy tưởng tượng bạn là Data Scientist tại một công ty viễn thông. Nhiệm vụ của bạn: xây dựng mô hình dự đoán khách hàng nào sẽ rời bỏ dịch vụ trong 30 ngày tới — bài toán churn prediction kinh điển trong ngành.

Trước đây, câu trả lời gần như mặc định: thu thập features từ dữ liệu lịch sử, huấn luyện XGBoost hoặc Random Forest, tối ưu threshold, xong. Nhưng năm 2025, một đồng nghiệp đề xuất: "Tại sao không thử GPT-4 hay một LLM nào đó? Nó đang hot lắm."

Đây không phải câu hỏi ngớ ngẩn. Đây là câu hỏi mà bất kỳ Data Scientist nghiêm túc nào cũng phải biết trả lời — không phải bằng cảm tính, mà bằng khung đánh giá rõ ràng. Bài viết này sẽ đi qua toàn bộ khung tư duy đó.

Hiểu Bài Toán Churn Prediction

"Tại Sao Churn Prediction Quan Trọng?"

Churn (hay customer attrition) là hiện tượng khách hàng ngừng sử dụng sản phẩm hoặc dịch vụ. Chi phí giữ một khách hàng cũ thấp hơn 5 đến 7 lần so với tìm khách hàng mới. Vì vậy, khả năng dự đoán ai sắp rời đi — và can thiệp kịp thời — có giá trị kinh doanh trực tiếp, thường đo bằng hàng triệu đô la doanh thu được giữ lại.

Đặc Điểm Dữ Liệu Trong Bài Toán Này

• Dữ liệu dạng bảng (tabular) là chủ đạo: Thời gian sử dụng, số lần liên hệ hỗ trợ, mức tiêu thụ hàng tháng, loại hợp đồng... Dữ liệu có cấu trúc rõ ràng, không phải văn bản tự do.

• Nhãn nhị phân (binary label): Sẽ churn (1) hay không (0) trong một khoảng thời gian nhất định.

• Mất cân bằng lớp (class imbalance): Tỷ lệ churn thực tế thường chỉ 5–25%, tạo ra thách thức cho huấn luyện và đánh giá mô hình.

• Đôi khi có văn bản phi cấu trúc: Ghi chú cuộc gọi hỗ trợ, đánh giá, email phàn nàn — đây là nơi LLM có thể phát huy thế mạnh.

Các Phương Pháp Dùng LLM Cho Churn Prediction

- Cách 1: LLM Dự Đoán Trực Tiếp (Zero-Shot / Few-Shot)

Cách đơn giản nhất: mô tả thông tin khách hàng bằng ngôn ngữ tự nhiên và hỏi LLM trực tiếp. Kết quả từ nghiên cứu không khả quan với dữ liệu có cấu trúc — XGBoost đạt F1 = 0.87 trong khi GPT-4 zero-shot chỉ đạt F1 = 0.43. Khoảng cách này rất lớn và có tính hệ thống vì LLM không được thiết kế để tìm các mẫu thống kê ẩn trong dữ liệu số.

- Cách 2: Fine-Tuning LLM Trên Dữ Liệu Churn

Fine-tune LLM trên tập dữ liệu churn của mình là cách tiếp cận có triển vọng nhất trong nhóm LLM-centric. Nghiên cứu về dự đoán nghỉ việc nhân viên cho thấy GPT-3.5 fine-tuned đạt F1 = 0.92, vượt qua SVM (F1 = 0.82) và XGBoost (F1 = 0.80). Tuy nhiên chi phí tính toán và thời gian cao hơn đáng kể so với mô hình truyền thống.

- Cách 3: LLM Embedding + Mô Hình Truyền Thống (Hybrid)

Cách tiếp cận lai được đánh giá cao nhất hiện nay: dùng LLM để tạo embedding cho dữ liệu văn bản (ghi chú hỗ trợ, phản hồi khách hàng), ghép với features tabular truyền thống và đưa vào mô hình ML. Embedding nắm bắt được các tín hiệu ngữ nghĩa tinh tế — "không hài lòng", "thất vọng về dịch vụ", "đang cân nhắc lựa chọn khác" đều là tín hiệu rủi ro churn. Kết quả: cải thiện AUC thêm 8% so với kỹ thuật NLP truyền thống.

- Cách 4: LLM Tự Động Hóa Feature Engineering

Framework LLM-FE (2025) kết hợp tìm kiếm tiến hóa với khả năng lý luận của LLM để tự động khám phá các features hiệu quả cho bài toán tabular. Đây là hướng đang được nghiên cứu tích cực và có tiềm năng thực tế cao.

Khung Đánh Giá — Đừng Chỉ Nhìn Vào Accuracy

3.1. Chỉ Số Hiệu Suất Phù Hợp Cho Churn

Với bài toán có mất cân bằng lớp, Accuracy không phải chỉ số tốt. Một mô hình luôn dự đoán "không churn" vẫn có accuracy ~90% nếu tỷ lệ churn thực tế là 10%.

- Các Chỉ số: Ý nghĩa/Khi nào ưu tiên

+ F1-Score : Cân bằng giữa Precision và Recall/Khi chi phí FP và FN tương đương

+ AUC-ROC: Khả năng phân biệt tổng thể/Đánh giá tổng quát mô hình

+ Recall: Tỷ lệ bắt được khách churn thật/Khi bỏ sót churn rất tốn kém

+ Precision: Tỷ lệ dự đoán churn là đúng/Khi chi phí can thiệp sai cao

3.2. Chi Phí Tính Toán và Độ Trễ

• XGBoost/Random Forest: Dự đoán 10.000 khách hàng trong vài giây, dưới 150MB RAM, không cần GPU.

• GPT-4 API: Chi phí token, độ trễ vài giây mỗi request, phụ thuộc vào API rate limit.

• LLM fine-tuned self-hosted: Chi phí GPU đáng kể để deploy và duy trì trong môi trường production.

3.3. Khả Năng Giải Thích (Explainability)

Trong môi trường doanh nghiệp, câu hỏi "tại sao mô hình dự đoán khách hàng này sẽ churn?" rất quan trọng. Mô hình XGBoost với SHAP values cho phép giải thích từng dự đoán cụ thể: "Khách hàng này được dự đoán churn chủ yếu do số lần gọi hỗ trợ cao và hợp đồng sắp hết hạn." LLM zero-shot có thể tạo ra giải thích ngôn ngữ tự nhiên nhưng thiếu căn cứ thống kê và có nguy cơ hallucination.

3.4. Overfitting và Generalization

LLM fine-tuned trên tập dữ liệu nhỏ (<10.000 mẫu) có nguy cơ overfitting cao hơn các mô hình truyền thống với regularization tốt. Kết quả F1 = 0.92 cần được xem xét kỹ — liệu có giữ được trên tập test độc lập và trong môi trường production không?

Kết Quả Từ Nghiên Cứu — Bức Tranh Thực Tế

• Dữ liệu tabular thuần túy: XGBoost gần như luôn thắng hoặc tương đương LLM, trong khi sử dụng ít tài nguyên hơn nhiều.

• Có văn bản phi cấu trúc: LLM embedding mang lại cải thiện đáng kể khi kết hợp với mô hình ML truyền thống — ứng dụng thực tế và có giá trị rõ ràng nhất.

• Ít dữ liệu labeled (few-shot): TABULA-8B và các LLM tương tự cho thấy khả năng zero-shot tốt hơn khi chỉ có vài chục mẫu — hữu ích khi khởi đầu sản phẩm mới.

• Fine-tuning LLM: Có thể vượt trội so với mô hình truyền thống trong một số cấu hình, nhưng đi kèm chi phí cao hơn và đòi hỏi kỹ thuật để tránh overfitting.

Quy Trình Đánh Giá Thực Tế 6 Bước

1. Bước 1: Kiểm tra bản chất dữ liệu. Dữ liệu chủ yếu là tabular? Hay có nhiều văn bản phi cấu trúc? Nếu là tabular thuần túy, hãy bắt đầu với XGBoost làm baseline.

2. Bước 2: Thiết lập baseline mạnh. Baseline phải được tune hyperparameter đúng cách, xử lý missing data và class imbalance tốt, và được đánh giá trên tập test độc lập.

3. Bước 3: Chọn chỉ số đánh giá phù hợp với bài toán kinh doanh. Xác định chi phí của False Negative và False Positive trong bối cảnh kinh doanh của bạn trước khi chạy bất kỳ mô hình nào.

4. Bước 4: Thử nghiệm LLM theo từng cách tiếp cận. Bắt đầu từ LLM embedding cho phần text, sau đó mới xem xét fine-tuning nếu kết quả khả quan và chi phí chấp nhận được.

5. Bước 5: Đánh giá tổng thể — không chỉ F1. So sánh: hiệu suất thống kê, chi phí tính toán, độ trễ, khả năng giải thích, và yêu cầu bảo trì dài hạn.

6. Bước 6: Quyết định dựa trên giá trị kinh doanh. Câu hỏi không phải là "LLM hay XGBoost tốt hơn?" mà là "với ngân sách và dữ liệu của tôi, phương án nào mang lại giá trị kinh doanh cao nhất?"

Những Gì LLM Thực Sự Làm Tốt Trong Quy Trình Churn

• Phân tích nguyên nhân churn từ feedback: Phân tích hàng nghìn ghi chú hỗ trợ và phản hồi để tóm tắt các nguyên nhân phổ biến.

• Tự động hóa feature engineering: Đề xuất các features mới mà Data Scientist chưa nghĩ đến, dựa trên kiến thức ngành được mã hóa trong quá trình pre-training.

• Giải thích kết quả cho stakeholder: Chuyển đổi output kỹ thuật (SHAP values, confusion matrix) thành ngôn ngữ kinh doanh dễ hiểu.

• Thiết kế chiến dịch retention: Hỗ trợ soạn thảo thông điệp can thiệp cá nhân hóa khi biết khách hàng nào sắp churn và tại sao.

Kết Luận: Đúng Công Cụ Cho Đúng Vấn Đề

Bài toán churn prediction là ví dụ điển hình về cách đánh giá LLM trong Data Science thực tế. Kết luận không phải là "LLM tệ" hay "ML truyền thống đã lỗi thời" — mà là:

• LLM mạnh ở đâu: Hiểu ngữ nghĩa văn bản, lý luận ngôn ngữ tự nhiên, tổng hợp thông tin phi cấu trúc.

• ML truyền thống mạnh ở đâu: Dự đoán chính xác từ dữ liệu tabular, hiệu quả tính toán, khả năng giải thích rõ ràng.

• Hướng đi tốt nhất: Kiến trúc lai — LLM embedding cho dữ liệu văn bản + mô hình ML truyền thống cho dự đoán cuối cùng.

Data Scientist giỏi không phải là người luôn chọn công nghệ mới nhất. Đó là người biết tại sao mình chọn một công cụ cụ thể, và có thể chứng minh sự lựa chọn đó bằng số liệu.