Hallucination đầu tiên làm tôi thật sự khó chịu không hề kịch tính. Nó chỉ là một câu tự tin trong bản summary, nằm giữa hai chi tiết đúng. Giọng văn mượt, cấu trúc hữu ích, và phần sai nhìn bình thường đến mức có thể trôi qua nếu không ai kiểm tra. Đó là điều làm hallucination khó chịu trong công việc hằng ngày. Nó thường không xuất hiện với một biển cảnh báo.
Hallucination trong LLM là câu trả lời nghe có vẻ hợp lý nhưng không được grounded trong fact cần cho task. Có lúc model bịa source. Có lúc nó trộn hai ý giống nhau. Có lúc nó điền một chi tiết thiếu vì prompt vô tình yêu cầu nó phải hữu ích ngay cả khi evidence mỏng. Vấn đề không phải model cố tình nói dối. Vấn đề là text trôi chảy có thể xuất hiện trước khi grounding đủ đáng tin.
Cách đầu tiên để giảm hallucination là thu hẹp task. Một yêu cầu mơ hồ như giải thích case khách hàng này mời model tự chọn boundary. Một yêu cầu tốt hơn nói rõ material nào được dùng, câu hỏi nào phải trả lời, uncertainty nào phải báo lại, và format mong đợi là gì. Model vẫn có thể sai, nhưng bề mặt cho suy đoán thiếu support nhỏ hơn.
Chất lượng context quan trọng hơn số lượng context. Ném cả một folder vào prompt có thể làm câu trả lời nhìn tốt hơn nhưng che giấu retrieval yếu. Câu hỏi hữu ích là model có đúng evidence không, không phải có thật nhiều text không. Với internal knowledge tool, điều này nghĩa là chunk document cẩn thận, giữ title và date, retrieve passage liên quan nhất, và đặt source material gần câu trả lời được generated.
RAG hữu ích khi task phụ thuộc vào knowledge bên ngoài hoặc private. Thay vì yêu cầu model nhớ policy, product detail hoặc project decision, hệ thống retrieve source liên quan rồi yêu cầu model trả lời từ source đó. Nhưng RAG không phải phép màu. Nếu retrieval kéo nhầm document, nội dung stale, hoặc fragment thiếu context xung quanh, câu trả lời vẫn có thể sai với vẻ tự tin hơn.
Citation giúp ích, nhưng chỉ khi citation có ý nghĩa. Citation nên trỏ đến material thật sự support claim, không chỉ trang trí cho paragraph. Trong workflow nghiêm túc, product nên giúp người đọc mở source và so sánh dễ dàng. Citation không chỉ để tạo trust. Nó là user interface cho verification.
Một thói quen hữu ích khác là design cho refusal và uncertainty. Nhiều hệ thống vô tình thưởng cho model vì trả lời mọi thứ. Prompt và product flow an toàn hơn nên cho phép những câu như context được cung cấp không chứa chi tiết đó, phần này chưa chắc, hoặc tôi chỉ có thể trả lời câu đầu tiên từ source hiện có. Những câu này có thể kém ấn tượng hơn, nhưng thường hữu ích hơn một phỏng đoán mượt mà.
Verification cũng nên được đưa ra ngoài prompt. Với code, chạy test. Với calculation, dùng deterministic tool. Với fact, so với source document. Với structured output, validate schema. Với policy answer, kiểm tra citation. Model có thể giúp tạo verification plan, nhưng không nên là người duy nhất chấm câu trả lời của chính nó.
Evaluation set là nơi team bắt đầu nghiêm túc. Hãy gom các example đại diện cho failure mode thật: thiếu context, document mâu thuẫn, policy stale, tên product giống nhau, edge case khó, và câu hỏi nên bị refuse. Sau đó test prompt change, retrieval change và model change trên những example đó. Không có evaluation set, mọi cải tiến chỉ là cảm giác từ vài cuộc chat gần nhất.
User experience cũng quan trọng. Nếu một AI feature trình bày mọi answer như kết luận cuối cùng, user sẽ học sai thói quen. Interface tốt hơn có thể hiển thị source, confidence boundary, last-updated date, follow-up question và đường rõ để inspect evidence. Mục tiêu không phải làm user nghi ngờ mọi thứ. Mục tiêu là giúp họ trust ở đúng mức.
Giảm hallucination không nằm ở một prompt hoàn hảo. Nó nằm ở việc xây hệ thống quanh model. Task rõ, retrieval tốt, source visibility, refusal behavior, deterministic check và continuous evaluation phối hợp với nhau. Mỗi lớp bắt một loại lỗi khác nhau.
Bài học yên lặng là AI reliability là vấn đề design, không chỉ là vấn đề model. Chúng ta giảm hallucination bằng cách không xem ngôn ngữ trôi chảy là proof. Nếu bạn từng build hoặc dùng AI tool trong công việc, tôi muốn nghe guardrail nào thay đổi hành vi của bạn nhiều nhất: citation, test, retrieval tốt hơn, hay product flow làm uncertainty nhìn thấy được.