Demo chạy rất đẹp. Một prompt đi vào, một câu trả lời trau chuốt đi ra, và cả phòng lập tức hình dung product xung quanh nó. Phần khó bắt đầu sau đó, khi ai đó hỏi điều gì sẽ xảy ra nếu input mơ hồ, source bị thiếu, model chậm, câu trả lời sai, hoặc cùng một user thử flow ba lần với wording hơi khác nhau.
AI prototype mạnh vì nó làm khả năng trở nên nhìn thấy rất nhanh. Đó là nhiệm vụ của nó. Một demo nhỏ giúp team hiểu interaction, value, và cảm giác của trải nghiệm. Nhưng demo thường tối ưu cho happy path. Nó là điểm bắt đầu của cuộc trò chuyện, không phải contract.
Production behavior thì khác. Nó đòi boundary. Input nào được support? Điều gì nằm ngoài scope? Khi nào system từ chối? Khi nào nó hỏi rõ thêm? Evidence nào được hiển thị? Cái gì được log? Cái gì không bao giờ được log? Nếu provider down, context stale, hoặc user muốn sự chắc chắn mà product không thể trung thực cung cấp thì sao?
Khoảng cách đầu tiên là evaluation. Demo thường chứng minh vài example. Production cần một tập case nhỏ nhưng đại diện: dễ, mơ hồ, adversarial, rỗng, dài, đa ngôn ngữ, và domain-specific. Mục tiêu không phải bảo đảm hoàn hảo. Mục tiêu là biết system hành xử chấp nhận được ở đâu, fail rõ ở đâu, và lúc nào human phải còn trong loop.
Khoảng cách thứ hai là recovery. Product dễ sống sót qua một câu trả lời sai hơn khi có next step tử tế: hiển thị source, đánh dấu uncertainty, hỏi câu hẹp hơn, route cho con người, retry an toàn, hoặc lưu draft thay vì tự action. AI càng có thể ảnh hưởng tới tiền, privacy, reputation, hoặc customer trust, recovery path càng phải explicit.
Khoảng cách thứ ba là observability. Team cần biết không chỉ request có trả 200 không, mà user có accept answer không, edit nó không, retry không, bỏ flow không, hoặc report vấn đề không. Nếu thiếu feedback này, product team đang lái bằng ký ức của demo. AI behavior đổi theo input, context và model update. Vì vậy monitoring là một phần của feature, không phải việc nghĩ sau.
Còn một khoảng cách ngôn ngữ giữa product excitement và engineering responsibility. Prototype nói: nhìn xem điều gì có thể. Production spec nói: đây là điều mình promise, đây là điều mình không promise, và đây là cách biết promise đang hỏng. Cả hai đều hữu ích. Rắc rối bắt đầu khi team xem câu đầu tiên như thể nó đã chứa câu thứ hai.
Tôi thích đặt một checklist đơn giản cạnh mọi AI demo: supported input, refusal rule, evidence display, eval case, fallback behavior, privacy boundary, cost limit, latency target, và owner cho review. Checklist này làm căn phòng chậm lại vừa đủ để biến một khoảnh khắc thông minh thành behavior đáng tin.
Prototype kiếm được sự chú ý. Production kiếm được niềm tin. Cây cầu giữa hai thứ đó không phải output ấn tượng hơn. Nó là công việc yên lặng của việc gọi tên failure mode, test những case bình thường, và quyết định product nên làm gì khi model nói trôi chảy nhưng tình huống không hề đơn giản.