Bạn vừa mở nắp bút thì interviewer đọc xong đề: "Thiết kế một hệ thống lưu trữ ảnh." Chưa tới một phút là trên bảng đã có thể có ba cái hộp quen mặt: object storage giữ file, database lưu metadata, CDN đứng phía trước.
Ba cái hộp đó chẳng sai. Sai ở thời điểm. Bạn đang trả lời khi câu hỏi còn chưa đủ rõ để có câu trả lời. Bài này nói về mấy phút đầu của buổi system design interview: nên hỏi câu nào, ước lượng quy mô nhanh ra sao, và nói giả định thành lời thế nào để interviewer kịp chỉnh.
Một đề bài, bốn hệ thống khác nhau
"Lưu trữ ảnh" có thể là avatar cho một tool nội bộ, kho backup ảnh gia đình, một news feed công khai, hay hàng triệu ảnh sản phẩm của một sàn bán hàng. Chỗ nào cũng lưu ảnh, nhưng mỗi chỗ hứa với người dùng một điều khác. Dịch vụ backup lo nhất là không mất file và lấy lại được, hiển thị chậm vài giây cũng chẳng sao. News feed công khai thì lo lượng đọc, thumbnail, kiểm duyệt, ảnh tự dưng viral sau một đêm và người dùng nằm rải ở nhiều region. Sản phẩm khác đi thì kiến trúc cũng khác theo.
Vì vậy framework của ByteByteGo, rút từ cuốn System Design Interview của Alex Xu, đặt bước "hiểu bài toán và chốt phạm vi" lên đầu, chiếm 3 tới 10 phút trong buổi 45 phút. Sách nói thẳng: trả lời khi chưa hiểu kỹ yêu cầu là một red flag lớn, vì phỏng vấn đâu phải cuộc thi đố vui (A Framework for System Design Interviews).
Hỏi những câu làm thay đổi thiết kế
Bạn không có thời gian đọc ba chục câu trong checklist, mà cũng chẳng cần. Một câu hỏi đáng hỏi khi câu trả lời khác đi sẽ cho ra một sơ đồ khác. Với hệ thống ảnh, mấy câu sau đáng hỏi:
| Câu hỏi | Câu trả lời đổi thì cái gì đổi theo |
|---|---|
| Ai upload, ai xem, ảnh công khai hay riêng tư? | CDN có cache thoải mái được không, kiểm tra quyền ra sao, thu hồi quyền xem thì làm gì |
| Bản đầu chỉ upload và xem, hay còn sửa, chia sẻ, tìm kiếm, xoá? | Phải thiết kế bao nhiêu luồng, mỗi ảnh phải theo dõi bao nhiêu trạng thái |
| Có resize, nén, scan hay xoá metadata nhạy cảm không? | Có cần pipeline xử lý và queue không |
| Thumbnail phải có ngay trong response upload không? | Xử lý đồng bộ ngay trên request, hay async kèm trạng thái "đang xử lý" |
| "Tìm kiếm" là theo tên file, theo tag, hay theo nội dung trong ảnh? | Một index trong database, một search engine, hay một pipeline ML. Ba hệ thống khác hẳn nhau |
| Giữ ảnh bao lâu, và "xoá" nghĩa là xoá tới đâu? | Lifecycle rule, các tầng lưu trữ, job dọn dẹp |
Rồi tới phần non-functional: latency bao nhiêu là chấp nhận được, availability và durability cần cỡ nào, một region sập thì được phép mất bao nhiêu dữ liệu. Consistency cũng đâu phải một cái công tắc chung cho cả hệ thống. Bộ đếm lượt xem chịu được eventual consistency. Quyền truy cập và cờ ready của một tấm ảnh thì thường là không.
Ước lượng quy mô trong một phút
"Hệ thống có mười triệu tài khoản" chưa nói lên được bao nhiêu. Số người dùng hoạt động, số ảnh upload mỗi ngày, dung lượng trung bình, tỷ lệ đọc so với ghi, người dùng ở đâu và giữ dữ liệu bao lâu mới nói lên tải thật. Tính nhẩm thành tiếng với số tròn:
ảnh mới mỗi ngày 2.000.000
cỡ ảnh trung bình 4 MB
ảnh gốc mỗi ngày 2.000.000 x 4 MB = 8 TB
ảnh gốc mỗi năm 8 TB x 365 = khoảng 2,9 PB
ghi trung bình 2.000.000 / 86.400 = khoảng 23 ảnh/giây
Đây đâu phải dự báo. Nó chỉ giúp bạn tìm ra câu hỏi tiếp theo. Gần 3 PB ảnh gốc mỗi năm, chưa tính thumbnail và bản sao, là lúc chuyện nén, các phiên bản ảnh và lifecycle rule bắt đầu căng. Trung bình 23 ảnh mỗi giây thì khá nhẹ, nên chắc luồng upload không phải phần khó. Phần khó nhiều khả năng nằm ở luồng đọc, tuỳ tỷ lệ đọc ghi mà interviewer đưa ra.
Nói giả định thành lời
Interviewer không phải lúc nào cũng cho số, có khi là cố tình. Vậy cũng chẳng sao. Framework của ByteByteGo khuyên ghi giả định lên bảng, vì lát nữa có khi bạn cần dùng lại. Rồi cứ thế đi tiếp:
"Em giả định đây là app chia sẻ ảnh công khai, đọc nhiều hơn ghi, khoảng một triệu người dùng hoạt động mỗi ngày, có thumbnail, người dùng chủ yếu ở Đông Nam Á. Nếu phạm vi này ổn thì em thiết kế luồng upload và luồng đọc trước, phần tìm kiếm và chỉnh sửa em để ngoài."
Giả định nói ra thì sửa mất năm giây. Giả định giữ trong đầu có thể kéo cả buổi đi thiết kế nhầm hệ thống. Nói rõ phần nào để ngoài phạm vi cũng quan trọng không kém: interviewer biết bạn có thấy mấy tính năng đó, chỉ là chủ động gác lại.
Giờ mấy cái hộp quen mặt mới có lý do xuất hiện
Yêu cầu đã nằm trên bảng thì mỗi thành phần đều có lý do nói gọn trong một câu:
- Object storage cho file lớn cần durability cao.
- Database metadata giữ chủ sở hữu, object key, quyền truy cập và trạng thái xử lý.
- Upload thẳng bằng presigned URL để file nặng khỏi đi qua app server. Với S3, người nhận presigned URL upload được mà không cần credential AWS riêng, quyền thì giới hạn đúng bằng quyền của người tạo URL (tài liệu Amazon S3).
- Một queue đứng giữa bước "đã nhận upload" và bước resize hay scan.
- CDN cho workload công khai, đọc nhiều.
Vẫn mấy cái hộp ở phút đầu. Khác ở chỗ giờ cái nào cũng đang trả lời một yêu cầu bạn đã gọi tên.
Rồi soi khoảng trống giữa các hộp
Những câu cho thấy bạn có kinh nghiệm thật thường nằm giữa các hộp:
- File upload lên storage xong nhưng ghi metadata lỗi. Ai phát hiện file mồ côi đó, và khi nào? Một lifecycle rule hay job dọn dẹp (S3 lifecycle) là câu trả lời ổn áp, miễn bạn nói ra.
- Worker retry rồi tạo cùng một thumbnail hai lần. Có sao không? Không sao nếu key của file đầu ra suy ra từ file đầu vào, lần ghi thứ hai chỉ đè lên lần đầu.
- Metadata có thể báo
readytrước khi đủ mọi phiên bản ảnh không? Có đấy, trừ khi bật cờ đó là bước chạy sau cùng. - Người dùng xoá một ảnh riêng tư. Ảnh rời khỏi CDN kiểu gì? CloudFront có invalidate được file, nhưng chính tài liệu của nó ghi rằng người dùng vẫn có thể thấy bản cũ từ cache trên máy hay proxy công ty cho tới khi hết hạn (CloudFront invalidation). Nếu thu hồi phải có hiệu lực ngay, ảnh riêng tư có lẽ không nên nằm trong cache dùng chung lâu dài.
Nghĩ kỹ một hai câu kiểu này ghi điểm hơn nhiều so với vẽ thêm một service vào sơ đồ.
Luyện trước buổi phỏng vấn tới
- Lấy một đề kinh điển, viết ra bốn sản phẩm khác nhau mà đề đó có thể đang nói tới.
- Với mỗi câu định hỏi, ghi lại thiết kế sẽ đổi gì nếu câu trả lời ngược lại. Câu nào chẳng đổi gì thì bỏ.
- Tính nhẩm thành tiếng một phép ước lượng với số tròn, dưới một phút.
- Tập nói câu chốt phạm vi: giả định gì, thiết kế phần nào trước, gác phần nào lại.
- Trước khi vẽ, nói: "Trước khi đề xuất kiến trúc, em muốn hỏi lại use case chính và mấy ràng buộc có thể làm thay đổi thiết kế."