Đo lường
Chưa đo
Bộ đánh giá chưa chạy nên bảng dưới để trống có chủ đích. Khi script trong eval/ chạy xong, nó ghi đè tệp kết quả và trang này hiện số thật.
Mọi bộ câu hỏi chỉ lấy sách trong kho cố định 950 cuốn, công bố ở sunbv56/biascan-950 trên Hugging Face — ai cũng tải về chạy lại được.
Kết quả theo bộ × chế độ
| Bộ | Chế độ | n | Recall@1 | Recall@10 | MRR | p50 | p95 |
|---|---|---|---|---|---|---|---|
| Ảnh bìa biến dạng | Văn bản | 100 | chưa đo | chưa đo | chưa đo | chưa đo | chưa đo |
| Ảnh | 100 | chưa đo | chưa đo | chưa đo | chưa đo | chưa đo | |
| Kết hợp | 100 | chưa đo | chưa đo | chưa đo | chưa đo | chưa đo | |
| Câu mô tả | Văn bản | 100 | chưa đo | chưa đo | chưa đo | chưa đo | chưa đo |
| Ảnh chụp thật | Văn bản | 20 | chưa đo | chưa đo | chưa đo | chưa đo | chưa đo |
| Ảnh | 20 | chưa đo | chưa đo | chưa đo | chưa đo | chưa đo | |
| Kết hợp | 20 | chưa đo | chưa đo | chưa đo | chưa đo | chưa đo |
Cột n là cỡ mẫu dự kiến, chưa phải số đã chạy.
Phương pháp
- Ảnh bìa biến dạng
- 100 ảnh bìa gốc của sách trong kho, bị xoay, cắt, làm mờ, chỉnh sáng tối — giả ảnh chụp điện thoại.
- Câu mô tả
- 100 câu “sách về…” do Gemini viết từ mô tả của sách trong kho, cấm chứa tên sách.
- Ảnh chụp thật
- Khoảng 20 ảnh tự chụp sách thật có trong kho: góc nghiêng, bóng tay, ánh đèn.
- Recall@1 · @10
- Tỉ lệ câu hỏi mà cuốn đúng nằm ở hạng 1 / trong 10 kết quả đầu.
- MRR
- Trung bình của 1 / hạng của cuốn đúng; không có trong top 10 thì tính 0.
- p50 · p95
- Độ trễ toàn luồng tính từ lúc gửi tới lúc nhận kết quả, trung vị và phân vị 95.
- Chế độ
- Văn bản: tìm theo chữ — chữ OCR từ ảnh bìa, hoặc chính câu mô tả. Ảnh: tìm theo embedding ảnh bìa. Kết hợp: gộp hai danh sách bằng RRF.
Mô hình cấu hình: OCR gemini-3.5-flash-lite · embedding gemini-embedding-2
Luồng xử lý
Ảnh → chữ → vector → 10 ứng viên → 3 cuốn. Toàn bộ chạy trên một workflow n8n, không có backend riêng; bước thứ tư chỉ chạy khi bạn hỏi.
Đầu vào
Ảnh bìa
Chụp bằng điện thoại, nén ở trình duyệt: cạnh dài ≤ 768 px, JPEG chất lượng 0,8 — ít token hơn khi đọc chữ.
Bước 1 · chỉ với ảnh
Đọc chữ trên bìa
Gemini · OCR, có model dự phòng
Lấy tên sách, tác giả, nhà xuất bản — kể cả chữ cong, chữ nghệ thuật.
Hoặc · đầu vào
Lời mô tả
“Sách về cậu bé chăn cừu đi tìm kho báu” — đi thẳng vào bước nhúng, bỏ qua OCR.
Bước 3
Tìm 10 ứng viên
Supabase pgvector · HNSW cosine
Cộng điểm khi tên sách không dấu khớp ≥ 0,6 theo trigram, để chữ OCR gần nguyên văn lên đầu. Câu đã tìm gần đây lấy lại từ bộ nhớ đệm.
Xem mã SQLBước 4 · khi bạn hỏi
Giải thích vì sao khớp
Gemini · một lần gọi cho 3 cuốn
Kết quả tìm không gọi model viết chữ. Bấm “Vì sao?” thì một lượt gọi viết lý do cho cả ba cuốn đầu, lưu lại cho lần sau.
Thử với một cuốn sách
luồng ảnh luồng lời mô tả
Kho sách
- Số đầu sách
- 950 — kho cố định, không nạp thêm
- Dataset
- sunbv56/biascan-950 trên Hugging Face, kèm sẵn vector embedding
- Mô tả đem nhúng
- 933 cuốn có mô tả, độ dài trung vị 915 ký tự; cắt còn 2.000 ký tự đầu
- Sách không có mô tả
- 17 — chỉ tìm được qua tên, tác giả, NXB
- Tác giả · NXB
- 661 tác giả · 71 nhà xuất bản
Ví dụ
Chưa có ví dụ.
Ví dụ được lấy từ lượt chạy đánh giá thật, nên sẽ có cùng lúc với bảng số.
Tự thử một lượt tìm