Đo lường

Chưa đo

Bộ đánh giá chưa chạy nên bảng dưới để trống có chủ đích. Khi script trong eval/ chạy xong, nó ghi đè tệp kết quả và trang này hiện số thật.

Mọi bộ câu hỏi chỉ lấy sách trong kho cố định 950 cuốn, công bố ở sunbv56/biascan-950 trên Hugging Face — ai cũng tải về chạy lại được.

Kết quả theo bộ × chế độ

Chỉ số tìm kiếm theo bộ dữ liệu và chế độ
BộChế độnRecall@1Recall@10MRRp50p95
Ảnh bìa biến dạngVăn bản100chưa đochưa đochưa đochưa đochưa đo
Ảnh100chưa đochưa đochưa đochưa đochưa đo
Kết hợp100chưa đochưa đochưa đochưa đochưa đo
Câu mô tảVăn bản100chưa đochưa đochưa đochưa đochưa đo
Ảnh chụp thậtVăn bản20chưa đochưa đochưa đochưa đochưa đo
Ảnh20chưa đochưa đochưa đochưa đochưa đo
Kết hợp20chưa đochưa đochưa đochưa đochưa đo

Cột n là cỡ mẫu dự kiến, chưa phải số đã chạy.

Phương pháp

Ảnh bìa biến dạng
100 ảnh bìa gốc của sách trong kho, bị xoay, cắt, làm mờ, chỉnh sáng tối — giả ảnh chụp điện thoại.
Câu mô tả
100 câu “sách về…” do Gemini viết từ mô tả của sách trong kho, cấm chứa tên sách.
Ảnh chụp thật
Khoảng 20 ảnh tự chụp sách thật có trong kho: góc nghiêng, bóng tay, ánh đèn.
Recall@1 · @10
Tỉ lệ câu hỏi mà cuốn đúng nằm ở hạng 1 / trong 10 kết quả đầu.
MRR
Trung bình của 1 / hạng của cuốn đúng; không có trong top 10 thì tính 0.
p50 · p95
Độ trễ toàn luồng tính từ lúc gửi tới lúc nhận kết quả, trung vị và phân vị 95.
Chế độ
Văn bản: tìm theo chữ — chữ OCR từ ảnh bìa, hoặc chính câu mô tả. Ảnh: tìm theo embedding ảnh bìa. Kết hợp: gộp hai danh sách bằng RRF.

Mô hình cấu hình: OCR gemini-3.5-flash-lite · embedding gemini-embedding-2

Luồng xử lý

Ảnh → chữ → vector → 10 ứng viên → 3 cuốn. Toàn bộ chạy trên một workflow n8n, không có backend riêng; bước thứ tư chỉ chạy khi bạn hỏi.

  1. Đầu vào

    Ảnh bìa

    Chụp bằng điện thoại, nén ở trình duyệt: cạnh dài ≤ 768 px, JPEG chất lượng 0,8 — ít token hơn khi đọc chữ.

  2. Bước 1 · chỉ với ảnh

    Đọc chữ trên bìa

    Gemini · OCR, có model dự phòng

    Lấy tên sách, tác giả, nhà xuất bản — kể cả chữ cong, chữ nghệ thuật.

  3. Hoặc · đầu vào

    Lời mô tả

    “Sách về cậu bé chăn cừu đi tìm kho báu” — đi thẳng vào bước nhúng, bỏ qua OCR.

  4. Bước 2

    Nhúng thành vector

    gemini-embedding-2 · 768 chiều

    Cùng một khuôn ghép văn bản cho sách và câu hỏi: tên, tác giả, NXB, nhà phát hành, 2.000 ký tự mô tả đầu.

  5. Bước 4 · khi bạn hỏi

    Giải thích vì sao khớp

    Gemini · một lần gọi cho 3 cuốn

    Kết quả tìm không gọi model viết chữ. Bấm “Vì sao?” thì một lượt gọi viết lý do cho cả ba cuốn đầu, lưu lại cho lần sau.

    Thử với một cuốn sách

luồng ảnh luồng lời mô tả

Kho sách

Số đầu sách
950 — kho cố định, không nạp thêm
Dataset
sunbv56/biascan-950 trên Hugging Face, kèm sẵn vector embedding
Mô tả đem nhúng
933 cuốn có mô tả, độ dài trung vị 915 ký tự; cắt còn 2.000 ký tự đầu
Sách không có mô tả
17 — chỉ tìm được qua tên, tác giả, NXB
Tác giả · NXB
661 tác giả · 71 nhà xuất bản

Ví dụ

Chưa có ví dụ.

Ví dụ được lấy từ lượt chạy đánh giá thật, nên sẽ có cùng lúc với bảng số.

Tự thử một lượt tìm