Cách kiểm định dữ liệu thu thập từ web: lược đồ, độ bao phủ và độ mới
Khung nghiệm thu dữ liệu web thực tiễn: kiểm tra cấu trúc và ý nghĩa bản ghi, đối soát độ bao phủ, đo độ mới và giữ chứng cứ trước khi xuất bản.

Phản hồi HTTP thành công chỉ là một lần quan sát, chưa phải một tập dữ liệu đáng tin. Crawler có thể nhận 200 OK từ mọi URL đã yêu cầu nhưng vẫn lấy phải trang xin chấp thuận, nội dung của sai thị trường, trang cuối chưa đầy đủ, bản ghi trùng hoặc mức giá được phân tích với nhầm đơn vị tiền tệ. Chất lượng dữ liệu phải được quyết định khi quan sát từ website trở thành bản ghi được chấp nhận.
TL;DR: Xác định hợp đồng nghiệm thu cho từng nguồn và thị trường. Kiểm tra lược đồ cùng ý nghĩa nghiệp vụ của từng bản ghi, đối soát ID đã chấp nhận với danh mục kỳ vọng có cơ sở, đo độ mới từ thời gian quan sát thực và giữ nguồn gốc đủ để tái hiện một giá trị gây tranh cãi. Cách ly kết quả lỗi thay vì công bố chúng như giá trị bằng không hoặc bản ghi đã bị xóa. Proxy và công cụ crawler hỗ trợ lấy và theo dõi quan sát; pipeline của bạn quyết định dữ liệu nào được phát hành.
1. Xác định đơn vị dữ liệu và hợp đồng nghiệm thu
Viết rõ câu hỏi cần trả lời trước khi thiết kế bộ kiểm định. Với danh mục sản phẩm công khai, đơn vị có thể là một đề nghị bán hàng xác định bởi sản phẩm, người bán, biến thể, thị trường giao hàng và tiền tệ. Với bảng tuyển dụng, đó có thể là tin đăng cùng nhà tuyển dụng, địa điểm và trạng thái. URL thường không phải khóa thực thể ổn định: cùng một mặt hàng có thể có nhiều URL; cùng một URL cũng có thể hiển thị nhiều đề nghị theo khu vực hoặc phiên.
Hợp đồng nghiệm thu cần nêu đường dẫn nguồn được phép truy cập, khóa thực thể, trường bắt buộc, kiểu dữ liệu, phạm vi giá trị, thị trường và ngôn ngữ mục tiêu, cửa sổ quan sát và cách xử lý giá trị thiếu. Nó cũng phải định nghĩa thế nào là “đầy đủ” cho lượt chạy. Nếu nguồn có API hoặc bản xuất được tài liệu hóa, ưu tiên định nghĩa trường và quy tắc phân trang chính thức đó. Với HTML, lưu bộ chọn hoặc phiên bản parser và đối chiếu một mẫu nhỏ bằng mắt với nội dung nguồn thực tế.
Tách trạng thái quan sát khỏi giá trị nghiệp vụ. Yêu cầu bị chặn, parser trả về rỗng và giá thật bằng không là ba tình huống khác nhau; không nên cùng ghi thành 0 hoặc null. Mặt hàng tạm thời không truy cập được chưa chắc đã bị xóa. Giá được hiển thị ở ngôn ngữ khác cũng không mặc nhiên so sánh được với giá bằng tiền tệ gốc. Đưa những khác biệt này vào hợp đồng để người phân tích phía sau không phải tự suy đoán.
2. Kiểm tra cấu trúc trước, rồi kiểm tra ý nghĩa
Đặc tả JSON Schema 2020-12 giúp mô tả các thuộc tính bắt buộc, kiểu, phạm vi và mẫu theo phiên bản. Phạm vi của nó hẹp hơn việc xác minh sự thật: một bản ghi có thể hợp lệ theo lược đồ nhưng vẫn thuộc sai sản phẩm hoặc thị trường. Sau cổng cấu trúc cần kiểm tra nghiệp vụ: tiền tệ có khớp gian hàng không, ID có thuộc đúng thực thể quan sát không, nhãn tồn kho được hiểu theo quy ước nào, và giá có đúng đơn vị của nguồn không.
Bảng sau giúp phân loại vấn đề. Ngưỡng phát hành thực tế phải đến từ hợp đồng nguồn và mức sai số chấp nhận được cho quyết định nghiệp vụ, chứ không có một tỷ lệ “dữ liệu tốt” chung cho mọi website.
| Cổng nghiệm thu | Chứng cứ cần giữ | Lỗi thường gặp | Cách xử lý |
|---|---|---|---|
| Truyền tải và ngữ cảnh | URL, mã trạng thái, URL cuối, thị trường, ngôn ngữ, thời gian | 200 thực ra là trang thử thách hoặc sai thị trường | Cách ly; kiểm tra tuyến và danh tính trang |
| Lược đồ bản ghi | Phiên bản schema, trường bắt buộc, kiểu, phạm vi | Thiếu ID, giá âm, dấu thời gian sai | Từ chối cùng lý do theo từng trường |
| Ngữ nghĩa nghiệp vụ | Nhãn nguồn, đơn vị, tiền tệ, khớp thực thể | Giá của biến thể hoặc vùng giao hàng khác | Xem lại parser hoặc ngữ cảnh; không âm thầm ép kiểu |
| Độ bao phủ tập dữ liệu | Cơ sở danh mục kỳ vọng, ID được chấp nhận, mục trùng | Thiếu trang cuối hoặc ID lặp | Đánh dấu lượt chạy chưa đầy đủ; kiểm tra phân trang |
| Độ mới và nguồn gốc | Thời gian quan sát, thời gian nguồn cập nhật, hash, phiên bản parser | Kết quả cache cũ hoặc giá trị không truy được nguồn | Giữ lại hoặc dán nhãn đã cũ |
Ví dụ Python nhỏ dưới đây chỉ kiểm tra các bản ghi đã được trích xuất. Cài jsonschema[format] nếu dùng kiểm tra date-time; tài liệu kiểm định của Python `jsonschema` nêu rằng format không được bắt buộc kiểm tra theo mặc định và một số format cần thư viện bổ sung. Danh mục cùng các bản ghi trong ví dụ chỉ là giả định, không phải phép đo của Arcvenza.
from jsonschema import Draft202012Validator, FormatChecker
SCHEMA = {
"$schema": "https://json-schema.org/draft/2020-12/schema",
"type": "object",
"required": ["id", "url", "market", "price_minor", "currency", "observed_at"],
"properties": {
"id": {"type": "string", "minLength": 1},
"url": {"type": "string", "format": "uri"},
"market": {"const": "US"},
"price_minor": {"type": "integer", "minimum": 0},
"currency": {"const": "USD"},
"observed_at": {"type": "string", "format": "date-time"},
},
"additionalProperties": False,
}
records = [
{"id": "A-1", "url": "https://example.com/a-1", "market": "US",
"price_minor": 12999, "currency": "USD", "observed_at": "2026-11-16T10:00:00Z"},
{"id": "A-2", "url": "https://example.com/a-2", "market": "US",
"price_minor": -1, "currency": "USD", "observed_at": "2026-11-16T10:00:00Z"},
]
expected_ids = {"A-1", "A-2", "A-3"} # Same-source, same-market inventory
Draft202012Validator.check_schema(SCHEMA)
validator = Draft202012Validator(SCHEMA, format_checker=FormatChecker())
accepted, rejected, seen = [], [], set()
for record in records:
errors = sorted(validator.iter_errors(record), key=lambda e: str(e.path))
if errors:
rejected.append((record.get("id"), [e.message for e in errors]))
continue
if record["id"] in seen:
rejected.append((record["id"], ["duplicate ID in this run"]))
continue
seen.add(record["id"])
accepted.append(record)
accepted_ids = {r["id"] for r in accepted}
coverage = len(accepted_ids & expected_ids) / len(expected_ids)
missing_ids = sorted(expected_ids - accepted_ids)
print({"accepted": len(accepted), "rejected": rejected,
"missing_ids": missing_ids, "coverage": coverage})
Ví dụ từ chối giá âm và cho thấy một ID kỳ vọng bị thiếu; nó không xác nhận rằng bản ghi còn lại đúng về mặt thực tế hoặc rằng lượt chạy nên được công bố. Với tiền, phải ghi rõ đơn vị tiền tệ và dùng số nguyên ở đơn vị nhỏ nhất hoặc một kiểu thập phân phù hợp. Thời gian quan sát nên dùng dấu thời gian RFC 3339 có độ lệch múi giờ để tính tuổi dữ liệu nhất quán giữa các khu vực.
3. Đối soát độ bao phủ mà không bịa ra sự đầy đủ
Độ bao phủ là thuộc tính của tập dữ liệu đã chấp nhận, không phải số yêu cầu HTTP. Gọi E là tập ID thực thể kỳ vọng có cơ sở cho cùng nguồn, truy vấn, thị trường và cửa sổ quan sát; A là tập ID duy nhất đã chấp nhận. Một phép đo cơ bản là |A ∩ E| / |E|. Con số đó chỉ có ý nghĩa khi cơ sở của E được ghi lại và E không rỗng. Sitemap hiện tại, số lượng từ API chính thức, bản xuất có giấy phép hoặc mẫu được xác minh độc lập đều có thể giúp xác lập mẫu số, nhưng mỗi loại đều có giới hạn.
Với danh mục đang thay đổi, tổng số hiển thị có thể đổi giữa lúc crawl. Không nên gọi 98 trong 100 trang là “đầy đủ 98%” nếu chưa kiểm tra số bản ghi trên mỗi trang, việc mục hàng di chuyển giữa các trang, và liệu tổng số có được lấy dưới cùng bộ lọc hay không. Theo dõi tín hiệu trang tiếp theo hoặc cursor, ID duy nhất, tỷ lệ trùng và tín hiệu kết thúc tường minh. Phản hồi 200 cho trang cuối đã yêu cầu không chứng minh đã chạm trang cuối thật. Parser trả về không bản ghi có thể báo hiệu bố cục thay đổi chứ không phải danh mục rỗng.
Chia độ bao phủ theo thị trường, danh mục, nguồn và lượt chạy. Trung bình toàn cục có thể che giấu cả một khu vực bị thiếu hoặc một danh mục bị hỏng. Giữ danh sách ID thiếu cùng lý do loại trừ. Nếu không biết mẫu số, hãy báo “chưa xác lập độ bao phủ” cùng số quan sát được thay vì gán tỷ lệ phần trăm sai. Hướng dẫn thu thập dữ liệu thương mại điện tử giải thích thêm vì sao ngữ cảnh thị trường và tiền tệ cần đi cùng từng quan sát.
4. Đo độ mới từ thời gian của chứng cứ hợp lệ
Khi có thể, lưu ít nhất ba mốc: thời điểm hệ thống yêu cầu trang, thời điểm bản ghi được chấp nhận và thời điểm nhà xuất bản nói đối tượng gốc đã thay đổi. Đây là ba đồng hồ khác nhau. Trang vừa tải có thể chứa giá cũ; updated_at do nguồn cung cấp có thể chậm hơn phần hiển thị; phản hồi hợp lệ theo quy tắc cache vẫn có thể quá cũ cho mục đích nghiệp vụ. Định nghĩa mục tiêu độ mới trong hợp đồng và tính từ quan sát hợp lệ gần nhất, không phải yêu cầu thử gần nhất.
Dùng dấu thời gian có múi giờ và giữ độ lệch gốc. RFC 3339 định nghĩa cách biểu diễn thời gian trên Internet; chuẩn hóa về UTC giúp so sánh, nhưng chuỗi gốc của nguồn vẫn cần giữ để kiểm toán. Chú ý độ lệch đồng hồ, múi giờ của nguồn và trường trông như “cập nhật” nhưng thực ra chỉ là thời gian xuất bản. Nếu một mặt hàng tạm biến mất, đừng dùng thời gian yêu cầu thất bại làm thời gian cập nhật mới; hãy ghi thời điểm thấy cuối và trạng thái chờ xác nhận.
Độ mới phụ thuộc vào ngữ cảnh. Một công bố chính phủ hàng tuần và tồn kho bán lẻ thay đổi nhanh cần lịch thu thập và cảnh báo khác nhau. Định kỳ tải toàn bộ hoặc kiểm tra thủ công một mẫu độc lập để xem nhãn “không đổi” và “còn mới” có vẫn khớp thực tế không. Một lần kiểm tra thất bại là sự cố chất lượng; nó khiến bản ghi đáng tin gần nhất già đi, không làm tuổi của bản ghi về không.
5. Giữ nguồn gốc để có thể tái hiện bất thường
Mỗi giá trị đã công bố cần có đường dẫn ngược đến một lần quan sát cụ thể: URL nguồn chuẩn, URL cuối sau các chuyển hướng được phép, thời điểm quan sát UTC, thị trường và ngôn ngữ, trạng thái HTTP, ngữ cảnh yêu cầu, phản hồi thô hoặc con trỏ lưu trữ bền vững, digest của phản hồi, phiên bản parser và schema, cùng kết quả nghiệm thu. Chỉ giữ dữ liệu được phép lưu và áp dụng kiểm soát truy cập phù hợp với nguồn. Hash giúp chứng minh tệp lưu trữ chưa bị đổi; nó không chứng minh nguồn nói thật hay parser đã trích xuất đúng.
ID lượt chạy và mã lý do liên kết bản ghi với lần thu thập. Chẳng hạn wrong_market, missing_required_field, duplicate_id, challenge_page và stale_baseline giúp người vận hành biết phải kiểm tra gì thay vì một thông báo chung “crawl thất bại”. Giữ mẫu nhỏ có thể tái hiện của cả trang được chấp nhận lẫn bị từ chối để kiểm thử hồi quy parser. Khi đổi phiên bản parser, hãy chạy cả hai trên cùng các tệp đã lưu và so sánh đầu ra trước khi đưa bản mới vào vận hành.
Nguồn gốc còn giúp tránh suy luận nhân quả sai. Một IP dân cư có thể giúp quan sát trang công khai theo thị trường, nhưng không chứng minh giá nhìn thấy đại diện cho mọi người mua ở đó. Nếu mã bưu chính, tiền tệ, biến thể, phiên hoặc điều kiện giao hàng ảnh hưởng trang, hãy lưu chúng cùng quan sát. Khi điều tra biến động bất thường, phải lặp lại cùng ngữ cảnh.
6. Đặt cổng phát hành cho toàn bộ tập dữ liệu
Quyết định phát hành cần kết hợp nhiều cổng: bản ghi sai cấu trúc hoặc ngữ nghĩa không được vào tập chính thức; tạm giữ lượt chạy nếu thiếu nguồn/thị trường bắt buộc hoặc chưa xác nhận được tín hiệu kết thúc phân trang; dán nhãn hoặc loại bản ghi cũ theo hợp đồng; không đưa phản hồi 403, 429 hoặc trang thử thách chưa giải quyết vào tập được chấp nhận. Báo cáo tử số, mẫu số, ngưỡng và ngoại lệ của từng cổng. Ngưỡng phải được chọn theo quyết định nghiệp vụ và hành vi nguồn quan sát được, không chép một con số chung từ blog.
Cuối cùng, tuân thủ điều khoản nhà xuất bản, quyền truy cập và quy tắc Robots Exclusion Protocol áp dụng; robots không phải giấy phép truy cập. Giới hạn đồng thời và dừng hoặc backoff khi nguồn từ chối hay giới hạn tần suất. Một tập dữ liệu trung thực phải cho thấy cả điều chưa biết. Công bố ít bản ghi hơn nhưng có chứng cứ rõ vẫn tốt hơn tạo ra vẻ “đầy đủ” từ các yêu cầu thành công.
Tiêu chuẩn chính thức và tài liệu kỹ thuật
JSON Schema — Đặc tả Draft 2020-12
Python `jsonschema` — Kiểm định lược đồ và định dạng
IETF — Dấu thời gian trên Internet (RFC 3339)
IETF — Robots Exclusion Protocol (RFC 9309)

