Thu thập web tăng dần: ETag, 304 và dữ liệu mới
Tìm hiểu cách dùng ETag, GET có điều kiện và bản gốc theo ngữ cảnh để giữ dữ liệu web mới hơn với ít yêu cầu dư thừa, mà không hiểu sai phản hồi 304.

Một pipeline thu thập web có thể hoàn tất mọi yêu cầu HTTP mà vẫn tạo ra dữ liệu cũ hoặc gây hiểu nhầm. Tải lại toàn bộ URL ở mỗi lượt làm tăng lưu lượng và chi phí phân tích; coi mọi phản hồi là một bản cập nhật lại đẩy công việc dư thừa xuống các hệ thống phía sau. Thu thập web tăng dần đặt câu hỏi hẹp hơn: với URL được phép truy cập, tại thị trường và ngữ cảnh yêu cầu này, biểu diễn được chọn đã thay đổi kể từ lần quan sát hợp lệ trước hay chưa? HTTP validator là tín hiệu ban đầu, còn hợp đồng dữ liệu và bản gốc lưu trữ quyết định ý nghĩa của kết quả.
TL;DR — Lưu bản gốc theo từng URL và ngữ cảnh yêu cầu. Khi nguồn cung cấp ETag hoặc Last-Modified, hãy kiểm tra lại bằng GET có điều kiện; với 304 hợp lệ, giữ bản đã lưu, còn với 200, phân tích và xác thực trước khi kết luận có thay đổi nghiệp vụ. Tách riêng biến thể theo khu vực, ngôn ngữ và phiên; xác minh trường hợp có vẻ bị xóa và tôn trọng giới hạn nguồn. Residential Proxies của Arcvenza có thể cung cấp tuyến mạng phù hợp cho phép đo theo địa điểm; Crawler Console giúp tổ chức hoạt động crawl. Logic xác thực dữ liệu vẫn thuộc về bộ thu thập.
1. Định nghĩa độ mới trước khi tối ưu yêu cầu
Hãy bắt đầu từ hợp đồng dữ liệu, không phải kích thước mạng proxy. Liệt kê đường dẫn nguồn được phép, khóa định danh thực thể, trường cần lấy, thị trường, ngôn ngữ, chu kỳ quan sát và độ trễ chấp nhận được. Theo dõi giá có thể cần giá bán, tiền tệ, người bán, tình trạng hàng và thời điểm; giám sát tài liệu có thể chỉ quan tâm phần nội dung chính. Cùng một thay đổi ở mức byte không có giá trị như nhau với hai công việc này. Lượt đầu cần lưu một ảnh chụp đầy đủ cùng thời gian quan sát thực tế. Bản gốc lỗi hoặc thiếu sẽ khiến mọi kết luận “không đổi” về sau đáng nghi.
Tách ba loại tín hiệu: độ mới của lần kiểm tra truyền tải, thay đổi của biểu diễn HTTP (byte hoặc validator), và thay đổi nghiệp vụ ở những trường cần dùng. 304 có thể xác nhận rằng biểu diễn được chọn còn hợp lệ cho yêu cầu có điều kiện đó; nó không chứng minh sản phẩm vẫn còn hàng ở mọi thị trường, cũng không chứng minh API động phía sau trang chưa đổi. Nếu HTML chỉ là lớp vỏ còn dữ liệu nằm trong API riêng, hãy theo dõi biểu diễn thực sự mang các trường cần thiết.
Một bản ghi có thể kiểm tra lại nên chứa URL nguồn, ID thực thể chuẩn hóa, ngữ cảnh yêu cầu, thời gian thu thập, mã phản hồi, validator, hàm băm nội dung, phiên bản bộ phân tích và các trường đã được chấp nhận. Chỉ thay bản ghi hợp lệ trước đó khi quan sát mới vượt qua bước kiểm tra chất lượng. Yêu cầu thất bại phải được thể hiện là trạng thái chưa biết, không được biến thành “không thay đổi”.
2. Dùng HTTP validator để kiểm tra có điều kiện
Theo RFC 9110 về ngữ nghĩa HTTP, máy chủ có thể gửi ETag hoặc Last-Modified cùng phản hồi 200. Ở GET tiếp theo, gửi If-None-Match với ETag đã lưu; nếu không có ETag, dùng thời điểm sửa đổi trong If-Modified-Since. Khi biểu diễn được chọn chưa đổi, phản hồi 304 Not Modified cho biết có thể sử dụng lại bản đã lưu và không có nội dung phản hồi mới để phân tích. Khi nó đổi, máy chủ có thể trả về 200 cùng biểu diễn mới. Nếu gửi cả hai header điều kiện, If-None-Match được ưu tiên; vì vậy ví dụ bên dưới chủ động chọn một header.
ETag có thể là validator mạnh hoặc yếu. Đây là dấu hiệu do nguồn cung cấp cho biểu diễn, không phải phép so sánh ngữ nghĩa của các trường nghiệp vụ. Last-Modified thường có độ phân giải thời gian thô hơn và có thể bỏ sót các thay đổi liên tiếp rất nhanh. Một số nguồn không cung cấp hai header này hoặc triển khai không nhất quán. Hãy kiểm tra bằng mẫu nhỏ trước khi dự tính mức tiết kiệm lưu lượng. CDN và cache trung gian cũng có thể tham gia xác thực lại; khi thấy 304 bất thường, cần giữ header phản hồi và thông tin tuyến mạng để chẩn đoán.
Quy tắc cache HTTP, bao gồm Vary, cho thấy chỉ nên dùng lại phản hồi đã lưu cho biến thể yêu cầu tương ứng. Đừng chuyển ETag của một ngôn ngữ hoặc một phiên sang ngữ cảnh khác rồi hiểu 304 là “không thay đổi” trên toàn cầu. Thương lượng nội dung và phản hồi cá nhân hóa có thể khiến cùng một URL trả về nội dung khác nhau.
| Phản hồi | Cách hiểu an toàn | Cập nhật trạng thái | Không được suy diễn |
|---|---|---|---|
| 304 Not Modified | Biểu diễn được chọn khớp bản gốc trong ngữ cảnh này | Giữ bản gốc; cập nhật thời gian kiểm tra và metadata phù hợp | Mọi thị trường hoặc API ẩn đều không đổi |
| 200 OK | Có một biểu diễn mới được trả về | Xác thực trường, so sánh hàm băm và dữ liệu nghiệp vụ rồi mới thay bản gốc | Mọi khác biệt byte đều là thay đổi nghiệp vụ |
| 404 / 410 | Tài nguyên không sẵn có hoặc được báo là đã mất trong ngữ cảnh này | Đánh dấu để kiểm tra lại cùng ngữ cảnh và xem xét nguồn | Một phản hồi chứng minh đã xóa vĩnh viễn |
| 429 Too Many Requests | Nguồn đang giới hạn tần suất | Tạm dừng và tuân thủ Retry-After nếu có | Đổi IP cho phép tiếp tục yêu cầu |
3. Tách bản gốc theo thị trường và phiên
Khóa trạng thái của công việc thu thập thường rộng hơn URL. Nó nên bao gồm đường dẫn và query, thị trường hoặc vùng IP thoát, ngôn ngữ, các header liên quan, phạm vi truy cập và trạng thái phiên có thể làm thay đổi biểu diễn được chọn. Tôn trọng Vary do nguồn công bố, nhưng đừng giả định header này mô tả hết khác biệt ở tầng ứng dụng. Tiền tệ, mã bưu chính giao hàng, trạng thái đăng nhập hoặc lựa chọn đồng ý có thể đổi trang dù URL giữ nguyên. Hãy coi chúng là những ngữ cảnh lấy mẫu khác nhau và mô tả rõ trong dữ liệu đầu ra.
Với quan sát theo khu vực được phép thực hiện, Residential Proxies của Arcvenza có điều khiển vị trí và phiên để hỗ trợ giữ tuyến mạng nhất quán với thị trường mục tiêu. Chọn và xác minh vị trí IP thoát thực tế, sau đó duy trì tuyến cùng ngữ cảnh ứng dụng trong chuỗi quan sát có thể so sánh. Proxy thay đổi đường đi mạng; nó không đảm bảo website sẽ trả đúng ngôn ngữ và không tự tạo logic yêu cầu có điều kiện.
Lưu validator dưới khóa ngữ cảnh đầy đủ. Nếu phiên hết hạn, thị trường IP thoát thay đổi hoặc website bắt đầu trả về biến thể khác, hãy lập bản gốc mới thay vì dùng lại hàm băm cũ. Kiểm tra ngôn ngữ, tiền tệ và ID thực thể thực sự xuất hiện trong phản hồi trước khi đưa một 304 hoặc 200 vào chuỗi của thị trường. Việc này đặc biệt quan trọng khi website chuyển hướng theo địa lý hoặc đặt cookie thị trường ở lần truy cập đầu.
4. Xây dựng vòng lặp GET có điều kiện nhỏ
Ví dụ Python Requests sau minh họa điểm quyết định cho một URL được phép truy cập. Để thấy rõ chuyển trạng thái, ví dụ dùng từ điển trong bộ nhớ; hệ thống thực tế cần kho lưu trữ bền vững, cập nhật nguyên tử, bộ lập lịch, log có cấu trúc và parser riêng cho nguồn. Chỉ đặt PROXY_URL khi tuyến proxy nằm trong thiết kế thu thập được cho phép. Ví dụ tắt cấu hình proxy ngầm từ môi trường để tuyến được chỉ định rõ ràng, đặt timeout kết nối/đọc và không tự theo chuyển hướng trước khi kiểm tra đích đến.
import hashlib
import os
import requests
URL = "https://example.com/" # Replace with a permitted source URL
CONTEXT = ("US", "en-US", "public") # Market, language, access scope
state = {} # Teaching demo; use durable storage in production
key = (URL, *CONTEXT)
proxy_url = os.getenv("PROXY_URL") # Optional; keep secrets out of logs
proxies = {"http": proxy_url, "https": proxy_url} if proxy_url else {}
def fetch_once(session):
old = state.get(key, {})
headers = {"Accept-Language": CONTEXT[1]}
if old.get("etag"):
headers["If-None-Match"] = old["etag"]
elif old.get("last_modified"):
headers["If-Modified-Since"] = old["last_modified"]
response = session.get(
URL, headers=headers, proxies=proxies,
timeout=(5, 20), allow_redirects=False,
)
if response.status_code == 304:
if "body" not in old:
raise RuntimeError("304 without a stored representation")
print("unchanged; retained bytes:", len(old["body"]))
elif response.status_code == 200:
body = response.content
digest = hashlib.sha256(body).hexdigest()
print("changed:", digest != old.get("sha256"))
# Validate parsed fields before saving a production baseline.
state[key] = {
"body": body, "sha256": digest,
"etag": response.headers.get("ETag"),
"last_modified": response.headers.get("Last-Modified"),
}
elif response.status_code == 429:
raise RuntimeError("Rate limited: honor Retry-After and pause")
elif response.status_code in (404, 410):
raise RuntimeError("Possible removal: confirm in the same context")
else:
response.raise_for_status()
raise RuntimeError(f"Unexpected status: {response.status_code}")
with requests.Session() as session:
session.trust_env = False
fetch_once(session) # First observation
fetch_once(session) # Teaching demo; schedule future checks responsibly
Tài liệu Requests Advanced Usage mô tả Session và cấu hình proxy. Ví dụ ưu tiên ETag, chỉ dùng Last-Modified khi thiếu ETag và từ chối diễn giải 304 nếu không có bản gốc. Hàm băm chỉ được tính sau khi nhận đủ 200; trong thực tế, chỉ lưu bản gốc mới sau khi parser và kiểm tra chất lượng thành công. Hệ thống vận hành cần xử lý ngoại lệ mạng, retry có giới hạn, cập nhật metadata thích hợp từ 304 và giữ thông tin xác thực proxy trong kho bí mật thay vì mã nguồn hoặc log.
Không nên dùng hàm băm byte thô làm tín hiệu nghiệp vụ duy nhất. Quảng cáo, thời gian hiển thị hoặc dấu A/B có thể làm HTML đổi trong khi giá cần đo vẫn giữ nguyên. So sánh các trường đã chuẩn hóa sau khi phân tích; nếu cần, lưu cả hàm băm thô và hàm băm chuẩn hóa, kèm phiên bản parser. Nếu nguồn cung cấp change feed hoặc API được tài liệu hóa, hãy ưu tiên cách đó thay vì suy đoán từ cấu trúc HTML.
5. Đối soát thay đổi, khoảng trống và trường hợp có vẻ bị xóa
Phản hồi 200 khác nội dung cũ vẫn phải qua kiểm tra schema trước khi thay dữ liệu đã được chấp nhận: ID thực thể dự kiến, các trường bắt buộc, đơn vị hoặc tiền tệ, kiểu dữ liệu hợp lý và thời gian của nguồn. Lưu quan sát thô để kiểm toán rồi mới tính chênh lệch từng trường. Một trường biến mất không tự động có nghĩa là sản phẩm đã bị xóa; đó có thể là trang yêu cầu đồng ý, render thiếu, chuyển hướng, sai thị trường hoặc lỗi parser. Đánh dấu bất thường để kiểm tra và giữ quan sát hợp lệ gần nhất cùng tuổi dữ liệu của nó.
Hãy xem 404 và 410 là bằng chứng của một yêu cầu cụ thể, không phải lệnh xóa tức thì. Kiểm tra lại vào thời điểm có giới hạn sau đó với cùng thị trường, ngôn ngữ và phạm vi truy cập; xem chuyển hướng và trạng thái trong danh sách hoặc API chính thức nếu có. Nếu xác nhận thực thể thực sự biến mất, lưu bản ghi tombstone gồm thời điểm nhìn thấy cuối và chứng cứ xác nhận. Với danh mục, cần đối soát cả tập ID: trang danh mục không đổi vẫn có thể che giấu thay đổi ở trang chi tiết, còn danh sách đổi thứ tự có thể tạo quan sát trùng.
Để tìm hiểu cách phân biệt cập nhật thật với nhiễu theo thị trường, xem Proxies for Website Change Monitoring. Với dữ liệu trải trên nhiều trang, còn phải xác minh riêng độ đầy đủ và các tín hiệu tiếp tục của phân trang. Tải tăng dần chỉ tối ưu một lượt crawl đã đúng; nó không sửa được danh sách URL bị thiếu.
6. Tôn trọng giới hạn nguồn và đo hiệu quả thực
Trước khi lập lịch, kiểm tra điều khoản của nhà xuất bản, quyền truy cập và các quy tắc Robots Exclusion Protocol áp dụng cho đường dẫn tương ứng. Robots là tín hiệu điều khiển crawler, không phải giấy phép truy cập. Dùng danh tính client phù hợp, giới hạn đồng thời, backoff và điều kiện dừng khi gặp 403 hoặc 429. Tuân thủ Retry-After nếu được cung cấp. Không được đổi tuyến mạng để bỏ qua việc nguồn từ chối hoặc giới hạn tần suất.
Theo dõi độ bao phủ (thực thể được chấp nhận so với danh sách dự kiến), tuổi của quan sát hợp lệ gần nhất, tỷ lệ 304, số byte cho mỗi cập nhật được chấp nhận, tỷ lệ parser từ chối, tỷ lệ 429 và tỷ lệ sai ngữ cảnh thị trường. Phân tách chỉ số theo nguồn và ngữ cảnh: tỷ lệ 304 cao có thể cho thấy xác thực lại hiệu quả, hoặc khóa cache đang gộp sai các biến thể. Định kỳ tải đầy đủ một tập mẫu để kiểm tra validator và trường đã trích xuất còn phản ánh thực tế không. Ghi rõ phương pháp lấy mẫu và ngoại lệ, thay vì quảng bá tỷ lệ thành công không có bằng chứng.
Arcvenza Crawler Console được thiết kế để cấu hình, chạy và theo dõi lượt crawl, qua đó hỗ trợ khả năng quan sát vận hành. Bộ thu thập vẫn phải sở hữu kho bản gốc, yêu cầu có điều kiện, bài kiểm tra parser và định nghĩa của một “thay đổi”. Bắt đầu với mẫu nguồn nhỏ được phép, chứng minh khóa ngữ cảnh và bản gốc là đúng, rồi chỉ mở rộng khi chỉ số độ mới và chất lượng ổn định.
Một pipeline tăng dần đáng tin cậy là máy trạng thái dựa trên bằng chứng: quan sát biểu diễn được phép, xác thực, so sánh trong đúng ngữ cảnh và chỉ xuất bản bản ghi mới khi có đủ căn cứ. HTTP 304 giảm truyền tải không cần thiết; nó không thay thế độ bao phủ, việc phân tích chính xác hay cách truy cập nguồn có trách nhiệm.
Tiêu chuẩn chính thức và tài liệu kỹ thuật
IETF — Ngữ nghĩa HTTP (RFC 9110)
IETF — HTTP Caching (RFC 9111)

