在线招聘广告可以比许多定期统计更快、更细地反映招聘变化,但广告数量不等于真实空缺数量。同一职位可能出现在雇主官网、多个招聘平台和中介网站;岗位关闭后旧页面仍可访问;“远程”标签也可能隐藏申请人居住地限制。代理能帮助控制市场观察视角,前提是先解决来源权限、时效性、职位标识和去重。目标是可复核的数据集,而不是抓取更多页面。
1. 定义问题和实际可观察的总体
从具体问题开始,例如:“三个地区对外发布的数据工程职位,在四周内如何变化?”事先确定地区、职业分类、来源集合、观察频率和统计单位。一个广告、一条去重后的招聘职位、一个实际岗位空缺,是不同的单位。雇主可能在一条广告中招聘多人;中介也可能把同一个岗位发布到多个平台。
OECD 关于在线招聘信息的分析把此类信息视为及时、细粒度的信号,并检验它与各国统计来源的一致性。因此,报告应说明平台覆盖与抽样偏差,不能把已观察到的广告总量写成官方职位空缺数。
2. 优先使用授权的结构化来源,并保留溯源信息
雇主招聘页面、公开 API 或数据源、招聘平台,都应在其条款及授权范围内使用。代理只改变访问来源的网络线路,不赋予内容再利用许可,也不允许绕过访问控制。页面若提供 Schema.org `JobPosting` 结构化数据,可提取 identifier、datePosted、validThrough、jobLocation 与 applicantLocationRequirements 等字段。Google 的 JobPosting 技术说明解释了发布方如何标记和下架职位页面。但不少来源会缺字段或填错字段,仍需与可见页面及来源 API 交叉核验。
每次观察都保留来源 URL、可用的规范 URL、UTC 抓取时间、市场与语言、提取方式、相关响应状态和内容指纹。在政策允许的范围内保存原始证据或合规摘录,供事后审计。若网站更换页面模板,应能区分“解析器失效”与“市场职位真的减少”。
3. 建立职位身份与新鲜度模型
稳健的记录应同时具有来源职位 ID和跨来源候选职位 ID。优先使用雇主提供的稳定标识;如果没有,再规范化雇主、职位名称、地点、雇佣类型和申请入口,以保守的匹配分数判断同一岗位。不能只凭名称相同就合并:“软件工程师”可能对应许多真实岗位。保留原文与规范字段,方便复查错误合并。
把 first_seen、last_seen、发布方的 datePosted 与 validThrough、以及自身的 status_checked_at 分开。validThrough 是发布方声明,不证明职位一定开放到该日期;缺少它也不能证明职位已经过期。一次页面不可达可能只是暂时故障;将状态改为关闭前,应核实雇主原始页面或进行重复观察。远程职位要把可申请人的居住地区与办公地点分别记录。
| 数据质量问题 | 应保留的证据 | 保守处理方式 |
|---|---|---|
| 跨平台重复 | 雇主 ID、申请 URL、规范字段 | 仅在达到明确置信阈值时合并 |
| 重发或刷新广告 | 首次/末次出现时间、发布时间、内容指纹 | 保留每次发布历史,不盲目重置年龄 |
| 可能已过期 | validThrough、页面状态、雇主原始页 | 未确认或未持续消失前标为不确定 |
| 远程地区不清 | applicantLocationRequirements、职位地点、正文 | 区分工作地点与申请资格地区 |
| 提取失败 | HTTP 状态、解析器版本、样本页面 | 修复前排除出职位趋势 |
4. 用代理把市场观察条件固定下来
部分公开招聘页面和搜索结果会因访问者所在市场而变化。Arcvenza Residential Proxies可用于观察实际覆盖的家庭网络地区,细分定位取决于覆盖情况;Arcvenza ISP Proxies提供适合重复基线测量的稳定端点。每次运行应记录线路及经核实的市场。跨地区比较时固定搜索词、筛选条件、浏览器语言、时区和视口,否则“地区差异”可能只是搜索设置不同。
分页或网站状态需要保持一致时,在一个结果集中使用持续会话。做日度快照时,尽量固定当地时间。若来源返回验证页或 429 Too Many Requests,应降低负载并遵循 Retry-After 提示;RFC 6585定义了这一状态码。增加线路数量无法弥补缺失的使用许可、错误解析器或有偏差的来源集合。
5. 建立可重复的数据质量复核
发布趋势之前做三项检查。第一,按来源和地区分层抽样,对照原始页面核验职位、雇主、地点、远程申请资格及开放状态。第二,复核接近去重阈值的匹配对,估计误合并与漏合并。第三,抽取若干已知雇主招聘页核对覆盖是否下降。记录解析器版本和来源级失败:某招聘平台改版后静默丢失记录,很容易被误读为市场收缩。
可报告的指标包括去重后活跃职位数、重复占比、过期页面占比、字段完整度、提取合格率和观察年龄中位数。每项指标都要给出分母和时间窗。图表出现陡变时,标注来源增减、解析器更新和市场线路变化。薪资及技能分析应与职位数量分别处理,因为这些字段往往并非随机缺失。
6. 报告信号,同时明确边界
可信的报告可以写成:“在这些获准使用的来源中,经过保守去重与时效性检查,我们在测量周观察到 N 条符合定义的活跃招聘广告。”同时说明来源覆盖、不确定记录,以及远程职位如何归入地区。这样的表述比直接展示搜索结果总数更可靠。
代理线路只是证据链中的一个受控环节。住宅代理或 ISP 代理的价值,在于可重复地观察获准访问的市场视图;数据集的可信度仍取决于来源溯源、谨慎的身份与过期规则,以及对不确定性的透明说明。
官方标准与技术文档
Arcvenza — Residential Proxies 地区与会话控制
Google Search Central — JobPosting 结构化数据


