房地产监测首先是“同一房产是谁、记录有多新”的问题,然后才是网络问题。同一房产可能出现在多个平台;一个房源可能下架后重新上架;挂牌价也不是成交价。代理可以帮助获准的团队从指定市场观察公开房源页面,但不能赋予 MLS 数据使用权,更不能自动修正匹配错误。本文把来源授权、RESO 字段标准、线路设计和质量控制结合成一套可执行流程。
1. 先确定数据来源及使用权限
先定义要支持的决策:在售挂牌价变化、可用房源数量、社区覆盖,还是历史成交序列。不同问题需要不同证据。公开平台的展示卡片或许足以做有限的可用性检查,却未必包含建立可靠房产时间线所需的标识和状态历史;在取得相应协议后,授权数据源可以提供结构化记录。
RESO Web API是房地产数据传输标准。RESO 明确表示自身不提供 MLS 数据;数据凭据及使用权须在签订相应协议后向 MLS 获取。若获准且能满足问题,应优先使用授权 Web API 或合作伙伴数据源。对公开页面,则记录站点条款、允许的采集方法、速率要求、字段和保留规则。代理是网络观察位置,不是许可证或访问许可的替代品。
建立来源台账,记录来源所有者、URL 或 API、使用权依据、市场、采集方式、最近审核日期及联系人。授权数据源与获准的公开页面观察要分开存放。渠道之间出现差异,可能是发布延迟、展示规则或库存不同,不能直接归咎于代理。
2. 区分房产、房源和观察记录
房产或地块是现实中的标的;房源是围绕该标的的一条销售或租赁展示记录;观察记录是在指定时间、查询与市场条件下某个来源显示的内容。混淆这三个层次会产生虚假数量:三个展示卡片可能指向同一房产,而重新挂牌也可能产生新的房源标识。
有条件时使用来源提供的稳定房源 ID 和原始系统标识,同时保留原值与规范化键。仅靠地址文字不稳妥,因为缩写、房号和格式会变化。RESO 的通用地块标识 UPI用于在已提供该字段的来源间更一致地关联房产记录,但不能凭街道地址自行“造出”一个 UPI。缺少可靠的跨来源 ID 时,应保存匹配置信度及证据。
每次采集应保留来源 ID、来源房源 ID、在获准且可用时的房产或地块 ID、原始地址、观察 URL、带时区的时间、市场条件,以及内容指纹或获准保存的证据文件。不要仅凭照片相似就合并记录。同一地址可能包含双拼住宅、公寓楼及不同单元,对应不同的可交易标的。
3. 规范字段,但不改变原本含义
RESO 数据字典对房地产资源、字段名称、类型和枚举值建立了标准。把获准来源映射到内部结构时,要区分挂牌价和成交价、正式房源状态和网站展示标签、挂牌日期和观察日期、室内面积和地块面积。规范化字段旁应保留来源原值,以便日后审计映射。
| 数据问题 | 优先保留的字段 | 常见误判 | 质量控制 |
|---|---|---|---|
| 是否同一条房源? | 来源、原始系统、房源键或 ID | 地址相近就当成同一记录 | 比对稳定 ID 与房号 |
| 是否同一处房产? | 可用时的地块号/UPI、单元、位置 | 多条房源等于多处房产 | 谨慎匹配并保留置信度 |
| 挂牌价是否下降? | 挂牌价、币种、状态、观察时间 | 更便宜的单元被当作降价 | 比较同一房源和条件 |
| 是否已经售出? | 获准取得的标准状态与成交字段 | “下架”一律解释为售出 | 区分撤销、待成交和已成交 |
| 结果是否足够新? | 来源修改时间和采集时间 | 缓存页面重复出现就算新动态 | 分别追踪来源与观察时间 |
例如,一处房产在两个平台有不同房源 ID,房产数可能是一,房源数却是二。某条展示记录从在售变为撤销,也不应自动记为成交。RESO 的 StandardStatus 字段提醒我们:状态应是结构化信息,而不是对页面标签的自由猜测。
4. 用代理控制市场观察条件
对于获准的公开页面检查,Arcvenza Residential Proxies可以提供国家或可用的地区线路,以及轮换或持续会话。搜索结果跳转详情页等多步流程应保持会话稳定;独立采样则使用独立会话。Arcvenza ISP Proxies在覆盖目标市场时,可用稳定端点建立可重复的基准。所选线路应成为观察记录的一部分,而不是看不见的技术细节。
比较市场之前,先固定查询、地图边界或邮编、语言、币种、设备类型和会话状态。记录要求的代理地区,以及网站结果页实际反映的市场;代理所在地不保证网站选择了相同市场。网站有明确市场选择器时应记录该选择。搜索结果与详情页要归入同一次观察,避免把不同会话的价格、状态和房产特征拼在一起。
不要借助代理在无凭据时访问私有 MLS 接口,也不要绕过网站明确的拒绝。获准来源返回 429 时,应遵守其限制及 Retry-After 指示;RFC 6585定义了这一响应。小规模、受控且可核验的样本,通常比大量条件不一致的页面更能支撑可靠判断。
5. 识别重复、过期记录和虚假价格变动
建立分阶段匹配流程:先在单一来源内按准确 ID 匹配;再在有授权和字段可用时用地块号或 UPI 跨来源关联;最后才把地址、单元、坐标、物业类型和面积作为概率性证据。影响大的模糊匹配交由人工复核。不能因为两条房源地理位置很近或共用示意图,就自动合并。
把每次观察作为可追加的证据,更新记录应指向上一次观察,而不是覆盖它。保存解析器版本、HTTP 结果、来源时间、采集时间、原始字段和规范化字段。平台移除某张卡片时,先标记为“本次未观察到”;只有获准的权威状态源确认撤销或成交,才能下对应结论。从一个结果列表消失,并不等于房产已经售出。
价格变化提醒应同时满足:同一房源身份、相同币种和价格口径、相容状态,以及新的来源观察。挂牌价、估值、租金、成交价与促销展示价应分别成序列。若网站市场或页面模板变化,应隔离记录复核,不能直接把它转化为市场趋势。
6. 报告覆盖范围与不确定性
报告来源数、市场数、尝试页面数、有效房源观察数、匹配后的独立房产数、尚未解决的疑似重复、过期记录,以及具有可用价格和状态的记录数。所有百分比都应给出分母。只有 20 条有效观察的社区,与有 2000 条观察的社区,不应被描述成同等精度。
每轮抽查一部分已接受的匹配和价格变化提醒,跟踪匹配准确度、新鲜度滞后、字段完整率、合格记录率,以及每条有效观察的成本。站点条款或数据源改变时,更新来源台账。如果决策依赖具有法律意义的房产事实或成交价格,应向相应的授权或官方记录核实,而不能把网页展示当成最终依据。
代理的价值在于让获准的市场观察可以重复;可信数据集则依赖明确的使用权、稳定的身份、来源感知的时间记录和严格验证。
官方标准与技术文档


