Playwright 可以让渲染型浏览器经代理访问网页,适合在获准测试的前提下,从特定网络或地区观察公开页面。配置本身不复杂;真正困难的是证明浏览器使用了预期线路,且返回的是正确页面。本文采用 Playwright 官方 JavaScript API,把代理传输与浏览器状态分开,并把限流与来源许可纳入测试设计。
1. 写脚本之前先确定代理作用范围
Playwright 支持在 chromium.launch() 为整个浏览器设置代理,也支持在 browser.newContext() 为单个浏览器上下文设置代理。官方网络文档展示了两种写法,Browser API列出了 proxy 选项。如果一个工作进程内所有页面都使用同一线路,浏览器级配置比较直接;若同一浏览器进程需要隔离多个市场观察,上下文级配置更合适。新建页面并不会自动换代理,它仍属于原有上下文。
按测量目标选线路。住宅代理适合观察实际覆盖的家庭网络市场,细分地区定位取决于覆盖;ISP 代理提供适合重复会话的稳定端点。开始研究前,应在账户内确认实际端点、地区控制、认证方式与会话设置。IP 线路本身不会改变 locale、时区、视口、Cookie,也不会改变来源网站的访问许可。
2. 配置上下文,同时保护凭据
下面示例使用 Node.js 版 Playwright。通过密钥管理器或本地环境提供 PROXY_SERVER、PROXY_USERNAME 和 PROXY_PASSWORD。PROXY_SERVER 应是账户中实际提供的端点,并带 http:// 等协议前缀;示例目标 URL 只是可替换为获准测试页面的占位地址。Playwright 文档支持 HTTP(S) 代理的 username 和 password。如果使用 IP 白名单认证,应依照供应商说明省略这两个字段。
const { chromium } = require('playwright');
(async () => {
const { PROXY_SERVER, PROXY_USERNAME, PROXY_PASSWORD } = process.env;
if (!PROXY_SERVER) throw new Error('Set PROXY_SERVER');
const browser = await chromium.launch();
try {
const proxy = { server: PROXY_SERVER };
if (PROXY_USERNAME && PROXY_PASSWORD) {
proxy.username = PROXY_USERNAME;
proxy.password = PROXY_PASSWORD;
}
const context = await browser.newContext({
proxy,
locale: 'en-US',
timezoneId: 'America/New_York',
viewport: { width: 1280, height: 800 },
});
try {
const page = await context.newPage();
const response = await page.goto('https://example.com/', {
waitUntil: 'domcontentloaded',
});
if (!response || response.status() >= 400) {
throw new Error(`Navigation failed: ${response?.status() ?? 'no response'}`);
}
console.log({ status: response.status(), title: await page.title() });
} finally {
await context.close();
}
} finally {
await browser.close();
}
})().catch(error => { console.error(error); process.exitCode = 1; });
这只是传输与导航的冒烟测试,不能证明具体出口 IP 或业务结果有效。不要把代理凭据或包含认证信息的完整 URL 写入日志。Playwright 的隔离式浏览器上下文会分开保存 Cookie 与本地存储;比较不同市场或身份时仍需有意识地使用独立上下文。
3. 保持线路、会话和浏览器信号一致
多页面流程应在同一上下文和预期的同一代理会话内完成。分页过程中更换出口 IP,可能混入不同地区或造成网站状态不一致。需要独立样本时,创建新上下文,并给每条记录标记线路、目标市场、运行时间、浏览器版本、locale 和视口。跨无关市场复用同一上下文会携带 Cookie 与存储状态,即使其他地方换了线路也不例外。
代理国家与 Playwright 的 locale 是两个变量。Browser API说明 locale 会改变 navigator.language、Accept-Language 和数字日期格式;timezoneId 是另一项上下文设置。应明确设置并记录它们。若页面显示不同报价,每次只改变一个变量,才能判断差异来自网络线路还是语言、会话变化。移动代理同样不会把桌面 Chromium 变成真实手机或 App。
4. 验证观察结果,而非只看 HTTP 状态
先通过自有端点或获准的 IP 回显服务确认线路,记录观察到的出口 IP 与地区,再加载获准的目标页面。Playwright 的网络事件 API可记录请求与响应状态;导航成功时 page.goto() 会返回主文档响应。不过,200 仍可能是同意弹窗、验证页、错误国家页面或过期数据。应检查预期页面元素、地区线索和关键字段,并人工复核一部分截图或 HTML 摘录。
衡量合格结果产出率、p95 延迟、传输字节与每份合格结果成本,而不是只看每分钟请求数。公平比较时,固定 URL、浏览器设置、时间窗口与提取规则,仅更换线路。如果目标需要账户,应仅使用有权访问该来源的账户和方法;代理配置不会创造访问权。
5. 在正确的层次排查故障
不要把所有失败都归为“代理被封”。代理连接错误、代理认证响应、目标网站响应和内容校验失败,需要不同的处理。HTTP 407与代理认证有关;429表示请求过多,并可能附带 Retry-After。
| 观察现象 | 先检查哪一层 | 负责任的第一步 |
|---|---|---|
| 收到响应前连接失败或超时 | 端点、协议、网络可达性 | 核对服务器、协议、端口、账户权限及本地出口 |
| 代理返回 HTTP 407 | 代理认证 | 不记录密钥的前提下核对认证模式和凭据 |
| 目标返回 403 或 429 | 来源政策或频率控制 | 复核许可、降低负载,并遵循可能存在的 Retry-After |
| HTTP 200 但地区错误 | 线路与浏览器设置 | 验证出口地区、语言、筛选条件和站点存储状态 |
| HTTP 200 但出现验证页或字段为空 | 内容与提取 | 检查页面,将结果判为不合格 |
这张表只用于初步定位,不表示所有网站都会一致使用状态码。保留响应元信息和少量符合来源政策的样本,避免之后的解析器变更被误判为网络故障。
6. 完成可复核试验后再扩大规模
先选少量允许访问的页面。检查来源条款与 robots.txt;RFC 9309标准化了 Robots Exclusion Protocol,其他协议仍可能增加限制。设置明确的并发上限,以及反复出现验证页或限流响应时的停止条件。不要把轮换视为忽略访问控制的方法。试验中的“成功”应定义为正确页面、正确市场、字段完整、时效性达标。
试验稳定后,需要家庭网络市场视角时选用住宅线路,需要稳定基线时选用 ISP 线路。把代理设置、浏览器状态和目标内容校验分别记录,Playwright 工作流才比单纯统计加载了多少页面的脚本更容易复现、调试和审计。
官方标准与技术文档
Playwright — Browser.newContext 配置
Arcvenza — Residential Proxies 产品说明
IETF — HTTP 407 代理认证要求(RFC 9110)


