如何查看robots协议：三种实操方式

如何查看robots协议，最基础方法是在网站域名后拼接/robots.txt，浏览器直接访问，也可使用搜索引擎站长后台或在线检测工具读取，该协议遵循IETFRFC9309标准，仅为网站对爬虫的访问建议，不具备强制约束力，此方法适用于拥有独立域名的常规网站，无法用于单页应用无独立根目录、部分关闭web访问的内网站点。

如何查看robots协议的主流方法对比

浏览器查看是最常用的方式，你把目标网站主域名复制，在末尾加上/robots.txt，例如https://demo.com/robots.txt，按下回车。服务器存在该文件时，页面会直接展示纯文本规则，内容包含User-agent代表爬虫名称，Disallow代表禁止抓取路径，Allow代表允许抓取路径。如果返回404状态码，代表网站没有配置robots协议，爬虫默认可以抓取全站内容。

文件必须放在网站根目录。

搜索引擎站长后台适合网站运营者自查，以谷歌搜索控制台为例，完成站点所有权验证后，在设置板块找到robots.txt报告，工具会展示搜索引擎爬虫抓取到的版本，同时标注抓取失败、语法错误等问题。这个版本和浏览器看到的内容可能存在差异，原因是搜索引擎缓存了旧版本文件，浏览器读取的是服务器实时返回内容，你需要区分实时文件和爬虫缓存版本。

在线检测工具可以帮你快速校验语法错误，直接粘贴网站地址提交检测，工具会逐条解析每一条规则，标记无效通配符、路径书写错误这类问题。这类工具适合批量查询或者不熟悉协议语法的使用者，你不要完全依赖第三方工具结论，最终判断以服务器原始返回的robots.txt文本为准。

读懂robots协议核心字段，才能判断限制范围。User-agent:*代表规则适用于所有爬虫，User-agent:Baiduspider代表仅针对百度爬虫生效。Disallow:/admin/代表禁止爬虫抓取admin目录，Disallow:/代表禁止抓取整站。Allow指令用于在禁止目录中开放部分子路径，优先级高于Disallow。规则匹配遵循路径长度优先原则，路径越长，规则优先级越高。

robots协议只是网站给出的爬虫访问提示，不是法律强制拦截机制。恶意爬虫可以忽略robots协议直接抓取页面内容，协议无法阻止这类访问行为，网站如果需要保护内容，还需要搭配访问鉴权、IP封禁等防护手段。网站设置Disallow禁止抓取，也不代表页面会立刻从搜索结果消失，页面已经被收录的情况下，需要额外使用noindex标签控制索引。

查看时要留意http和https版本，部分网站两个协议下的robots.txt文件内容不一致，爬虫会按照访问站点的协议读取对应文件。子域名拥有独立robots协议，主域名设置的规则不会自动同步到子域名，你查询子站点时，需要单独访问子域名下的robots.txt文件。

返回403禁止访问时，说明服务器拒绝你的请求，你无法直接读取robots.txt，此时爬虫同样大概率无法获取协议文件，会默认抓取全站内容。