robots.txt在线校验

粘贴 robots.txt 内容或输入线上地址由服务器代取(每IP每小时10次),按 Google/Bing 爬虫规范逐行校验语法与逻辑,检出常见陷阱。

常见陷阱

常见问题

逐行检查哪些内容?

按Google/Bing公布的爬虫规范校验:User-agent/Disallow/Allow/Sitemap/Crawl-delay各指令格式、路径通配符与$结尾符用法、指令顺序陷阱(Disallow优先于同级Allow的规则)、空Disallow语义、以及"整站误屏蔽"这类高危配置。

校验发现的"陷阱"和"错误"有什么区别?

错误是违反语法、爬虫无法解析的行(如指令拼写错误);陷阱是语法合法但语义容易搞反的配置(如Allow: / 与 Disallow: / 同时出现时的优先级)。错误必须修,陷阱要结合您的真实意图确认。

相关工具