按您的站点策略生成规范robots.txt。生成结果仅在本地拼接，复制后请部署到网站根目录并自查生效情况。
生成器按您的配置（User-agent分组、Disallow/Allow路径、sitemap声明）交互式产出规则，复制部署到站点根目录；部署后用robots.txt校验工具按Google/Bing爬虫规范复查一遍，确认没有语法陷阱（如路径大小写、结尾斜杠语义）。
主流搜索引擎中只有Bing明确支持Crawl-delay，Google已忽略该指令。站点承压能力弱、日志显示爬虫抓取过密时可对特定UA设置，但要意识到这会同步降低收录速度，属于取舍而非必选项。