首页 / 在线工具 / Robots.txt检测

Robots.txt检测

抓 robots.txt,判断是否被 SPA 兜成首页 HTML,解析分组规则,并测试任意路径是否被允许。

顺便判断 robots 是否被 SPA 兜成首页 HTML(这是最常见的假 200)。

robots 改完记得清 CDN 缓存(Cloudflare 会缓存 robots 4 小时)。