抓 robots.txt,判断是否被 SPA 兜成首页 HTML,解析分组规则,并测试任意路径是否被允许。
顺便判断 robots 是否被 SPA 兜成首页 HTML(这是最常见的假 200)。
robots 改完记得清 CDN 缓存(Cloudflare 会缓存 robots 4 小时)。