User-agent: * Allow: / # /app /admin /print 改用 X-Robots-Tag: noindex 响应头(见 next.config.mjs),这里不再 Disallow。 # 原因:robots.txt 屏蔽后爬虫根本不会来抓,也就看不到 noindex, # 已经被收录的空壳页(如 /app/payment)反而永远清不出索引。 # 等 Search Console / 百度站长平台确认这些 URL 全部移除后,可再改回 Disallow 省抓取预算。 Disallow: /api/ Sitemap: https://toeflhub.com/sitemap.xml