生成一份给 AI 搜索和大模型爬虫看的站点说明。它不能替代 robots.txt,但可以帮助说明网站主题、推荐页面和使用边界。
llms.txt不是把全站URL全部堆进去,而是给AI爬虫一份清晰的网站说明。适合放入首页、核心服务页、工具页、重要教程、常见问题、联系页面和能够代表网站专业性的资源页。
如果页面过旧、内容重复、没有实际价值,通常不建议放进llms.txt。AI搜索更需要结构清楚、主题明确、能够回答具体问题的页面。