robotstxt是什么?robots.txt文件作用与配置详解

📍 WDQWDWQD987AAAAA:216.73.217.58
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e2ec3ecbf732.html
📄

robotstxt(通常写作robots.txt)是网站根目录下的一个纯文本文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避开。它是搜索引擎优化(SEO)中最基础也最容易被忽视的配置之一。正确理解robotstxt的作用与写法,能帮助网站更高效地被收录,同时避免敏感内容被索引。

robotstxt的核心作用

robots.txt遵循“爬虫排除协议”,主要面向遵守规则的搜索引擎蜘蛛。它的核心作用包括:

robotstxt的常见写法

一个基础的robots.txt文件通常包含User-agent、Disallow、Allow和Sitemap四类指令。例如,禁止所有爬虫访问/admin/目录,同时允许访问/admin/public/,可以写成:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://www.example.com/sitemap.xml

其中User-agent指定规则适用的爬虫,Disallow表示禁止抓取的路径,Allow用于在禁止规则中设置例外,Sitemap则声明站点地图地址。

配置robotstxt的注意事项

  1. robots.txt必须放在网站根目录,文件名全小写,且只能使用UTF-8编码。
  2. Disallow指令只是“建议”,并不能阻止恶意爬虫或黑客访问,敏感数据仍需通过权限控制保护。
  3. 不要用robots.txt阻止搜索引擎抓取CSS、JS等渲染资源,否则可能影响页面质量评估。
  4. 使用noindex元标签或X-Robots-Tag响应头来彻底阻止页面被索引,而不是依赖robots.txt。

总之,robotstxt是网站与搜索引擎沟通的第一道窗口。合理配置robots.txt,既能提升抓取效率,也能保护网站资源,是每个站点上线前必须检查的环节。

图1 图2

nginx