robotstxt(通常写作robots.txt)是网站根目录下的一个纯文本文件,用来告诉搜索引擎爬虫哪些页面可以抓取、哪些页面应当避开。它是搜索引擎优化(SEO)中最基础也最容易被忽视的配置之一。正确理解robotstxt的作用与写法,能帮助网站更高效地被收录,同时避免敏感内容被索引。
robots.txt遵循“爬虫排除协议”,主要面向遵守规则的搜索引擎蜘蛛。它的核心作用包括:
一个基础的robots.txt文件通常包含User-agent、Disallow、Allow和Sitemap四类指令。例如,禁止所有爬虫访问/admin/目录,同时允许访问/admin/public/,可以写成:
User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://www.example.com/sitemap.xml
其中User-agent指定规则适用的爬虫,Disallow表示禁止抓取的路径,Allow用于在禁止规则中设置例外,Sitemap则声明站点地图地址。
总之,robotstxt是网站与搜索引擎沟通的第一道窗口。合理配置robots.txt,既能提升抓取效率,也能保护网站资源,是每个站点上线前必须检查的环节。