如果说，一个网站是一棵树，那么 robots.txt 就是这棵树的底下的树根。使用 robots.txt 文件可以帮助搜索引擎更好的了解你的网站，让你的网站更加优秀。
robots.txt 文件其实是一种标准的协议文本，它告诉网络机器人（比如搜索引擎蜘蛛）应该如何爬取网站的内容。
robots.txt 中有两个主要的设置：User-agent 和 Disallow 。其中， User-agent 表示受限制的机器人的名称，这个名称一般是一个搜索引擎的蜘蛛；Disallow 表示禁止访问的页面。
使用 robots.txt 文件来限制蜘蛛的爬取范围，可以避免一些不必要的访问，如图片、CSS 文件、JavaScript 文件等等。这样不仅可以让搜索引擎更好地爬取你网站的内容，也可以减轻服务器的负担。
然而，你需要了解的是，robots.txt 并不是一个绝对的权限控制文件。那些懒惰或不遵从标准的网络机器人，比如一些臭名昭著的爬虫，就会无视 robots.txt 文件，并不遵从标准，自由采集各种信息。
