设置robots.txt文件来管理搜索引擎收录

robots.txt 是一个搜索引擎跟我们约定俗成的文件，通过这个文件我们来告诉搜索引擎，我们允许还是拒绝收录，允许哪些搜索引擎，拒绝哪些搜索引擎，允许搜索哪些内容，而又拒绝哪些内容被搜索引擎捕获。
robots.txt是一个简单的txt文本文件，内容也很简单，甚至可以为空。而且这个文件不是必须的。
如果你让站点被所有搜索引擎收录，那么直接不需要这个文件或者创建这个文件，内容为空就可以了。
robots.txt必须放在网站的根目录下，并且文件名为小写的“robots.txt”。
robots.txt里一般情况下只写两个函数 User-agent 和 Disallow，前一个用来定义搜索引擎的种类，后一个用来设置允许收录的内容。
需要注意的是，如果robots.txt内容不为空的话，则必须至少需要一个Disallow函数。
如果允许所有搜索引擎就这样写:

如果允许搜索引擎搜索全部内容就这样写：

User-agent: *
Disallow:

如果需要详细定义目录下不被允许的文件，就这样定义：

如果需要详细定义搜索引擎的种类，就这样定义：

各搜索引擎的名称：

谷歌：Googlebot
百度：Baiduspider
雅虎：Yahoo!slurp
搜搜：Sosospider
有道：YoudaoBot

需要特别注意的是定义里使用的是英文冒号，大小写字母也不通用。