文章目录
[+]
Robot英文直译是机器人,在搜索引擎优化SEO中常常翻译为:探测器。 当然，也可以叫crawler(爬行器),spider(蜘蛛)。个人以为Spider是最好理解的，你可以想象下你的网站便是一个蜘蛛网，而这个Spider就可以通过这个网络去爬取信息，你可以通过设置Robot.***来限定Spider的爬行范围。
Robots 三个语法和两个通配符
1，User-agent: 搜索引擎的spider代号 （定义所有搜索引擎）,
（图片来自网络侵删）
2，Disallow: 输入数据夹或文件名的路径 （用来定义禁止蜘蛛爬取的页面或目录）
Disallow: /（禁止蜘蛛爬取网站的所有目录 \"大众/\"大众 表示根目录下）
Disallow: /admin （禁止蜘蛛爬取admin目录）
Disallow: /ABC.html （禁止蜘蛛爬去abc.html页面）
Disallow: /help.html （禁止蜘蛛爬去help.html页面）
3、Allow:（用来定义许可蜘蛛爬取的页面或子目录）
Allow: /admin/test/（许可蜘蛛爬取admin下的test目录）
Allow: /admin/ABC.html（许可蜘蛛爬去admin目录中的abc.html页面）
4、通配符 “$”
$ 通配符：匹配URL结尾的字符
5、通配符 “”
通配符：匹配0个或多个任意字符
