robots是什么呢?
百度蜘蛛在访问一个网站时，会首先会检讨该网站的根域下是否有一个叫做 robots.***的纯文本文件（蜘蛛爬行网站的第一个要访问的文件），这个文件用于指蜘蛛在你网站上的抓取范围。
如果你未对robots.***文件进行修正，那么蜘蛛在爬行网站时，也会爬行你的后台。包括你的JS、CSS文件也就即是说你的网站在蜘蛛面前便是一个透明的。
爬行了后台，有什么后果呢？有不懂的小伙伴可能会问到
如果蜘蛛爬行了你的网站后台，那么就收录了的网站后台的地址了。
然后在百度搜索的时候，搜索引擎有可能把你的后台搜索出来，后果可想而知。稍稍有点骇客技能的朋友，分分钟攻入你的后台，这还不可怕吗？
robots一样平常格式
User-agent: 定义禁止搜索引擎名字。百度(Baiduspide)、谷歌(Googlebot)、360(360Spider)等。
号代表全部搜索引擎
Disallow:不许可抓取收录
例：后台名称为 dede，那么我不想蜘蛛访问就这样写：/dede/
\公众/\"大众 \公众/ \"大众精准匹配
\"大众/ \"大众 广泛匹配
\公众$\公众 匹配行结束符
\"大众\"大众 匹配0或多个任意字符
Allow（答应抓取，一样平常不会写，默认就可以了，当然有分外哀求可以去写）
#:注释
升级知识
屏蔽目录禁止抓取
屏蔽蜘蛛抓取根目录下的inc文件夹及里面的所有内容，根目录下的wap目录下的index.html文件。
robots.***写法：
User-agent:
Disallow:/inc/ （禁止抓取inc文件夹里面的内容）
Disallow:/wap/index.html（禁止抓取wap目录下的index.html文件）
屏蔽某个目录，但要抓取目录下的某个文件
1.屏蔽所有蜘蛛抓取根目录下的wap文件夹，但抓取里面后缀名为html的文件
robots.***写法：
User-agent:
Disallow:/wap/ （禁止抓取wap文件夹里面的内容）
Allow：:/wap/ .html（答应抓取wap下面的后缀为html文件）
2.禁止抓取根目录下所有带“wap”字符的文件夹及文件，这里我们就须要用到（/ 广泛匹配）这个写法
User-agent:
Disallow:/wap (一个“/”就可以了)
3.保护隐私文件夹或文件
在写禁止搜索引擎抓取某些私密文件夹的同时，也暴露了网站的目录构造，猜出网站后台管理系统、后台等。（这点基本上一样平常网站用不上），我们可以用广发写法来，保护主要文件。
比如：禁止抓取/inli，就可以写成如下，当然条件是你的根目录里面没有前面带这些字符的文件夹或文件给蜘蛛抓取。
User-agent:
Disallow:/inli
屏蔽动态URL
有时候动态页面可能会和静态页面相同，造成重复收录。（影响蜘蛛友好度）
屏蔽动态URLUser-agent:Disallow:/?仅许可访问“.html”为后缀的URLUser-agent:Allow:.html$Disallow:/屏蔽去世链接
向提交百度站长平台提交去世链robots禁止蜘蛛抓取去世链，写法同上，最好带完全路径User-agent:
Disallow:（网站域名）
屏蔽不参与排名的页面链接
写法：
直接在不须要排名的页面链接，添加nofollow便签
<a rel=\"大众nofollow\"大众 href=\"大众网站地址\"大众>上岸</a>
sitemap索引在robots.***的位置
sitamap(网站舆图)位置最好放在robots.***的最下面，蜘蛛先遵照前面的原则爬去。
Sitemap:“网站地址”+“sitemap.xml”
Sitemap:“网站地址”+“sitemap.html”
