那怎么让他们吃好喝好呢？实在也大略，便是让他们少做点，我们多做点，对付一个网站，那便是把目录构造只管即便扁平话，但是要节制好一个度，凡事过了就物极必反，蜘蛛来你网站，你肯定要想办法第一韶光把最好的文章，最想排名的关键词让它带走，对付站长来说唯一能和蜘蛛互换的办法，便是robots.***文件了，不知道这个东西？那可以看看这篇文章先《robots.***文件先容》
搜索引擎无用的网页由于SEO小也这个站是利用WordPress搭建的，WordPress默认利用的是一个虚拟的robots.***文件，内容比较大略，没有屏蔽feed页面，这个页面对搜索引擎来说没什么浸染，谷歌也基本不收录
以是把这些文件打消，让搜索引擎蜘蛛只抓取那些对付他们有用的文件，由于蜘蛛来抓取一个网站是有韶光限定的，如果把宝贵的韶光花在这些没用的内容上，对网站优化来说就太摧残浪费蹂躏了。
由于图省事，我就去网上找了一段robots.***适用于WordPress的规则，当时也没多想，只直接写入到文件里面，但是没过两天，Google Search Console既然有缺点提示？
说我移动设备兼容有问题？不可能啊，我前一段韶光刚花了一天韶光做了相应式布局的？难道我老了不中用了？相应式写错了？带着这么多疑问，我看了缺点提示：
Googlebot blocked by robots.***
原来我上次的骚操作，把wp-content内部的资源文件屏蔽了，下面是我修正往后完全的robots.***文件内容，可以作为参考：
User-agent: Disallow: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow: //comment-page-Disallow: /?replytocom=Disallow: /category//page/Disallow: /tag//page/Disallow: //trackbackDisallow: /feedDisallow: //feedDisallow: /comments/feedDisallow: /?s=Disallow: //?s=\Disallow: /attachment/Allow:/wp-content/uploads/Allow:/wp-content/themes/seozen2021/Allow:/wp-content/plugins/Sitemap:https://www.seozen.top/sitemap.xml
上面这些规则大略的先容下：
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于见告搜索引擎不要抓取后台程序文件页面。
2、Disallow: //comment-page-和Disallow: /?replytocom=
禁止搜索引擎抓取评论分页等干系链接。
3、Disallow: /category//page/和Disallow: /tag//page/
禁止搜索引擎抓取收录分类和标签的分页。
4、Disallow: //trackback
禁止搜索引擎抓取收录trackback等垃圾信息
5、Disallow: /feed、Disallow: //feed和Disallow: /comments/feed
禁止搜索引擎抓取收录feed链接，feed只用于订阅本站，与搜索引擎无关。
6、Disallow: /?s=和Disallow: //?s=\
禁止搜索引擎抓取站内搜索结果
7、Disallow: /attachment/
禁止搜索引擎抓取附件页面，比如毫无意义的图片附件页面。
8、Allow: /wp-content/uploads/
许可搜索引擎抓取资源文件，这个很主要，可以用来判断移动设备兼容性
由于这个操作，导致谷歌对SEO小也的收录不升还降了一点，我重新配置了robots.***文件，不雅观察一下过几天的情形再看看。
