如果通过检讨日志文件创造这些无意义的页面被反复大量抓取，想要收录页面却根本没被抓取过，那该当直接禁止抓取无意义的页面。抓取和收录是不同的两个过程。要确保页面不被抓取，须要利用robots文件。
搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.***的纯文本文件，robots.***用于指令搜索引擎禁止抓取网站某些内容或指定许可抓取某些内容。
一.叔现在教大家利用几个常用的robots指令：
A：许可所有搜索引擎抓取所有页面和内容
User-agent：
Allow：/
B：禁止所有搜索引擎抓取所有页面和内容
User-agent：
Disallow：/
C：禁止网站某一个页面被抓取（比如该页面是“ xinwen”）
User-agent：
Allow：/
Disallow/xinwen/
... ...
当然robots还有很多指令叔就不一一列举了，想要理解更多的请订阅叔。
robots文件一定要根据自身网站的抓取收录情形来设置，须要查看网站日志，看看蜘蛛抓取了哪些页面，这些页面是否对网站整体流量排名有浸染？实际情形实际剖析。
二.网站舆图：
叔这里说的网站舆图不是网站上面显示公司地址的百度舆图。正解如下：
定义：网站舆图，又称站点舆图，它便是一个页面，上面放置了网站上须要搜索引擎抓取的所有页面的链接（注：不一定是所有页面），是网站所有链接的容器，蜘蛛非常喜好网站舆图。
形式：1.HTML版本，是用户可以在网站上看到的、列出网站上所有紧张页面链接的页面。这个根据你网站的情形而定，如果导航太多，内容太多，可以列出一个紧张页面的网站舆图方便用户浏览。
2.XML版本，sitemap.xml。是搜索引擎蜘蛛抓取的舆图，网站舆图给蜘蛛爬行布局了一个方便快捷的通道。
浸染：方便蜘蛛爬行；方便访客浏览网站；可以提高网站的权重同时提高网站的收录率。
天生网站舆图：可以通过软件sitemapx天生，比较方便的软件，也可以通过百度站长工具去提交。
通过提交XML网站舆图关照搜索引擎要收录的页面，只能让搜索引擎知道这些页面的存在，并不一能担保一定被收录，搜索引擎还要看这些页面的权重是否达到收录的最低标准。以是网站舆图只是赞助的办法，不能代替良好的网站构造。
