SEO
只管在网站培植的过程中，利用 JavaScript、Flash 链接及Nofollow属性等都能让搜索引擎蜘蛛望而生畏，而导致页面不被收录。
但在某些情形下搜索引擎是能够读取他们的，基于网站排名考虑，我们建议慎用 JavaScript、Flash 链接及Nofollow属性屏蔽收录。
强调一下，建站利用 JavaScript、Flash 链接实在是在给网站制造蜘蛛陷阱，致使搜索引擎不能精确判断与抓取页面的主题与笔墨。
要确保网站某些目录或页面不被收录，须要精确利用 robots 文件或Meta Robots 标签来实现网站的禁止收录机制。
1、robots 文件
搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robots.*** 的纯文本文件，它的紧张浸染是制订搜索引擎抓取或者禁止网站的某些内容。
user-agent： 适用于所有蜘蛛
Disallow:/upload/
Disallow: .jpg$ 禁止抓取所有.jpg文件
Disallow: .html 禁止抓取所有html文件
Disallow:/upload/index.html
Disallow 禁止抓取哪些文件或目录，Allow 见告搜索引擎该当抓取哪些页面，由于不指定便是许可抓取，以是allow单独写没故意义。
2、meta robots标签
Meta robots 标签是页面 head 部分 meta 标签的一种，用于指令搜索引擎禁止索引本页内容。
最大略的 meta robots 标签格式为：
<meta name=”robots” content=”noindex,nofollow”>
效果是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。
<meta name=”robots” content=”noindex”>
效果是禁止索引本页面，但许可蜘蛛跟踪页面上的链接，也可以通报权重。
Google、必应、雅虎支持的标签如下：
Noindex:不要索引本页面
Nofollow:不要跟踪本页面上的链接
Nosnippet:不要在搜索结果中显示择要笔墨
Noarchive:不要显示快照
Noodp:不要利用开放目录中的标题和描述
百度支持：Nofollow和Noarchive
只有禁止索引时，利用meta robots才故意义。
利用了 noindex meat robots 标签的页面会被抓取，但不会被索引，页面URL也不会涌如今搜索结果中，这一点与 robots 文件不同。
作者：良家佐言
来源：https://www.badpon.com/2552.html
