网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更常常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。其余一些不常利用的名字还有蚂蚁，自动索引，仿照程序或者蠕虫。
这些处理被称为网络抓取或者蜘蛛爬行。很多站点，尤其是搜索引擎，都利用爬虫供应最新的数据，它紧张用于供应它访问过页面的一个副本，然后，搜索引擎就可以对得到的页面进行索引，以供应快速的访问。蜘蛛也可以在web上用来自动实行一些任务，例如检讨链接，确认html代码；也可以用来抓取网页上某种特定类型信息，例如抓取电子邮件地址（常日用于垃圾邮件）。
一个网络蜘蛛便是一种机器人，或者软件代理。大体上，它从一组要访问的URL链接开始，可以称这些URL为种子。爬虫访问这些链接，它辨认出这些页面的所有超链接，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反复访问。
事情事理
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网高***网页，是搜索引擎的主要组成。传统爬虫从一个或多少初始网页的URL开始，得到初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入行列步队,直到知足系统的一定停滞条件，流程图所示。聚焦爬虫的事情流程较为繁芜，须要根据一定的网页剖析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL行列步队。然后，它将根据一定的搜索策略从行列步队中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停滞。其余，所有被爬虫抓取的网页将会被系统存贮，进行一定的剖析、过滤，并建立索引，以便之后的查询和检索；对付聚焦爬虫来说，这一过程所得到的剖析结果还可能对往后的抓取过程给出反馈和辅导。
相对付通用网络爬虫，聚焦爬虫还须要办理三个紧张问题：
(1) 对抓取目标的描述或定义；
(2) 对网页或数据的剖析与过滤；
(3) 对URL的搜索策略。
抓取目标的描述和定义是决定网页剖析算法与URL搜索策略如何订定的根本。而网页剖析算法和候选URL排序算法是决定搜索引擎所供应的做事形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密干系的。
GDCA一贯以“构建网络信赖体系，做事当代数字生活”的宗旨，致力于供应环球化的数字证书认证做事。其自主品牌——信鉴易®TrustAUTH® SSL证书系列，为涉足互联网的企业打造更安全的生态环境，建立更具公信力的企业网站形象。
文章转载：https://www.trustauth.cn/wiki/14020.html
