什么是搜索引擎蜘蛛？

什么是搜索引擎蜘蛛？

搜索引擎蜘蛛简称网络爬虫(webcrawler)，网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

我们可以将互联网理解成一张巨大的“蜘蛛网”，而搜索引擎蜘蛛是类似实质的“机器人”。蜘蛛的主要任务就是在巨大的蜘蛛网（互联网）中浏览信息，然后把这些信息都抓取到搜索引擎的服务器上，然后建立索引库。就好比机器人浏览我们的网站，然后把内容保存到自己的电脑上。

每个搜索引擎都有自己的蜘蛛，搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。

国内各大搜索引擎蜘蛛名称：

百度：百度spider

谷歌：googlebot

搜狗：sogou spider

搜搜：Sosospider

360搜索：360Spider

有道：YodaoBot

雅虎：Yahoo Slurp

必应：msnbot

Msn:msnbot