首页 Google SEO优化 搜索引擎蜘蛛是什么?

搜索引擎蜘蛛是什么?

2021.07.05

搜索引擎蜘蛛是什么?google搜索引擎优化


是搜索引擎抓取网页的程序,准确的叫“搜索引擎机器人”。


那为什么叫蜘蛛呢?这是因为搜索引擎的程序抓取互联网上的网页的时候,是顺着网页上的超链接进行的,从这个网页到另一个网页,从这个网站通过超链接到另一个网站,跟蜘蛛的爬行是一样的。所以互联网人员就把搜索引擎抓取网页的程序称为“蜘蛛”。


在互联网世界里,有很多个搜索引擎,每个搜索引擎都有各自的抓取程序——蜘蛛:


谷歌蜘蛛:Googlebot

百度蜘蛛:Baiduspider

360蜘蛛:360Spider

搜狗蜘蛛:Sogou web spider……

SOSO蜘蛛:Sosospider

雅虎蜘蛛:Yahoo! Slurp China

有道蜘蛛:YoudaoBot或者YodaoBot

MSN蜘蛛:msnbot-media

必应蜘蛛:bingbot


搜索引擎蜘蛛的工作原理?


1、最佳优先


最佳优先搜索策略按照一定的网页分析算法,预测候选URL与目标网页的相似度,或与主题的相关性,并选取评价最好的一个或几个URL进行抓取,它只访问经过网页分析算法预测为“有用”的网页。


存在的一个问题是,在爬虫抓取路径上的很多相关网页可能被忽略,因为最佳优先策略是一种局部最优搜索算法,因此需要将最佳优先结合具体的应用进行改进,以跳出局部最优点,据马海祥博客的研究发现,这样的闭环调整可以将无关网页数量降低30%~90%。


2、深度优先


深度优先是指蜘蛛沿着发现的链接一直向前爬行,直到前面再也没有其他链接,然后返回到第一个页面,沿着另一个链接再一直往前爬行。


图片


3、广度优先


广度优先是指蜘蛛在一个页面发现多个链接时,不是顺着一个链接一直向前,而是把页面上所有链接都爬一遍,然后再进入第二层页面沿着第二层上发现的链接爬向第三层页面。



注:为了尽量多的抓取网页信息,深度优先和广度优先通常是混合使用的。


转载:第一页微信公众号“外贸新一周”

在线留言 在线留言
留下您的需求或者站点,专业推广人员及时回复和提供分析报告。