SEO系统使用帮助

当前位置: 网站首页 > SEO系统帮助 > FAQ中心

什么是Baiduspider - 百度蜘蛛?如何判别

Baiduspider - 百度蜘蛛:

百度是如何收录到那么多网页的呢?这个百度用以抓取互联网上数以亿计的网页的程序,就叫做Baiduspider - 百度蜘蛛。

它是一个程序,夜以继日得在互联网上找寻新的URL,接着抓取URL上的内容,返回到百度的网页暂存数据库。

百度用来抓取网页内容的程序,叫做Baiduspider,抓取其他内容的蜘蛛,则是新的名字:

产品名称                 对应user-agent

网页搜索                Baiduspider
无线搜索                Baiduspider-mobile 
图片搜索                Baiduspider-image 
视频搜索                Baiduspider-video 
新闻搜索                Baiduspider-news 
百度搜藏                Baiduspider-favo 
百度联盟                Baiduspider-cpro

不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro,现在我们明白它是百度联盟蜘蛛,用以百度联盟程序匹配相应的广告。

那么,其他搜索引擎的蜘蛛是什么?

不同的搜索引擎给他们自己的探测器(Robot)起不同的名字。

谷歌:googlebot  百度:baiduspider   MSN:MSNbot   Yahoo:Slurp  (yahoo家的这位比较特殊,没有带“姓”,并且用的是一个拟声词。Slurp,中文理解是机器人吃东西时发出的啧啧的声音)

关于Robot,需要关心的主要是Robots.txt,以及网站日志中包含的以上几个名字。

分享到:
点击次数:  更新时间:2015-04-28  【打印此页】  【关闭
  • SEO数据监控系统 专利版权所有 苏ICP备12065803号-2
    地址:广州市天河区华南农业大学 科技产业园C栋1405
    Q Q:10023734 Email:admin@51doseo.com
    为 企业网络营销团队 提供专业的 企业优化服务 , 企业SEO监控系统开发 , SEO优化数据分析 服务
    SEO系统二维码发送短信给我们企业名片二维码企业微信二维码
Powered by  Www.51DoSeo.Com  ,Inc. ©2008-2017