SEO系统使用帮助

当前位置: 网站首页 > SEO系统帮助 > FAQ中心

什么是搜索引擎蜘蛛?SEO系统为什么要监测这个爬虫

搜搜引擎蜘蛛(robots)是收索引擎公司开发的用来自动抓取互联网上网页内容的程序,我们可以通过SEO系统分析网站的日志文件提取到收索引擎蜘蛛爬虫访问的痕迹,这也是一个高级SEO人员必须会的一项工作内容。
搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
国内各大搜索引擎蜘蛛名称:
百度:百度spider
谷歌:googlebot
搜狗:sogou spider
搜搜:Sosospider
360搜索:360Spider
有道:YodaoBot
雅虎:Yahoo Slurp
必应:msnbot
Msn:msnbot
以上是常见的搜索引擎蜘蛛(爬虫),实际查看蜘蛛爬虫的时候,我们还可以看到很多不知名的爬虫,甚至是手机信息终端爬虫,如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。
分享到:
点击次数:  更新时间:2013-09-06  【打印此页】  【关闭
  • SEO数据监控系统 专利版权所有 苏ICP备12065803号-2
    地址:广州市天河区华南农业大学 科技产业园C栋1405
    Q Q:10023734 Email:admin@51doseo.com
    为 企业网络营销团队 提供专业的 企业优化服务 , 企业SEO监控系统开发 , SEO优化数据分析 服务
    SEO系统二维码发送短信给我们企业名片二维码企业微信二维码
Powered by  Www.51DoSeo.Com  ,Inc. ©2008-2017