留点后路
万事不可做太绝

百度爬虫比我还懒…

本人对搜索引擎的“爬虫”没什么研究,更别说它们运行的“习性”和“方式”,但对各大搜索引擎爬虫的访问量,我还是有一个大致的统计。下图是Cloudflare统计的爬虫访问量:

看到了吧,就算是往前推三周的时间,都看不着百度爬虫的影子,难道是百度已经充分认识到:这一个小小的博客,内容更新幅度不会太大,即便是一个月不来,也没多大变化?!那我可真服了百度爬虫的智慧程度,在“运动量”和“获取信息量”两者间达到了一个百度自认为平衡的点,既不会浪费爬虫,也不会因为网站更新内容太多而失去时效性!

之前我曾看到一篇介绍百度、Google爬虫工作方式迥异的文章,文章里说道百度的爬虫是以“量”取胜,它100只爬虫走过三万公里获取的信息量也仅相当于Google一只爬虫走一万公里,所以这个特性决定了百度爬虫的使用量;但同时由于百度的爬虫有限,而工作量无限,所以,百度会以站点更新周期长短为划分依据,以此来决定百度爬虫的访问次数。故结合以上两点得知:你的网站更新慢,百度就来的少,即便是来了,也是只懒虫子;但假如你的网站更新快,类似于门户型的,百度就来的勤,而且来的量也大,而且大部分都是“勤勤人”,非把你的站爬烂了不可!

而且能说明此种现象的例证也很多:比如Cnbeta、Hostloc、Pcbeta等内容更新快、数据量大的站,它们的页面索引几乎是实时出现在百度搜索结果里的。反过来想我这样的个人博客,除非你是“月光”那样的超级写手,否则,你的首页在百度中就慢慢发酵吧~~

那,说到这就明白了,我这博客更新慢、内容少,所以百度压根儿就看不上,顶多给派几只还没睡醒的虫子敷衍了事!

未经允许不得转载:留点后路 » 百度爬虫比我还懒…

评论 24

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
  1. #0

    ( ̄▽ ̄”) 。搜索百度爬虫,终于来到你的博客了!

    jevery7年前 (2013-06-03)Reply
  2. #0

    时隔这么久了。。。百度还是那个死样啊。。。。。。。。我的现在依然是没见过百度来过。。

    猫先生8年前 (2012-05-15)Reply
  3. #0

    时隔这么久了。。。百度还是那个死样啊。。。。。。。。我的现在依然是没见过百度来过。。

    猫先生8年前 (2012-05-15)Reply
  4. #0

    时隔这么久了。。。百度还是那个死样啊。。。。。。。。我的现在依然是没见过百度来过。。

    猫先生8年前 (2012-05-15)Reply
  5. #0

    对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

    qsduoduo10年前 (2011-02-26)Reply
  6. #0

    对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

    qsduoduo10年前 (2011-02-26)Reply
  7. #0

    对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

    qsduoduo10年前 (2011-02-26)Reply
  8. #0

    对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

    qsduoduo10年前 (2011-02-26)Reply
  9. #0

    經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

    Littlecho10年前 (2011-02-26)Reply
  10. #0

    經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

    Littlecho10年前 (2011-02-26)Reply
  11. #0

    經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

    Littlecho10年前 (2011-02-26)Reply
  12. #0

    經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

    Littlecho10年前 (2011-02-26)Reply
  13. #0

    經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

    Littlecho10年前 (2011-02-26)Reply
    • 对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

      qsduoduo10年前 (2011-02-26)Reply
  14. #0

    百度很烂很烂!!!

    ExMings10年前 (2011-02-26)Reply
  15. #0

    百度很烂很烂!!!

    ExMings10年前 (2011-02-26)Reply
  16. #0

    百度很烂很烂!!!

    ExMings10年前 (2011-02-26)Reply
  17. #0

    百度很烂很烂!!!

    ExMings10年前 (2011-02-26)Reply
  18. #0

    百度很烂很烂!!!

    ExMing10年前 (2011-02-26)Reply
  19. #0

    学习了….

    滕州10年前 (2011-02-26)Reply
  20. #0

    学习了….

    滕州10年前 (2011-02-26)Reply
  21. #0

    学习了….

    滕州10年前 (2011-02-26)Reply
  22. #0

    学习了….

    滕州10年前 (2011-02-26)Reply
  23. #0

    学习了….

    滕州10年前 (2011-02-26)Reply

后路哥-主机服务

独立服务器台湾云主机