百度爬虫比我还懒…

本人对搜索引擎的“爬虫”没什么研究,更别说它们运行的“习性”和“方式”,但对各大搜索引擎爬虫的访问量,我还是有一个大致的统计。下图是Cloudflare统计的爬虫访问量:

看到了吧,就算是往前推三周的时间,都看不着百度爬虫的影子,难道是百度已经充分认识到:这一个小小的博客,内容更新幅度不会太大,即便是一个月不来,也没多大变化?!那我可真服了百度爬虫的智慧程度,在“运动量”和“获取信息量”两者间达到了一个百度自认为平衡的点,既不会浪费爬虫,也不会因为网站更新内容太多而失去时效性!

之前我曾看到一篇介绍百度、Google爬虫工作方式迥异的文章,文章里说道百度的爬虫是以“量”取胜,它100只爬虫走过三万公里获取的信息量也仅相当于Google一只爬虫走一万公里,所以这个特性决定了百度爬虫的使用量;但同时由于百度的爬虫有限,而工作量无限,所以,百度会以站点更新周期长短为划分依据,以此来决定百度爬虫的访问次数。故结合以上两点得知:你的网站更新慢,百度就来的少,即便是来了,也是只懒虫子;但假如你的网站更新快,类似于门户型的,百度就来的勤,而且来的量也大,而且大部分都是“勤勤人”,非把你的站爬烂了不可!

而且能说明此种现象的例证也很多:比如Cnbeta、Hostloc、Pcbeta等内容更新快、数据量大的站,它们的页面索引几乎是实时出现在百度搜索结果里的。反过来想我这样的个人博客,除非你是“月光”那样的超级写手,否则,你的首页在百度中就慢慢发酵吧~~

那,说到这就明白了,我这博客更新慢、内容少,所以百度压根儿就看不上,顶多给派几只还没睡醒的虫子敷衍了事!

24 thoughts on “百度爬虫比我还懒…

  1. 时隔这么久了。。。百度还是那个死样啊。。。。。。。。我的现在依然是没见过百度来过。。

  2. 时隔这么久了。。。百度还是那个死样啊。。。。。。。。我的现在依然是没见过百度来过。。

  3. 时隔这么久了。。。百度还是那个死样啊。。。。。。。。我的现在依然是没见过百度来过。。

  4. 对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

  5. 对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

  6. 对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

  7. 对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

  8. 經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

  9. 經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

  10. 經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

  11. 經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

  12. 經你這麼一說

    我也發現有這樣的狀況

    不過先前baidu爬我的站爬的可勤快呢~

    目前他的統計量仍是在我的spider訪問統計列表內排第三

    第一名是google

    • 对,百度对待“符合要求”的新站很是用心,爬虫天天去,待它理解了你的站点的更新速度和内容广度之后,就有区别了…

Leave a Reply

Your email address will not be published. Required fields are marked *