SEO baidu蜘蛛足跡分析_9692




無標題文件

SEObaidu蜘蛛足跡分析

發佈者:作者:Web Design香港網頁設計大皇 – SEO優化

網上廣告

  繼寫了《最近baidu和google的收錄差異 webdesign.zoapcon.comcom/article/20080619/89812.shtml 》之後,開始思索,尋找……為什麼百度不鳥我?

  網上有網友寫道baidu有個15天的觀察期,不知道是不是真的。今天下午登陸了服務器,查看分析IIS日誌文件。發現google和baidu都在我的網站上線第三天,也就是6月14日就拜訪了我的網站,並且第一個訪問的文件都是robots.txt,說明robots.txt文件是何等的重要。直到今天才發現yaho拜訪了我的robots.txt文件,其他搜索引擎沒發現足跡,這就是為什麼國內搜索市場baidu和google佔了8成以上市場的原因。我估計如果不是我申請yahoo的訪問量統計工具,它不知道會不會拜訪我。

  baidu和google的行動速度算是相當快,baidu的行動也毫不比google弱。從14號開始,這兩個傢伙基本上每天都訪問我的網站,當然google的訪問量相對來說比較頻繁,但baidu也不弱到哪裡去,基本上也是天天訪問。具體觀察了今天的日誌,從凌晨0點8分開始,baidu蜘蛛就不斷的來騷擾我睡覺,一直到下午17點,訪問間隔基本上都是1個小時,從一開始只訪問首頁,到訪問頻道頁,基本上都是成功的。隨便摘了幾條數據如下:

  2008-06-16 15:07:23 W3SVC1 202.104.188.69 GET /plus/rssmap.html – 80 – 220.181.32.5 Baiduspider+(+http://webdesign.zoapcon.comcom/search/spider.htm) 200 0 0

  2008-06-17 04:09:07 W3SVC1 202.104.188.69 GET /index.html – 80 – 61.135.168.39 Baiduspider+(+http://webdesign.zoapcon.comcom/search/spider.htm) 200 0 64

  2008-06-17 10:44:48 W3SVC1 202.104.188.69 GET /html/info/index.html – 80 – 220.181.32.5 Baiduspider+(+http://webdesign.zoapcon.comcom/search/spider.htm) 304 0 0

  紅色數字200表示正常請求完成,兩個0不知道啥意思,64也不知道啥意思,哪位知道請解釋一下,萬分感謝。304表示未修改,就是未按預期修改文檔,baidu還要看看你的內容是否經常更新,所以經常更新網站內容也是非常重要的。基本上沒發現4xx(客戶機中出現錯誤)和5xx(服務器出現錯誤)等錯誤信息,可以說相對比較友好。

  那麼為什麼baidu遲遲不肯收錄我呢?到底它在等什麼?在觀察什麼呢?我自己的想法是:

  第一、baidu對新站一定要觀察一段時間,不管你是什麼內容,都不收錄,但是蜘蛛照常訪問,等過了這段觀察期後,馬上就會放手大幹了;

  第二、就是網站原創的內容比較少,這個想法有點不對,因為趣飛商旅網(webdesign.zoapcon.comcom )除了航空資訊頻道外,特價機票頁面是原創內容來的,首頁也是,為什麼一開始就爬了首頁,卻不收錄呢?有點想不通,只能用第一個想法來解釋;

  第三、聲明一下,我的域名是新註冊的,排除以前被罰記錄,我的服務器使用的是獨立ip,排除多個站點使用同一ip受到牽連的可能性。

  所以,講到最後,難道真的像網友說的要等15天?大家共同探討一下,希望有經驗的老鳥分析一下,或給點建議,萬分感激!偶是新鳥,偶也繼續觀察,繼續分享,謝謝各位支持!

網上推廣