很多開始學(xué)習(xí)seo的朋友們對蜘蛛的行蹤總是很迷惑,很多seo大師們認(rèn)為百度,google等蜘蛛都是晚上爬行于你的網(wǎng)站,然后找到他們喜歡的頁面然后收納.

　　今天我特意的對這個答案進行分析:

　　方法:分析web服務(wù)器的訪問日志(如果不是獨立服務(wù)器,一般虛擬空間也提供日志下載)

　　首先我下載網(wǎng)站的訪問日志,下面帶領(lǐng)朋友們尋找百度和google蜘蛛的蹤跡!

　　1.登錄ftp,一般存儲日志的文件夾名稱為:logfiles 這個名稱根據(jù)服務(wù)器提供商不同而不同

　　2.日志一般都是按照日期來存儲的

　　3.下載日志,使用記事本打開

　　4.按下ctrl+f,輸入baidu

　　5.找到蜘蛛的蹤跡了

　　2008-07-04 03:06:19 w3svc868657 61.129.81.158 head /pinglun.asp id=40 80 - 61.135.168.67 baiduspider+

　　表示百度蜘蛛于2008-07-04 03:06:19訪問了我的網(wǎng)站,這個時間蜘蛛的到來又可能決定你起床之后看的快照頁面變化.

　　2008-07-04 08:31:04 w3svc868657 61.129.81.158 get /youhua.asp - 80 - 220.181.32.50 baiduspider+

　　8.31蜘蛛正式起床上班了,它來了

　　2008-07-04 08:39:14 w3svc868657 61.129.81.158 get /sem.asp - 80 - 220.181.32.50 baiduspider+

　　相隔8分鐘又來一次,難道忘記帶走公文包?

　　2008-07-04 08:43:08 w3svc868657 61.129.81.158 get /google.asp - 80 - 220.181.32.50 baiduspider+

　　8.43分依舊在網(wǎng)站游蕩.

　　2008-07-04 08:50:56 w3svc868657 61.129.81.158 get /seo.asp - 80 - 220.181.32.50 baiduspider+

　　50分又來,只勤奮的蜘蛛~!

　　一直查找 蜘蛛在10點 11點 一直在網(wǎng)站爬行,從這里我們可以看出,百度蜘蛛并不是傳說中的那么懶,只在夜間行動,其實百度一直都在你的網(wǎng)站,等待你給他們提供可口的食物.

　　所以,網(wǎng)站經(jīng)常性更新,原創(chuàng)文章蜘蛛是非常喜歡的,我們網(wǎng)站60%原創(chuàng)文章,所以蜘蛛基本都在爬行,如果你的網(wǎng)站符合蜘蛛胃口,它會經(jīng)常光顧你的網(wǎng)站,如果你不管你的網(wǎng)站,蜘蛛找不到可口的美味,那么它將有一天放棄你~@!

　　順便把google的蜘蛛看一下:

　　2008-07-04 05:29:29 w3svc868657 61.129.81.158 get /index.asp - 80 - 66.249.66.225 mozilla/5.0+(compatible;+googlebot/2.1;++http://www.google.com/bot.html) 200 0 0

　　我就不一一列舉了,google蜘蛛比百度蜘蛛提前1小時離開

　　yahoo呢?遺憾的是它今天沒來~!

　　順便說下幾個搜索引擎蜘蛛的名字,方便大家查看:

　　google的蜘蛛： googlebot

　　百度的蜘蛛：baiduspider

　　yahoo的蜘蛛：yahoo slurp

　　msn的蜘蛛：msnbot

　　altavista的蜘蛛：scooter

　　lycos的蜘蛛： lycos_spider_(t-rex)

　　alltheweb的蜘蛛： fast-webcrawler/

　　inktomi的蜘蛛： slurp