新站長往往面對密密麻麻的日志，無從下手，又希望自己的站盡快被蜘蛛光顧。因此，作為新站長，您需要了解蜘蛛的種類和如何從HTTP代碼了解蜘蛛的爬行動態(tài)，以做到知己知彼百戰(zhàn)百勝，做好SEO，萊貝在此提供一些基礎(chǔ)知識供充電。
一、各大搜索引擎爬蟲（蜘蛛）的名稱：
1. Google爬蟲名稱
　　1） Googlebot：從Google的網(wǎng)站索引和新聞索引中抓取網(wǎng)頁
　　2） Googlebot-Mobile針對Google的移動索引抓取網(wǎng)頁
　　3） Googlebot-Image：針對Google的圖片索引抓取網(wǎng)頁
　　4） Mediapartners-Google：抓取網(wǎng)頁確定 AdSense 的內(nèi)容。只有在你的網(wǎng)站上展示 AdSense 廣告的情況下，Google才會使用此漫游器來抓取您的網(wǎng)站。
　　5） Adsbot-Google：抓取網(wǎng)頁來衡量 AdWords 目標(biāo)網(wǎng)頁的質(zhì)量。只有在你使用 Google AdWords 為你的網(wǎng)站做廣告的情況下，Google才會使用此漫游器。
2. 百度（Baidu）爬蟲名稱：Baiduspider
3. 雅虎（Yahoo）爬蟲名稱：Yahoo Slurp
4. 有道（Yodao）蜘蛛名稱：YodaoBot
5. 搜狗（sogou）蜘蛛名稱：sogou spider
6. MSN的蜘蛛名稱：Msnbot

二、如何看HTTP代碼：
代碼中的200表示搜索引擎蜘蛛爬行后返回HTTP的狀態(tài)代碼，代表成功爬行并抓取。
　　各個數(shù)字代碼的具體意思參見如下：
　　2xx 成功
　　200 正常;請求已完成。
　　201 正常;緊接 POST 命令。
　　202 正常;已接受用于處理，但處理尚未完成。
　　203 正常;部分信息 — 返回的信息只是一部分。
　　204 正常;無響應(yīng) — 已接收請求，但不存在要回送的信息。
　　3xx 重定向
　　301 已移動 — 請求的數(shù)據(jù)具有新的位置且更改是永久的。
　　302 已找到 — 請求的數(shù)據(jù)臨時具有不同 URI。
　　303 請參閱其它 — 可在另一 URI 下找到對請求的響應(yīng)，且應(yīng)使用 GET 方法檢索此響應(yīng)。
　　304 未修改 — 未按預(yù)期修改文檔。
　　305 使用代理 — 必須通過位置字段中提供的代理來訪問請求的資源。
　　306 未使用 — 不再使用;保留此代碼以便將來使用。
　　4xx 客戶機(jī)中出現(xiàn)的錯誤
　　400 錯誤請求 — 請求中有語法問題，或不能滿足請求。
　　401 未授權(quán) — 未授權(quán)客戶機(jī)訪問數(shù)據(jù)。
　　402 需要付款 — 表示計費(fèi)系統(tǒng)已有效。
　　403 禁止 — 即使有授權(quán)也不需要訪問。
　　404 找不到 — 服務(wù)器找不到給定的資源;文檔不存在。
　　407 代理認(rèn)證請求 — 客戶機(jī)首先必須使用代理認(rèn)證自身。
　　410 請求的網(wǎng)頁不存在(永久);
　　415 介質(zhì)類型不受支持 — 服務(wù)器拒絕服務(wù)請求，因?yàn)椴恢С终埱髮?shí)體的格式。
　　5xx 服務(wù)器中出現(xiàn)的錯誤
　　500 內(nèi)部錯誤 — 因?yàn)橐馔馇闆r，服務(wù)器不能完成請求。
　　501 未執(zhí)行 — 服務(wù)器不支持請求的工具。
　　502 錯誤網(wǎng)關(guān) — 服務(wù)器接收到來自上游服務(wù)器的無效響應(yīng)。
　　503 無法獲得服務(wù) — 由于臨時過載或維護(hù)，服務(wù)器無法處理請求。