robots文件的用法和robots.txt的寫法

我們說robots.txt是站長和搜索引擎交互的重要工具之一。

是我們向搜索引擎?zhèn)鬟f站點信息重要手段。

那么robots文件是怎么用的？robots.txt的寫法是怎么樣的？

robots文件的常見用法如下：

1、可以告訴搜索引擎哪些URL是可以收錄的。

2、可以屏蔽的站點死連接，錯誤連接。

3、可以屏蔽網(wǎng)站上存在一些比較大的文件、比如：打包文件、大圖片文件、音樂文件、或電影

文件、日志文件夾等等。因為這些文件可能讓你的流量過大，占用過多寬帶

robots.txt的寫法：

首先：robots.txt的命名，都應(yīng)該是小寫。

robots.txt文件中一般至少要包含一個Disallow：

如果都允許收錄，你可以寫一行Disallow:/searchABC.html

這個文件(searchABC.html)本來就不存在也沒關(guān)系。

你可以查看Seoer365的robots文件！http:www.seoer365.com/robots.txt

robots.txt寫法格式：

User-agent: *
Disallow: /searchABC.html
Disallow: /index.asp?
Disallow: /Images/

User-agent: * 星號說明，允許所有的搜索引擎來收錄

Disallow: /search.html  說明不允許收錄 /search.html 這個文件

Disallow: /index.asp?  說明不允許收錄以index.asp?為前綴的鏈接如：index.asp?

boardid=1、index.asp?/search等等。

Disallow: /Images/  說明不允許收錄/Images/里的所有文件。但可以收錄如：/Images.asp 的鏈接。

這里是我們在SEO中常用的寫法。如果你想了解更多可到百度官方網(wǎng)站查看：

http://www.baidu.com/search/robots.html

相關(guān)疑問
如果沒有robots文件要不要緊？
我們說搜索引擎用來爬取網(wǎng)頁內(nèi)容的工具我們稱之為搜索引擎機器人，搜索引擎機器人每次來到要抓取的網(wǎng)站，都會先訪問這個網(wǎng)站根目錄下的一個文件（robots.txt），如果不存在該文件，則搜索引擎機器人默認這個網(wǎng)站允許其全部抓取。不過我們建議網(wǎng)站要有自己獨特的robots文件，這樣搜索引擎會覺得比較正規(guī)！