本篇文章談一談robots.txt這個(gè)文件的作用及其具體用法，這個(gè)對(duì)于一個(gè)做網(wǎng)站優(yōu)化的童鞋來說，是必須知道的額！下面就來具體看看 robots 這個(gè)文件具體有哪些用法以及他在網(wǎng)站優(yōu)化中能起到什么作用吧！

robots.txt基本介紹

robots.txt是一個(gè)純文本文件，在這個(gè)文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容，注意這是一個(gè)針對(duì)搜索引擎的一個(gè)文件。

當(dāng)一個(gè)搜索機(jī)器人（有的叫搜索蜘蛛）訪問一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，那么搜索機(jī)器人就沿著鏈接抓取。

另外，robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫。

robots.txt寫作語法

首先，我們來看一個(gè)robots.txt范例：http://dmlifecoach.com/robots.txt

訪問以上具體地址，我們可以看到robots.txt的具體內(nèi)容如下：

User-agent: *
Allow: /
#下列目錄除外
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/

以上文本表達(dá)的意思是允許所有的搜索機(jī)器人訪問www.wpyou.com站點(diǎn)下的除了 wp-admin/，wp-includes/，wp-contents 這幾個(gè)目錄外其他的所有文件。

具體語法分析：其中#后面文字為注釋說明信息；User-agent:后面為搜索機(jī)器人的名稱，后面如果是*，則泛指所有的搜索機(jī)器人；Disallow:后面為不允許訪問的文件目錄。

下面，我將列舉一些robots.txt的具體用法：

允許所有的搜索引擎訪問網(wǎng)站所有的部分的robot寫法：

User-agent: *
Disallow:

或者也可以建一個(gè)空文件 robots.txt 文件，功能同上。

禁止所有搜索引擎訪問網(wǎng)站的任何部分的robots寫法：

User-agent: *
Disallow: /

禁止所有搜索引擎訪問網(wǎng)站的某幾個(gè)部分（下例中的01、02、03目錄）的robots寫法：

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某個(gè)搜索引擎的訪問（如下例中禁止百度引擎抓取）的robots寫法：

User-agent: Baiduspider
Disallow: /

注意：以上寫法只禁止了百度搜索引擎的抓取，其他搜索引擎還是可以來抓取的。

只允許某個(gè)搜索引擎的訪問（如下例中只允許谷歌搜索引擎抓取站點(diǎn)內(nèi)容）的robots寫法：

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

禁止搜索引擎抓取自己網(wǎng)站圖片（禁止圖片抓?。┑膔obots寫法：

User-agent: *
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$

如果你的網(wǎng)站有動(dòng)態(tài)和靜態(tài)兩種形式的網(wǎng)頁，你只允許抓取靜態(tài)頁面（禁止動(dòng)態(tài)頁面）的robots寫法：

User-agent: *
Disallow: /*?*

下面順便將各大搜索引擎的蜘蛛的名字分享一下（這里僅列舉中國國內(nèi)比較常用的一些搜索引擎）：

google蜘蛛：Googlebot
百度蜘蛛：Baiduspider
搜狗蜘蛛：sogou spider
360蜘蛛：360Spider
yahoo蜘蛛：Yahoo!slurp
alexa蜘蛛：ia_archiver
bing蜘蛛：MSNbot
Soso蜘蛛：Sosospider
Google Adsense蜘蛛：Mediapartners-Google
有道蜘蛛：YoudaoBot