seo工作者應(yīng)該不陌生，robots.txt文件是每一個(gè)搜索引擎蜘蛛到你的網(wǎng)站之后要尋找和訪問(wèn)的第一個(gè)文件，robots.txt是你對(duì)搜索
引擎制定的一個(gè)如何索引你的網(wǎng)站的規(guī)則。通過(guò)該文件，搜索引擎就可以知道在你的網(wǎng)站中哪些文件是可以被索引的，哪些文件是被拒絕索引的，我們就可以很方便
地控制搜索索引網(wǎng)站內(nèi)容了。

robots.txt文件的作用：

1、屏蔽網(wǎng)站內(nèi)的死鏈接。2、屏蔽搜索引擎蜘蛛抓取站點(diǎn)內(nèi)重復(fù)內(nèi)容和頁(yè)面。3、阻止搜索引擎索引網(wǎng)站隱私性的內(nèi)容。

因此建立robots.txt文件是很有必要的，網(wǎng)站中重復(fù)的內(nèi)容、頁(yè)面或者404信息過(guò)多，搜索引擎蜘蛛就會(huì)認(rèn)為該網(wǎng)站價(jià)值較低，從而降低對(duì)該網(wǎng)站的“印象分”，這就是我們經(jīng)常聽(tīng)到的“降低權(quán)重”，這樣網(wǎng)站的排名就不好了。

robots.txt文件需要注意的最大問(wèn)題是：必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫(xiě)。

robots.txt文件的基本語(yǔ)法只有兩條，第一條是：User-agent，即搜索引擎蜘蛛的名稱；第二條是：Disallow，即要攔截的部分。

下面我們看一下撰寫(xiě)基本的robots.txt文件所需要知道的一些語(yǔ)法和作用。

（1），允許所有的搜索引擎訪問(wèn)網(wǎng)站的所有部分或者建立一個(gè)空白的文本文檔，命名為robots.txt。

User-agent:*Disallow:或者User-agent:*Allow:/

（2），禁止所有搜索引擎訪問(wèn)網(wǎng)站的所有部分。

User-agent:*Disallow:/

（3），禁止百度索引你的網(wǎng)站。

User-agent:BaiduspiderDisallow:/

（4），禁止Google索引你的網(wǎng)站。

User-agent:GooglebotDisallow:/

（5），禁止除百度以外的一切搜索引擎索引你的網(wǎng)站。

User-agent:BaiduspiderDisallow:User-agent:*Disallow:/

（6），禁止除Google以外的一切搜索引擎索引你的網(wǎng)站。

User-agent:GooglebotDisallow:User-agent:*Disallow:/

（7），禁止和允許搜索引擎訪問(wèn)某個(gè)目錄，如：禁止訪問(wèn)admin目錄；允許訪問(wèn)images目錄。

User-agent:*Disallow:/admin/Allow:/images/

（8），禁止和允許搜索引擎訪問(wèn)某個(gè)后綴，如：禁止訪問(wèn)admin目錄下所有php文件；允許訪問(wèn)asp文件。

User-agent:*Disallow:/admin/*.php$Allow:/admin/*.asp$

（9），禁止索引網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面（這里限制的是有“？”的域名，如：index.php?id=8）。

User-agent:*Disallow:/*?*