網(wǎng)站優(yōu)化中有些時(shí)候，站長(zhǎng)并不希望某些頁(yè)面URL被抓取和收錄，如付費(fèi)內(nèi)容、測(cè)試階段的頁(yè)面、復(fù)制內(nèi)容頁(yè)面等。網(wǎng)站上不出現(xiàn)鏈接，或者使用JavaScript、Flash鏈接，使用nofollow等方法都不能保證頁(yè)面一定不會(huì)被收錄。站長(zhǎng)自己雖然沒(méi)有鏈接到不想被收錄的頁(yè)面，其他網(wǎng)站可能由于某種原因出現(xiàn)導(dǎo)入鏈接，導(dǎo)致頁(yè)面被收錄。

網(wǎng)站優(yōu)化中網(wǎng)站URL禁止收錄機(jī)制的配置(robot.txt的編寫(xiě))

要確保頁(yè)面不被收錄，需要使用robots文件或Meta Robots標(biāo)簽。做如下書(shū)寫(xiě)配置：

User-agent: *
Disallow: /tx/
Disallow: /wp-ad/
Disallow: /wp-log/
Disallow: /wp-includes/
Sitemap: http://dmlifecoach.com/sitemap.xml

紅色部分的tx、wp-ad、wp-log、wp-includes文件夾為禁止收錄和爬??！