WordWPress企業(yè)網站和WordWPress外貿企業(yè)網站在發(fā)布產品文章時，都可能會遇到絕大部分內容不變，只需要修改其中部分參數(shù)或圖片的情況，這種網站文章的發(fā)布，我們可以使用WordPress文章復制插件 – Duplicate Post?來實現(xiàn)。當然，有時我們不希望搜索引擎收錄相近的產品文章，這樣可能會稀釋關鍵詞權重，我們需要有針對性的去屏蔽一部分文章，那么，如何有效地、可靠地讓“部分文章屏蔽搜索引擎”呢？方法如下：

robots.txt 文章頁面屏蔽

在網站根目錄下找到 robots.txt 文件，在里面添加屏蔽代碼。

假設我要屏蔽的 /category/post-name.html ，則添加1行如下代碼：

Disallow: /category/post-name.html

添加文章屏蔽選項

把下面的代碼添加到當前主題的 functions.php 文件中即可使用：

文章/頁面編輯頁面添加選項
function wpyou_add_custom_box() {
  if (function_exists('add_meta_box')) {    
    add_meta_box('wpyou_allow_se', '搜索引擎', 'wpyou_allow_se', 'post', 'side', 'low');
    add_meta_box('wpyou_allow_se', '搜索引擎', 'wpyou_allow_se', 'page', 'side', 'low');
  }
}
add_action('add_meta_boxes', 'wpyou_add_custom_box');
function wpyou_allow_se() {
  global $post;
 
  //添加驗證字段
  wp_nonce_field('wpyou_allow_se', 'wpyou_allow_se_nonce');
 
  $meta_value = get_post_meta($post->ID, 'wpyou_allow_se', true);
  if($meta_value)
    echo '<input name="wpyou-allow-se" type="checkbox" checked="checked" value="1" /> 屏蔽搜索引擎';
  else
    echo '<input name="wpyou-allow-se" type="checkbox" value="1" /> 屏蔽搜索引擎';
}
// 保存選項設置
function wpyouse_save_postdata($post_id) {
  // 驗證
  if ( !isset( $_POST['wpyou_allow_se_nonce']))
    return $post_id;
  $nonce = $_POST['wpyou_allow_se_nonce'];
  // 驗證字段是否合法
  if (!wp_verify_nonce( $nonce, 'wpyou_allow_se'))
    return $post_id;
  // 判斷是否自動保存
  if (defined('DOING_AUTOSAVE') && DOING_AUTOSAVE)
      return $post_id;
  // 驗證用戶權限
  if ('page' == $_POST['post_type']) {
    if ( !current_user_can('edit_page', $post_id))
      return $post_id;
  }
  else {
    if (!current_user_can('edit_post', $post_id))
      return $post_id;
  }
 
  // 更新設置
  if(!empty($_POST['wpyou-allow-se']))
    update_post_meta($post_id, 'wpyou_allow_se', '1');
  else
    update_post_meta($post_id, 'wpyou_allow_se', '0');
}
add_action('save_post', 'wpyouse_save_postdata');
// 對于設置不允許抓取文章和頁面
// 禁止搜索引擎抓取，返回404
function do_wpyou_allow_se() {
  // 本功能只對文章和頁面有效
  if(is_singular()) {
    global $post;
    $is_robots = 0;
    $wpyou_allow_se = get_post_meta($post->ID, 'wpyou_allow_se', true);
    if(!empty($wpyou_allow_se)) {
      // 下面是搜索引擎Agent判斷關鍵字數(shù)組
      // 有點簡單，自己優(yōu)化一下吧
      $bots = array(
            'Baiduspider',
            'Googlebot',
            'sogou spider',
            'Sogou web spider',
            'YodaoBot',
            'Bingbot',
            'Slurp',
            'MSNBot',
            'yahoo-blogs',
            'psbot',
            'Yandex',
            'Yeti',
            'blogsearch',
            'EasouSpider',
            'Mediapartners-Google'
            );
   
      $useragent = $_SERVER['HTTP_USER_AGENT'];
   
      foreach ($bots as $lookfor) {
        if (stristr($useragent, $lookfor) !== false) {
          $is_robots = 1;
          break;
        }
      }
      // 如果當前文章/頁面禁止搜索引擎抓取，返回404
      if($is_robots) {
        status_header(404);
        exit;
      }
    }
  }
}
add_action('wp', 'do_wpyou_allow_se');

使用方法

添加以上代碼到當前主題的 functions.php 文件后，我們就可以正常使用了，完全傻瓜式。在WordPress后臺文章和頁面的編輯頁面，右邊欄底部我們可以看到這樣的選框：

WordWPress 實現(xiàn)禁止搜索引擎抓取指定文章（頁面）

如果當前文章/頁面需要禁止搜索引擎抓取，勾選即可。