WordPress で グーグルのクローラを拒否するには どうすればよいですか？
はい、できます。
ただし、「一時的にGoogleのクロールを止めたい」のか、「サイトをGoogle検索に載せたくない」のかで方法が違います。
① WordPress全体をGoogleにクロール・検索させたくない場合
WordPress管理画面で、
「設定」→「表示設定」→「検索エンジンがサイトをインデックスしないようにする」
にチェックを入れます。
その後、**「変更を保存」**します。
これでWordPressが検索エンジンに対して、インデックスしないように要求します。
ただし、これはGoogleを強制的に遮断する機能ではありません。
すでにGoogleに登録されているページが、すぐ検索結果から消えるわけでもありません。
② 特定の記事だけGoogleに載せたくない場合
こちらなら、記事ごとに
「noindex」
を設定する方法がおすすめです。
Cocoonを使っている場合は、記事編集画面のSEO関連設定から設定できる場合があります。
③ Googleのクローラーそのものを完全に拒否したい場合
robots.txtを使って、
User-agent: Googlebot
Disallow: /とすると、Googlebotに対してサイト全体をクロールしないよう指示できます。
ただし、通常のブログ運営では、この方法はあまりおすすめしません。
特に、現在のようにGoogle検索からのアクセスを増やしたいブログなら、設定を間違えるとサイト全体の検索流入を止めてしまいます。
もし今回の目的が、
「記事を削除・移転する間だけGoogleにクロールされたくない」
ということでしたら、やり方が少し違います。
以前お話しされていた onitobi.comの記事のURL変更・301リダイレクト が目的なら、そこに合わせて「Googleに一時的にクロールさせない方法」を初心者向けに順番に説明できます。
