会員サイト等、検索エンジンに登録されない方法
通常は検索エンジンに登録してもらい上位に表示してもらうためにSEO、SEMと対策を取りますが、会員サイトや個人情報を含む例えば大学のサークルのようなサイトでは検索エンジンに登録されたくない場合があります。このような場合の対策方法です。
認証すれば検索エンジンに登録されない
BASIC認証などを利用してパスワードによる認証ページにすれば検索エンジンに登録されることは絶対にありません。これは、検索エンジンのクローラーがパスワードを知らないので認証後のページに入れないから当然登録もされないという事です。一番確実に検索エンジンに登録されない方法です。
会員サイトではログインページに注意
会員サイトであってもログインページには認証を施すことはできません。良く聞く失敗ですが、ログインページに隠したい情報を載せてしまい、結果、検索エンジンにその情報が登録されてしまったという失敗。隠したい情報はログイン後のページに入れるように徹底しなければなりません。
metaタグ及びrobot.txtによる宣言
登録禁止コードを書くことにより検索エンジンのクローラーに登録しないよう意志表示するものです。この方法はあくまで紳士協定のようなものであり、検索エンジンに登録されないことが保証される訳ではありません。しかし、認証のようにサーバーの設定までする必要がなく簡単に設定できますので、簡易的な対応方法としてやらないよりはやっておいた方が良いと思います。
metaタグによる宣言
各HTMLページの<head>タグ内に以下のコードを書きます。
<meta name="robots" content="noindex">
robot.txtによる宣言
robot.txtはルートディレクトリに配置します。内容は以下の通りです。
/* サイトすべて登録禁止とする場合 */
Disallow: /
/* ディレクトリを指定して禁止する場合 */
Disallow: /sample/
サイトが検索エンジンに登録されているか調べる方法
検索エンジンごと方法は異なりますが、Googleの場合site:www.example.comのように検索したいサイトの頭に「site:」を付けて検索することでサイト内検索となり、そのサイトの何のページがGoogleに登録されているか確認することができます。
登録されている場合
登録されている場合、Google Search Consoleを利用して90日間の一時削除依頼をかけます。この一時削除の間にWEBページを認証化したり、簡易的にmetaタグ及びrobot.txtによる宣言を行ったり、90日以降登録されないよう対策をとります。
Google Search Console URL 削除ツール(https://support.google.com/webmasters/answer/1663419?hl=ja)