- 【ウェブマスターツールの使い方】
- 2011年09月18日
ウェブマスターツールでrobots.txtのテスト、URL削除の方法
Googleウェブマスターツールの「サイト設定」の中に「クローラのアクセス」という機能があります。この画面でできる事は以下の3つです。
- robots.txtのテスト
- robots.txtの生成
- URL削除のリクエスト
それぞれの機能を詳しくご紹介します。
robots.txtのテスト
「robots.txt」とはGoogleなどの検索エンジンが、情報を収集する為に使うロボット（プログラム）の制御を行うためのファイルです。
検索エンジンロボットは、robots.txtの内容を読み取り、検索エンジンに登録されてはいけないページなど、基本的な動きを確認します。
強制力のあるものではありませんが、おおむねGoogleのロボットはrobots.txtの内容に従います。
ですので、誤って「ホームページのすべてのページをインデックスしない」なんていう設定にしてしまうと大変な事になります。（検索エンジンからあなたのホームページが消えます）
そういった事態にならないよう、この機能で「robots.txtによって検索エンジンロボットがどういう動きをするか」をテストする事ができます。
robots.txtの生成
例えば「特定のフォルダを検索エンジンの検索結果に表示したくない」という場合に、robots.txtを使って検索エンジンロボットを制御するのが簡単ですが、ビギナーの方にrobots.txtをゼロから作成するのは非常に難しいと思います。
そこでrobots.txtの生成機能を使えば、制御したい設定を選択するだけでrobots.txtが作成できます。
ここでは先ほどの「特定のフォルダを検索エンジンの検索結果に表示したくない」という場合の設定方法をご紹介します。
- デフォルトのクローラのアクセスを選択
基本的にはご自分のホームページのうち、公開したい検索エンジンに表示させたいページは多いはずですので、「すべてを許可」を選択しておいて問題はありません。 - その他のルールを指定
今回は「特定のフォルダにロボットをアクセスさせない」という設定なので、処理には「ブロック」を選びます。
次にUser-agentですが、GoogleはブロックしたいけどBingはブロックしたくないなんて言う事は無いと思います。なので基本的には「すべてのロボット」を選択しておけば大丈夫です。
最後にブロックしたいフォルダやファイルをディレクトリとファイルのテキストエリアに設定します。
例えば「http://xxx.com/admin-tools/」フォルダが、管理者用ツールのフォルダでこのフォルダへのアクセスをブロックしたい場合は「/admin-tools/」と入力します。 - 新しい robots.txt ファイルをダウンロード
設定を追加したrobots.txtファイルはダウンロードボタンを押すとダウンロードできますので、ルートフォルダ（「http://xxx.com/robots.txt」でアクセスできる場所）にアップロードします。
新しく生成したrobots.txtは、必ずテストツールを使ってテストをしてください。
自分の意に沿わない動きをしないように細心の注意を払ってください。
URL削除のリクエスト
URL削除ツールとも呼ばれるこの機能は、検索エンジンに表示されているページを削除するリクエストを送信する事ができます。
使用する場面としては、「テスト用のURLが検索エンジンに登録されてしまった」など、何らかの事情があって検索して探せるようになっている事に不都合がある場合にリクエストできます。
ただしこのツールでリクエストをしても、必ずしも削除されるという訳ではありません。
また無事にURLが削除された場合でも、ページそのものがサーバー上に残っていたり、robots.txtでロボットのブロックが設定されていなかったりすると、一定期間後にロボットが再びやって来て、再登録されてしまう事もあるようです。
削除リクエストを出したページは、サーバー上から消しておくかロボットをブロックする設定にしておきましょう。