WordPress Ktai Style でクロールエラーが出てたので robots.txt を設置してみた

2010年1月27日、ふと、Google ウェブマスターツールを見てみると、ステータスコード 400 ( Bad Request ) のクロールエラーが 2,041 件も発生してた。

Google ウェブマスターツールのクロールエラー

この記事の目次非表示

クロールエラーが発生しているページとエラーの原因

クロールエラーが発生している URL は次の様な感じで、Ktai Style が外部サイトへ移動する時に自動で生成する中継ページらしい。

https://example.com/wp-content/plugins/ktai_style/redir.php?_wpnonce=**********&url=http%3A%2F%2Fwww.example.com%2F

上記 URL に含まれる ********** は、ノンス文字列という物らしく、一定時間ごとに変化するランダムな文字列が入っています。
Ktai Style の場合は 12 時間ごとに変化するらしい。

このノンス文字列が時間切れ？か何かでエラーを返しているのが原因なのかな？

そもそも、この Ktai Style の中継ページをグーグルボットがクロールしないように設定すれば良いのでは？と思い、次の様なコード書いた robots.txt を WordPress をインストールしてあるルートディレクトリに設置してみた。

User-Agent: *
Disallow: /wp-*

robots.txt の記述が間違っていないか心配なんだけど、上記の設定で WordPress 関連のシステムファイルはクロールされなくなるはず。

しばらくしてから Google ウェブマスターツールで確認してみるつもり。

ありがとうございます。
現場からは以上です。それでは、またッ！！！

だるかぶ

最後までお読みいただきありがとうございます！スキ・コメント・シェア・フォローなどで応援いただけると『だるかぶ』のやる気がアップします！

記事内容の修正について 記載している内容は記事執筆時の情報です。できるだけ最新情報を掲載するようにしていますが、情報が間違っている場合は「コメント」でご指摘いただけるとありがたいです。