robots.txtでGoogleの検索結果にFlashが表示されないようにする 
Googleの検索結果にSWFファイルが直接出てきて、しかもページよりも上位に出てきたりするのが気になっていたので、robots.txtを書いてみました。参考にしたのは「Google の検索結果にコンテンツが表示されないようにする方法」。というより詳しくて答えそのもの。
とにかくFlashをヒットさせたくなければ簡単で、
User-Agent: * Disallow: /*.swf$
これでサイト内のSWFファイルを全部はじける。*は任意の文字列に一致するワイルドカード、$はURLの末尾に一致。
ついでに、WordPressのログインページがインデックスされていたのもブロック。「WordPress パスワード紛失」でぐぐるとぞろぞろ無数にヒットするあたり、どうなのかと思う。気分の問題として。
Disallow: /blog/wp-login.php
Google ウェブマスターツールの「robots.txt を解析」を使えば、任意のURLが意図通りにブロックされるかチェックできる。
そうしてできたrobots.txtをアップロードしたのが１週間前。robots.txt自体は半日しないうちにbotにアクセスされた。で、今日検索結果からきちんと消えたのを確認。
ちなみに、robots.txtの仕様はまだ標準化されていないらしい。
ところで、ウェブマスターツールの表示を見る限り、やっぱり海外向けコンテンツは.jpドメインじゃないほうがいいのかな。どうもこの「日本」との関連付け、解除できないみたいなんですよね。
Google ウェブマスターツールはいろいろ面白いことが分かるのでサイト持ちの人にはお勧めです。例えば、「こーりん」で検索するとこのサイトが意味もなく上位に出てくること、しかもまったくクリックされないこととか。