JavaScriptで確実にクロールされないようにする実験
2006-12-05-3
[ThisSite]
『こういう「クロールされたくないリンク」は、やはり JavaScript で
書くべきなのかなあ…。』[2006-10-27-4]ということで、
各記事ページにあるトラックバックのCGIへのリンクを以下のようにして
みました。効果の有無などはそのうち報告します。
this.href に入れるやつが、「+」で区切られているのはおまじない。
「a」タグの内部文字列を対象にパターンマッチでURLを取り出すような
クローラがあったりすると嫌なので。って、ありそうでしょ?
なぜ、JavaScript でやるかというと、私にとって手軽な方法だから。
テンプレート変更して、全ブログページ生成しなおすだけで済みます。
(あと、robots.txt は行儀の悪いクローラには効かないし、
.htaccess, httpd.conf はいろいろと気を使う必要があるし…うんぬん)。
というわけで一般的におすすめな方法というわけでは断じてありません。
robots.txt, .htaccess, httpd.conf など状況にあわせて適所適材でどうぞ。
書くべきなのかなあ…。』[2006-10-27-4]ということで、
各記事ページにあるトラックバックのCGIへのリンクを以下のようにして
みました。効果の有無などはそのうち報告します。
<a href="#" onclick="this.href='http:'+'//トラックバックCGIのURL'"> トラックバック </a>
this.href に入れるやつが、「+」で区切られているのはおまじない。
「a」タグの内部文字列を対象にパターンマッチでURLを取り出すような
クローラがあったりすると嫌なので。って、ありそうでしょ?
なぜ、JavaScript でやるかというと、私にとって手軽な方法だから。
テンプレート変更して、全ブログページ生成しなおすだけで済みます。
(あと、robots.txt は行儀の悪いクローラには効かないし、
.htaccess, httpd.conf はいろいろと気を使う必要があるし…うんぬん)。
というわけで一般的におすすめな方法というわけでは断じてありません。
robots.txt, .htaccess, httpd.conf など状況にあわせて適所適材でどうぞ。