amazon がやってるみたいに「同じコンテンツを指す複数のURLを、クローラーが来たときだけ正規化した一つのURLにリダイレクト」したい。

そこで「.htaccess」に以下のように記述した。

RedirectMatch ^/bot/([0-9A-Z]{10})/ http://example.com/asin/$1/
RewriteEngine On
RewriteRule ^asin/([0-9A-Z]{10})/$ go.cgi?asin=$1 [L]
RewriteCond %{HTTP_USER_AGENT} bot|ahoo|craw|spid [NC]
RewriteRule ^asin/([0-9A-Z]{10})/(.+-22)/$ bot/$1/
RewriteRule ^asin/([0-9A-Z]{10})/(.+-22)/$ go.cgi?asin=$1&aid=$2 [L]

普通にブラウザから

http://example.com/asin/00000000/yto-22/

にアクセスすると

http://example.com/go.cgi?asin=00000000&aid=yto-22

が実行される。
クローラがアクセスすると

http://example.com/bot/00000000/

にリダイレクトされ、それが

http://example.com/asin/00000000/

にリライトされ、最終的に

http://example.com/go.cgi?asin=00000000

が実行される。

とりあえず実現できたものの、なんか釈然としないなあ、
と思い「Apacheクックブック」を引っ張り出して見てみると
もっとシンプルな方法が載っていた。
それ見て書き直し。

RewriteEngine On
RewriteRule ^asin/([0-9A-Z]{10})/$ go.cgi?asin=$1 [L]
RewriteCond %{HTTP_USER_AGENT} bot|ahoo|craw|spid [NC]
RewriteRule ^asin/([0-9A-Z]{10})/(.+-22)/$ /asin/$1/ [R=301]
RewriteRule ^asin/([0-9A-Z]{10})/(.+-22)/$ go.cgi?asin=$1&aid=$2 [L]

RewriteRule の "[R]" でリダイレクトするだけ。
勉強になるなあ。

■Apacheクックブック - Webサーバ管理者のためのレシピ集