お行儀が悪い暴走クローラーは排除
2022-08-30-1
[Kndlsl][Maintenance]
たぶん同じ人が動かしているクローラーなのだろうが、キンセリ内の同じページに短時間に連続で100回とかアクセスするIPがいくつかある。
キンセリの個別セールページへのアクセスの半分がこれ。
キンセリは1ページあたりのデータサイズが大きいので、こういうのほんと困る。
DoS攻撃とまではいかないけどご迷惑。
さくらインターネットの500円サーバでエコくやっている身として。
調べてみるとどれも GOOGLE CLOUD の IP みたい。
2020年12月あたりからアクセスがあり、暴走(連続アクセス)は今年8月20日ごろから。
その後、毎日着実に暴走連続アクセスが増加。
まあ、DB が壊れたかなんかでアクセス先 URL の redup に失敗したのかと。
身につまされる感あり。
ということで、サクッとIP制限。
UA はほとんどが python-requests でときどき HeadlessChrome とかなので、一般の方にはなんの影響もないでしょう。
アデュ〜!
キンセリの個別セールページへのアクセスの半分がこれ。
キンセリは1ページあたりのデータサイズが大きいので、こういうのほんと困る。
DoS攻撃とまではいかないけどご迷惑。
さくらインターネットの500円サーバでエコくやっている身として。
調べてみるとどれも GOOGLE CLOUD の IP みたい。
2020年12月あたりからアクセスがあり、暴走(連続アクセス)は今年8月20日ごろから。
その後、毎日着実に暴走連続アクセスが増加。
まあ、DB が壊れたかなんかでアクセス先 URL の redup に失敗したのかと。
身につまされる感あり。
ということで、サクッとIP制限。
UA はほとんどが python-requests でときどき HeadlessChrome とかなので、一般の方にはなんの影響もないでしょう。
アデュ〜!