tor

tool

torとprivoxyでアクセス元IPを変えてクロールする

rubyで作ったクローラがアクセス制限を食らってしまった。アクセス過多にはならないよう、30〜120秒に1回にしていたのだが、駄目だったようだ…。そこで、匿名プロキシを使おうかと思ったが、使えるプロキシが少ない&いつ使えなくなるか分からない...