privoxy

tool

torとprivoxyでアクセス元IPを変えてクロールする

rubyで作ったクローラがアクセス制限を食らってしまった。 アクセス過多にはならないよう、30〜120秒に1回にしていたのだが、駄目だったようだ…。 そこで、匿名プロキシを使おうかと思ったが、使えるプロキシが少ない&いつ使えなくなるか分から...