tool torとprivoxyでアクセス元IPを変えてクロールする rubyで作ったクローラがアクセス制限を食らってしまった。アクセス過多にはならないよう、30〜120秒に1回にしていたのだが、駄目だったようだ…。そこで、匿名プロキシを使おうかと思ったが、使えるプロキシが少ない&いつ使えなくなるか分からない... 2017.07.03 2017.07.04 tool