うーん……\ 今回初めて支払いをしてテスト中ではあるのですが……\ APIデータを継続的に取得しなければならない状況で、1つのIPアドレスだけで行うなら、\ 間違いなく回数超過によってブロックされることが起きるでしょう。 そこで、プロキシを使うことにしました。 そこで選んだのがLuminatiです。\ 思ったより使いや
うーん……
今回初めて支払いをしてテスト中ではあるのですが……
APIデータを継続的に取得しなければならない状況で、1つのIPアドレスだけで行うなら、
間違いなく回数超過によってブロックされることが起きるでしょう。
そこで、プロキシを使うことにしました。
そこで選んだのがLuminatiです。
思ったより使いやすく、利用料金も悪くありません……
費用はサイトごとにすべて異なるため、よく確認する必要があります。ただ、ここはちょうど中間くらい？の価格のようです。どのようにパースやクローリングをするかによっても変わりますが、どの地域のIPアドレスを割り当ててもらうかも重要だと思います。
ここは韓国のIPアドレスも多く持っているとのことなので、選ぶことにしました。
ところが、APIサイトによって接続できるところとできないところがあったので、一つひとつ割り当ててからテストを行う必要がありました……
いずれにしても、今接続しようとしているサイトにはすべて問題なくアクセスできている、というのは事実です。
上記のサイトのリンクから登録して利用できます。
ただし、IPアドレスの数ごと、トラフィック量ごとに料金がかかるので、
考えてみると、APIのクローリングならそれほど問題にはならないでしょうが、
今後作るシステムが稼働するサービスのクローリングを考えると、もっと多くのトラフィックが必要になるかもしれないと思い、もう少し調べてみたところ……
API Callsの回数ごとに料金がかかるところもありますし、（韓国ではもっと高い料金プランしか利用できないみたい……）
ここみたいに、IPアドレスごとに料金がかかり、トラフィックが無制限のところもあります……
（ここはプランごとに構成されています。最低でも100個のIPアドレスを400ドルで使う必要があります……その代わり、トラフィックに制限がないのがメリットです……本当に大量のパースが必要なら、このサービスが良いでしょうが、発生するトラフィックを計算して選ぶのが良さそうです……）
ここは最も安いとされているプロキシだそうです……現在、500エラーの状態（……）
ここは韓国はありませんが、なかなか良さそうなところ……日本が一番近くて良さそうではありますが、日本のIPアドレスで継続的に接続できるのでしょうか……？（韓国のサイトに）
とりあえず、私はluminatio.ioを利用しましたが、もう少し安いサービスがあれば、そちらを使ってみようと思います……
速度も悪くなく、クローリングには最適なようです。（https://luminati.io/）
もし……クローリングプロキシとして使えて、価格や速度も問題なく、韓国のIPアドレスを提供してもらえるところがあれば、コメントで教えていただけるとありがたいです……
