크롤링 프록시 서비스 사용 후기 Luminati.io
Updated on
흐음…
지금 뭐 처음으로 결제해서 테스트 중이긴한데..
api 데이터를 지속적으로 받아와야하는 상황에서, 1개의 아이피로만 한다면,
분명이 횟수 초과로 인해서, 차단당하는 일이 발생할 것이다.
그래서, 나는 프록시를 사용하기로 마음 먹었는데,
그래서 선택한 곳이 Luminati 이다.
생각보다, 편리하게 되어있고, 사용료가 나쁘지 않다..
비용은 사이트마다 모두 다르기 때문에, 잘 확인해야한다. 하지만 이 곳이 딱 중간?정도 나오는것 같다, 어떤식으로 파싱이나 크롤링 할 것이냐에 따라서도 달라지만, 어떤 지역의 아이피를 할당받느냐도 중요하다고 본다.
이곳은, 한국 아이피도 많이 가지고 있다고 하기에, 선택하게 되었다.
그런데, 이제 api 사이트에 연결이 되는게 있고 안되는게 있어서, 일일히 할당한다음에 테스트를 진행했어야 됬다…
어찌되었든, 지금 연결할 사이트에는 모두 이상 없이 접속되고 있다는게 사실이다.
위 사이트 링크를 통해서, 가입하고 이용할 수 있다.
하지만, 아이피 개수별로, 트래픽 별로 요금을 받고 있기 때문에,
생각해보면, api 크롤링이야 크게 상관이 없겠다지만,
추후에 만들 시스템들이 돌아가는 서비스 크롤링을 생각해보면, 더 많은 트래픽을 요구할 수 있겠다라는 생각이 들어서 조금 더 검색해본 결과..
https://www.scraperapi.com/affiliates
API Calls 회수마다 금액을 받는 곳이 있기도 하고, (한국은 더 비싼 요금제만 가능한가봐…)
https://oxylabs.io/pricing/datacenter-proxies
여기처럼, 아이피당 돈을 받고, 트래픽 무제한 인 곳도 있다..
(이곳은, 플랜별로 구성되어 있다. 최소 100아이피를 $400를 주고서 사용해야한다.. 그대신 트래픽 제한이 없다는 것은 장점이다.. 정말 많은 파싱이 필요하다면, 이 서비스가 좋겠지만, 산출되는 트래픽을 계산해서 선택하는게 좋을 듯 싶다…)
이곳은 가장 저렴하다고 알려져있는 프록시라고 한다… 지금 500 에러 상태 ( … )
이곳은 한국은 없지만, 나름 괜찮아 보이는 곳…. 일본이 가장 가깝고 좋긴 해보이는데,, 일본 아이피가 계속해서 연결을 가능하게 할까..? (한국 사이트들에)
일단, 나는 luminatio.io 를 이용했는데, 조금 더 저렴한 서비스가 있다면, 그 곳을 이용해볼 생각이다..
속도도 나쁘지 않고, 크롤링 하는데에는 최적인 것 같다. ( https://luminati.io/ )
혹시… 크롤링 프록시에 사용되는데 괜찮은 가격과 속도, 그리고 한국 아이피를 제공받을 수 있는 곳이 있다면, 댓글로 알려주시면 감사하겠습니다..