웹 스크래핑 프록시로 대량 크롤링을 안정적으로 운영하기

웹 스크래핑에 프록시가 필요한 이유는 무엇인가요?

웹 스크래핑은 사이트의 공개 페이지를 프로그램으로 읽어 필요한 정보를 모으는 작업이에요. 한 IP에서 짧은 시간에 많은 요청을 보내면 대상 사이트는 접속 속도를 늦추거나, 확인 문자 입력 화면을 보여 주거나, 잠시 접속을 막아요. 프록시를 쓰면 요청을 여러 IP로 나눠 보내서 IP 하나당 요청 수를 사람이 보는 수준으로 낮출 수 있어요.

또 상품 가격, 검색 결과, 지도 정보처럼 나라마다 다르게 보이는 페이지는 그 나라 IP로 접속해야 정확한 값을 얻을 수 있어요. Socks5Proxy는 여러 나라의 데이터센터 IP와 ISP IP를 제공해서 같은 크롤러로 여러 나라 결과를 모을 수 있어요.

프록시는 수집 속도를 높이는 도구이기도 해요. 요청을 여러 IP에 나누면 동시에 더 많은 연결을 열 수 있어서 같은 양의 페이지를 더 짧은 시간에 끝낼 수 있어요.

스크래핑에는 어떤 프록시 상품이 맞나요?

대부분의 크롤링은 공유 데이터센터 프록시로 시작하는 것이 가장 경제적이에요. IP 하나를 최대 3명이 함께 쓰는 대신 단가가 낮고, 플랜 크기가 클수록 할인이 커져서 수천 개 IP로 요청을 넓게 나누기 좋아요. 월 1TB 대역폭과 동시 연결 500이 포함되어 일반적인 HTML 수집에는 충분해요.

대상 사이트가 데이터센터 대역을 엄격하게 거른다면 공유 ISP 프록시가 좋아요. 인터넷 회사에 등록된 IP라서 일반 가정 이용자와 비슷하게 보이고, 데이터센터에서 운영해 속도도 빨라요.

로그인이 필요한 페이지를 수집하거나 같은 세션을 오래 유지해야 한다면 프라이빗 또는 전용 프록시를 고르세요. 다른 사용자의 요청과 섞이지 않아 세션이 끊기는 일이 줄어요.

IP를 어떻게 순환시키면 좋나요?

Socks5Proxy의 IP는 플랜 기간 동안 고정되어 있어서 순환은 크롤러에서 직접 조절해요. 가장 쉬운 방법은 내려받은 목록을 배열로 읽고 요청마다 다음 IP를 고르는 방식이에요. 요청 실패가 나면 그 IP를 잠시 쉬게 하고 다른 IP로 다시 보내면 돼요.

같은 도메인에 대해서는 IP 하나당 요청 간격을 정해 두는 것이 중요해요. 예를 들어 IP 1,000개로 한 사이트를 수집한다면 IP마다 10초에 한 번만 요청해도 초당 100개 페이지를 읽을 수 있어요. IP 수를 늘리면 IP 하나의 부담은 그대로 두고 전체 속도만 올릴 수 있어요.

세션이 필요한 경우에는 반대로 한 작업 단위 동안 같은 IP를 계속 써야 해요. 장바구니, 검색 페이지 넘기기처럼 쿠키가 이어져야 하는 흐름은 작업 하나에 IP 하나를 묶고, 작업이 끝나면 다음 IP로 넘어가세요.

• 요청마다 IP 바꾸기: 공개 상세 페이지 대량 수집
• 작업 단위로 IP 고정: 페이지 넘기기, 로그인 후 수집
• 실패한 IP는 5~10분 쉬게 하고 다시 사용
• 도메인마다 IP 하나당 요청 간격 정하기

요청 속도는 어느 정도로 맞춰야 하나요?

대상 사이트마다 허용하는 속도가 달라서 처음에는 낮게 시작해 조금씩 올리는 방법이 가장 안전해요. IP 하나당 분당 몇 번의 요청으로 시작해서 응답 코드와 응답 시간을 기록하고, 오류 비율이 늘어나기 시작하는 지점보다 조금 낮게 맞추면 돼요.

응답 코드 429나 403이 늘어나면 속도를 낮추거나 IP 수를 늘리라는 신호예요. 응답 본문에 확인 화면이 섞이는지도 함께 확인하세요. 상태 코드는 200인데 내용이 다른 경우가 있어서, 수집한 페이지에 기대한 요소가 있는지 검사하는 단계를 두면 데이터 품질이 좋아져요.

헤더도 중요해요. 실제 브라우저와 비슷한 User-Agent, Accept-Language를 쓰고, 나라별 IP를 쓸 때는 언어 헤더도 그 나라에 맞추면 결과가 자연스러워요.

SOCKS5와 HTTP 중 무엇으로 연결하나요?

웹 페이지만 수집한다면 HTTP 프록시로 충분하고 설정도 가장 간단해요. HTTPS 사이트도 CONNECT 방식으로 암호화된 채로 전달돼요.

SOCKS5는 HTTP가 아닌 연결도 그대로 전달하고, 도메인 이름 확인을 프록시 쪽에서 하도록 설정할 수 있어서 내 서버의 DNS 정보가 대상 사이트에 드러나지 않아요. Python에서는 socks5h, cURL에서는 --socks5-hostname을 쓰면 프록시가 도메인을 확인해요.

Socks5Proxy는 프록시 줄마다 HTTP 포트와 SOCKS5 포트를 따로 제공해서 같은 IP를 두 방식으로 모두 쓸 수 있어요.

크롤러에 프록시 목록을 어떻게 연결하나요?

대시보드의 내 프록시 화면에서 원하는 형식으로 목록을 내려받거나, API로 목록을 받아 크롤러가 시작할 때 읽게 하면 돼요. 형식은 ip:port:user:pass, user:pass@ip:port, socks5://user:pass@ip:port, http://user:pass@ip:port, CSV 등을 고를 수 있어요.

서버 IP가 고정되어 있다면 IP 인증을 쓰면 편해요. 대시보드에 서버 IPv4를 최대 10개까지 등록하면 아이디와 비밀번호 없이 ip:port만으로 접속할 수 있어요. 비밀번호를 코드에 두지 않아도 되어 여러 서버에 같은 설정을 배포하기 쉬워요.

Python requests, Scrapy, Node.js, cURL 연결 방법은 가이드 페이지에 실제 코드와 함께 정리해 두었어요.

스크래핑 비용은 어떻게 계산하나요?

필요한 IP 수는 하루에 읽을 페이지 수와 IP 하나당 허용할 요청 수로 계산해요. 하루 100만 페이지를 IP 하나당 하루 1,000번 이하로 나누고 싶다면 IP 1,000개가 필요해요. 공유 데이터센터 플랜은 IP 수가 많을수록 할인 폭이 커지고 최대 할인율은 40%예요.

오래 운영할 작업이라면 연간 결제로 30%를 아낄 수 있어요. 결제는 충전한 잔액에서 빠지고, 충전 금액이 $100 이상이면 보너스가 붙어서 실제 쓸 수 있는 금액이 늘어나요.

책임 있는 스크래핑을 위해 무엇을 지켜야 하나요?

공개된 정보만 수집하고, 대상 사이트의 이용 약관과 robots 규칙, 각 나라의 개인 정보 법을 지켜 주세요. 서버에 부담을 주지 않는 속도로 요청하고, 같은 페이지를 불필요하게 반복해서 읽지 않도록 캐시를 두는 것이 좋아요.

합법적인 데이터 수집은 가격 비교, 연구, 시장 분석, 검색 엔진 운영처럼 많은 서비스의 바탕이에요. 규칙을 지키며 운영하면 IP 풀도 깨끗하게 유지되어 모든 사용자에게 좋은 결과로 돌아와요.