Покупка HTTP-прокси, фиксированные IP с поддержкой HTTPS

Что такое HTTP-прокси?

HTTP-прокси - это сервер, который принимает веб-запросы от вашей программы и передает их целевому сайту, подменяя ваш IP на свой. Целевой сайт видит IP прокси, а не ваш.

HTTP-прокси поддерживается большинством инструментов: системными настройками, браузерами, Python requests, Node.js, cURL, Scrapy, Selenium. Для веб-скрапинга и API HTTP-прокси проще всего в настройке.

HTTP-прокси требуют минимальных настроек. Большинство языков и библиотек принимают адрес прокси и автоматически направляют через него http- и https-запросы. Можно задать HTTP-прокси в системных настройках для всех программ.

Можно ли через HTTP-прокси заходить на HTTPS-сайты?

Да. При подключении к HTTPS сайту программа отправляет запрос CONNECT на прокси, чтобы открыть туннель к целевому серверу, и внутри него происходит зашифрованный обмен данными. Прокси знает только адрес назначения, но не может видеть содержимое страницы или данные для входа.

Поэтому, несмотря на название «HTTP-прокси», их можно использовать для большинства HTTPS-сайтов и API. В настройках программы достаточно указать один HTTP-адрес прокси - и http-, и https-запросы будут идти через один и тот же прокси.

Что выбрать: HTTP-прокси или SOCKS5?

Для задач, которые только отправляют веб-запросы, таких как веб-краулеры, HTTP-библиотеки и автоматизация браузеров, HTTP - самый простой вариант. Если вы подключаете не веб-программы, используете удалённый DNS или антидетект-браузеры рекомендуют SOCKS5, то используйте SOCKS5.

Все IP Socks5Proxy имеют и HTTP, и SOCKS5 порты. Не нужно покупать отдельные продукты - один IP можно подключать разными способами в разных инструментах.

Если инструмент не работает с одним портом, попробуйте другой. IP остается тем же, меняется только порт, поэтому для целевого сайта ничего не изменится.

Сколько стоит HTTP-прокси?

HTTP-функционал включен во все тарифы, цена зависит от типа IP. Общий датацентровый IP стоит от $0.0179 в месяц, общий ISP - от $0.1800. Приватные и выделенные IP дороже из-за меньшего числа пользователей.

Планы с большим количеством IP предоставляют скидку до 40%, а при годовой оплате за 12 месяцев вы получаете дополнительную скидку 30%.

Как настроить HTTP-прокси?

Вставьте IP, HTTP-порт, логин и пароль из строки прокси в настройки инструмента. Формат: http://USER:PASS@IP:HTTP_PORT. При IP-авторизации достаточно http://IP:HTTP_PORT (предварительно добавьте ваш IPv4 в консоль).

В Node.js можно подключить HTTP-прокси через агент или указать хост, порт и данные аутентификации в proxy-опции axios. В Selenium и Playwright прокси-сервер указывается при запуске браузера, а при необходимости аутентификации Playwright принимает имя пользователя и пароль в опциях. Подробные примеры для каждого инструмента есть на странице руководства.

curl -x http://USER:PASS@IP:HTTP_PORT https://api.ipify.org

import requests

proxy = "http://USER:PASS@IP:HTTP_PORT"
r = requests.get("https://api.ipify.org", proxies={"http": proxy, "https": proxy}, timeout=20)
print(r.text)

yield scrapy.Request(url, meta={"proxy": "http://USER:PASS@IP:HTTP_PORT"})

export HTTP_PROXY=http://USER:PASS@IP:HTTP_PORT
export HTTPS_PROXY=http://USER:PASS@IP:HTTP_PORT

Какие методы аутентификации HTTP-прокси доступны?

Первый способ - имя пользователя и пароль. Программа отправляет учетные данные через заголовок Proxy-Authorization, и настройки работают из любого места. Подходит для ноутбуков, серверов и облачных сред, где местоположение меняется.

Второй метод - IP-авторизация. Зарегистрируйте до 10 публичных IPv4-адресов ваших серверов в консоли, и подключения с этих адресов будут приниматься без пароля. Это удобно для программ без поля для пароля или автоматизации браузеров, а также исключает хранение паролей в конфигурационных файлах.

Оба метода можно использовать вместе. С серверов, зарегистрированных в IP-авторизации, можно подключаться без пароля, а с других - с логином и паролем. Зарегистрированные IP можно изменить в любое время в консоли.

Для каких задач чаще используют HTTP-прокси?

• Веб-краулинг: Scrapy, requests, axios собирают публичные страницы через несколько IP.
• Сравнение цен: проверка страниц товаров магазинов с IP разных стран.
• Сбор результатов поиска: проверка позиций и результатов по странам.
• Распределение API-запросов: разделение вызовов публичных API с лимитами на IP.
• Тестирование браузера: проверка регионального отображения с помощью Selenium и Playwright.
• Фиксированный исходящий IP корпоративной системы: используйте его для добавления в список разрешенных IP партнеров.

Что делать при ошибке 407 или сбое подключения HTTP-прокси?

Если проблема не решена, оставьте строку прокси и описание ошибки в службе поддержки в панели управления.

Большинство задач можно начать с общих дата-центр прокси, а при долгой работе с одним сайтом или большом объеме данных перейти на приватные или выделенные. Все тарифы поддерживают HTTP-порт, поэтому не нужно менять код.

Чтобы снизить число ошибок, устанавливайте таймаут для запросов и добавляйте правило повторной отправки через другой IP при сбое. Если ошибки повторяются на одном IP, временно исключите его из работы.

• 407 Proxy Authentication Required: проверьте имя пользователя и пароль или убедитесь, что IP сервера добавлен в список разрешенных IP.
• Отказ в подключении: проверьте, что указали HTTP-порт, а не SOCKS5.
• Таймаут: увеличьте лимит времени в инструменте до 20 секунд и попробуйте снова.
• 403·429 на целевом сайте: увеличьте интервал запросов и используйте разные IP.

Меняются ли заголовки запросов при использовании HTTP-прокси?

HTTPS-сайты передаются в зашифрованном CONNECT-туннеле, поэтому прокси не может просматривать или изменять заголовки запросов. Сайт получает исходные заголовки, только IP подменяется на прокси.

Даже на незашифрованных http:// сайтах Socks5Proxy не добавляет заголовки, раскрывающие ваш реальный IP. Поэтому сайт не может определить, что запрос был сделан через прокси, и воспринимает IP прокси как обычный IP.

Заголовки, такие как User-Agent, язык, куки, должны отправляться вашей программой. При написании краулера рекомендуется отправлять заголовки, похожие на реальный браузер.

Как использовать HTTP-прокси с разными странами?

Если применить фильтр по стране в панели управления или через API, то список будет разделен по странам. Например, для проверки цен в США используйте только список США, для Германии - только список Германии.

Адрес /proxies в API возвращает JSON с кодами стран и городами, что позволяет получить весь список один раз и разделить его по странам внутри программы. IP из новых планов автоматически добавляются в этот же адрес.

IP дата-центров доступны в нескольких странах на разных континентах, ISP IP - в ключевых рыночных странах. Количество IP и города по странам перечислены на странице локаций.

Как купить HTTP-прокси?

Зарегистрируйтесь с токеном аккаунта, пополните баланс, затем на странице покупки выберите тип IP, страну, количество IP и срок. Сразу после оплаты список выдается с HTTP- и SOCKS5-портами.

Минимальная сумма пополнения: $30. Чем больше сумма, тем выше бонус. Средства за неактивированные планы возвращаются на баланс.