プロキシリストダウンロード、希望の形式でtxt・CSV・API

プロキシリストとは何ですか？

プロキシリストは、購入したプロキシを1行に1つずつ記載したファイルです。クローラー、自動化ツール、アンチディテクトブラウザ、アカウント管理プログラムの多くは、このようなリストファイルを読み込んでプロキシを切り替えて使用したり、アカウントごとに1つずつ割り当てたりします。

ツールごとに受け入れる行形式が異なるため、同じプロキシでも形式を合わせるとすぐに使えます。Socks5Proxyはよく使われる形式を事前に選択できるようにしており、リストを受け取った後で再編集する必要がありません。

リストを手動で編集すると、コロン1つ抜けるだけでツールが行全体を読み込めません。最初からツールに合った形式で取得すればこのようなミスがなく、プランを新しく購入してリストが変わっても同じ形式で再取得するだけです。

どの形式でプロキシリストを受け取れますか？

ダッシュボードの「マイプロキシ」画面やAPIで以下の形式から選択できます。プロトコルをHTTPに選択するとHTTPポートが、SOCKS5に選択するとSOCKS5ポートが含まれます。

形式はいつでも変更して再度受け取ることができます。同じプランのリストをクローラー用のhttp://ファイルとブラウザ用のsocks5://ファイルで2回受け取って分けて使っても、IPとアカウント情報は同じです。

プロキシリストはどこからダウンロードしますか？

支払い完了後、ダッシュボードのマイプロキシ画面にIPリストがすぐ表示されます。上部で形式、プロトコル、国、プランを選択し、.txtまたは.csvでダウンロードできます。複数のプランを購入した場合、1つのファイルにまとめてダウンロードしたり、プランや国別に分けてダウンロードしたりできます。

画面のリストは固定高さの表内でスクロールされ、行ごとにコピーボタンがあるため、いくつか必要な場合はファイルなしですぐにコピーして使用できます。

ファイル名には形式と受信日が含まれているので、何度ダウンロードしても最新のファイルがすぐにわかります。CSVファイルは1行目に列名が記載されているので、スプレッドシートで開くとすぐに表形式で表示されます。

リスト画面では国、プラン、有効期限でフィルタリング可能で、フィルタ結果だけをファイルダウンロードできます。例: アメリカ専用ISP IPだけ選んでCSVで取得すると、アカウントマッチング表をすぐ作成できます。

APIでプロキシリストを受け取るにはどうすればいいですか？

ダッシュボードのAPIキー画面でキーを作成します。キーは作成時のみ全体が表示されるため安全な場所に保管し、紛失時は再作成してください。再作成すると以前のキーは即時使用不可になります。

リストは2つのエンドポイントから取得可能です。/proxiesはJSONリストでIP、ポート、ユーザー名、パスワード、国、都市、有効期限を返し、/proxies/downloadは選択形式のテキストを行単位で返します。両エンドポイントとも国(country)とプロトコル(protocol)でフィルタ可能です。

APIリクエストにはアカウントトークンではなくAPIキーを使用します。アカウントトークンはダッシュボードログインにのみ使用され、APIキーはリスト取得などのプログラム作業にのみ使用されるため、キーが漏れてもアカウントログインは安全です。リクエストはHTTPSでのみ受け付けます。

curl -H "Authorization: Bearer YOUR_API_KEY" \
  "https://socks5proxy.io/api/v1/proxies/download?protocol=http&format=ip:port:user:pass"

curl -H "Authorization: Bearer YOUR_API_KEY" \
  "https://socks5proxy.io/api/v1/proxies?country=us"

import itertools, requests

API = "https://socks5proxy.io/api/v1/proxies/download"
lines = requests.get(API, params={"protocol": "http", "format": "url"},
    headers={"Authorization": "Bearer YOUR_API_KEY"}, timeout=20).text.split()
pool = itertools.cycle(lines)

for url in ["https://example.com/a", "https://example.com/b"]:
    p = next(pool)
    print(requests.get(url, proxies={"http": p, "https": p}, timeout=20).status_code)

IP認証を使用するとリストはどのように変わりますか？

IP認証は自分のサーバーの公認IPv4アドレスをダッシュボードに登録しておき、そのアドレスからの接続のみパスワードなしで受け入れる方法です。最大10個のアドレスを登録できます。

IP認証を使用すると、リストをip:port形式で受け取ってもすぐに接続できます。リストファイルにパスワードが含まれないので、複数の人が共有する設定ファイルやコードリポジトリにプロキシアドレスを置いてもアカウント情報が漏れません。接続場所が頻繁に変わるノートパソコンでは、ユーザー名とパスワード方式を併用するのが便利です。

登録するアドレスはプロキシに接続する側、つまり自社サーバーやコンピューターの公開IPv4です。プロキシIPを登録するのではないのでご注意ください。自社の公開IPはダッシュボードのIP認証欄で直接確認・追加できます。

プロキシリストをツールに読み込む際のコツはありますか？

• アカウント運営ツールではCSVを受け取り、アカウントとIPを一つの表でペアリングしておくと管理が楽になります。
• クローラーには http:// 形式を受け取り、リクエストごとに次のプロキシを使用するように設定します。
• アンチディテクトブラウザにはsocks5://形式を受け取り、プロファイルごとに1行ずつ設定します。
• 国別に作業を分ける場合は、国フィルターをかけて国ごとにファイルを別々に受け取ります。
• 新しいプランを購入すると、同じAPIアドレスに新しいIPが追加されるので、作業を開始するたびにリストを再取得してください。

プロキシリストにはどのような情報が含まれていますか？

1行にはIP、HTTPポート、SOCKS5ポート、ユーザー名、パスワードが含まれ、CSVとJSONには国コードと都市、プラン有効期限も含まれます。IPを選べる国数: データセンター47、ISP19。

全てのIPはIPv4で、プラン期間中同じIPが維持されます。一度取得したリストは期間終了までそのまま使用可能です。

JSONリストの各項目にはプランの種類も含まれているため、共有・プライベート・専用IPをプログラム内で異なる扱いができます。例えば、専用IPはアカウントログインに、共有IPは公開ページの収集にのみ使用するように分けることができます。

リストを一度取得して長期間使うツールの場合、プランの有効期限が切れた行は接続されないので、新しいリストに置き換えてください。APIで取得する方式はこのような整理が不要です。

プロキシリストファイルは安全にどのように保管しますか？

ユーザー名とパスワードを含むリストファイルはアカウント情報と同じです。公開リポジトリや複数人が見るチャットにそのままアップロードせず、サーバーの設定フォルダやシークレット管理ツールに保管することをおすすめします。

コードリポジトリにProxy情報を残す必要があるなら、IP認証を有効にしてip:port形式で受け取ってください。パスワードがないので、ファイルが外部に見えても登録したサーバーでなければ接続できません。

APIキーも同じ方法で扱ってください。キーが漏れたと思われる場合は、ダッシュボードで新しいキーを作成すると、以前のキーはすぐにブロックされます。

リストを取得後、接続を確認するにはどうすればいいですか？

最も簡単な方法は、リストの各行でIP確認アドレスにリクエストを送ることです。応答で返ってきたIPがその行のIPと同じであれば接続は正常です。以下のcURLループのように短いスクリプトで数百個を数分で確認できます。

確認時は同時に多くの接続を開かないでください。共有プランの場合は、500同時接続以内で分散して確認してください。接続できない行がある場合は、HTTPポートとSOCKS5ポートを入れ替えていないか、認証方式が正しいかまず確認してください。

while read p; do
  echo "$p $(curl -s -m 15 -x "$p" https://api.ipify.org)"
done < proxies.txt

プロキシリストを受け取るには何を購入すればいいですか？

リストダウンロードとAPIは全プランに含まれます。共有データセンターは100IPから、1IP月額開始単価$0.0179、ISPとプライベート、専用プランも同様にリストを取得できます。

アカウントトークンで登録し、残高をチャージした後プランを購入すると、リストがすぐに作成されます。最低チャージ金額: $30。

複数の種類のプランを一緒に購入してもリストは1箇所にまとまります。共有データセンターリストと専用ISPリストを別々に受け取りたい場合はプランフィルターをかけてダウンロードし、全体を1ファイルで受け取りたい場合はフィルターなしでダウンロードすればいいです。