Menjalankan crawling massal dengan stabil menggunakan proxy web scraping

Mengapa proxy diperlukan untuk web scraping?

Web scraping adalah proses membaca halaman publik situs dengan program untuk mengumpulkan informasi yang dibutuhkan. Jika satu IP mengirim terlalu banyak permintaan dalam waktu singkat, situs target akan memperlambat koneksi, menampilkan halaman verifikasi CAPTCHA, atau memblokir sementara. Dengan proxy, permintaan dapat dibagi ke beberapa IP sehingga jumlah permintaan per IP bisa dikurangi ke tingkat yang wajar seperti pengguna manusia.

Harga produk, hasil pencarian, dan informasi peta bisa berbeda per negara, jadi akses dengan IP negara tersebut untuk mendapatkan nilai akurat. Socks5Proxy menyediakan IP datacenter dan ISP dari berbagai negara, memungkinkan mengumpulkan hasil dari banyak negara dengan crawler yang sama.

Proxy juga merupakan alat untuk meningkatkan kecepatan pengumpulan. Membagi permintaan ke beberapa IP memungkinkan lebih banyak koneksi simultan, sehingga jumlah halaman yang sama dapat diselesaikan dalam waktu lebih singkat.

Produk proxy apa yang cocok untuk scraping?

Sebagian besar crawling paling ekonomis dimulai dengan shared data center proxy. Meskipun satu IP digunakan bersama oleh hingga 3 orang, harga per IP rendah, dan diskon semakin besar dengan paket yang lebih besar, sehingga cocok untuk membagi permintaan dengan ribuan IP. Bandwidth 1TB per bulan dan 500 koneksi simultan sudah cukup untuk pengumpulan HTML biasa.

Jika situs target memblokir rentang data center secara ketat, shared ISP proxy adalah pilihan yang baik. IP yang terdaftar di perusahaan internet terlihat seperti pengguna rumahan biasa dan dioperasikan dari data center sehingga kecepatannya juga cepat.

Jika Anda perlu mengumpulkan halaman yang memerlukan login atau mempertahankan sesi yang sama dalam waktu lama, pilih private atau dedicated proxy. Karena tidak tercampur dengan permintaan pengguna lain, kemungkinan sesi terputus akan berkurang.

Bagaimana cara merotasi IP dengan baik?

IP Socks5Proxy tetap selama masa paket, sehingga rotasi harus diatur langsung di crawler. Cara termudah adalah dengan membaca daftar yang diunduh sebagai array dan memilih IP berikutnya untuk setiap permintaan. Jika permintaan gagal, istirahatkan IP tersebut sebentar dan coba lagi dengan IP lain.

Untuk domain yang sama, penting untuk menentukan interval permintaan per IP. Misalnya, jika Anda mengumpulkan satu situs dengan 1.000 IP, Anda dapat membaca 100 halaman per detik dengan hanya meminta sekali setiap 10 detik per IP. Dengan menambah jumlah IP, Anda dapat meningkatkan kecepatan keseluruhan tanpa membebani satu IP.

Untuk sesi yang diperlukan, sebaliknya Anda perlu menggunakan IP yang sama selama satu unit pekerjaan. Alur yang membutuhkan kelanjutan cookie seperti keranjang belanja atau penelusuran halaman harus diikat ke satu IP per pekerjaan, lalu beralih ke IP berikutnya setelah selesai.

• Ganti IP setiap permintaan: pengumpulan massal halaman detail publik
• Tetapkan IP per tugas: Membalik halaman, mengumpulkan setelah login
• Istirahatkan IP yang gagal selama 5-10 menit sebelum digunakan kembali
• Atur interval permintaan per IP untuk setiap domain

Seberapa cepat sebaiknya mengirim permintaan?

Setiap situs target memiliki batas kecepatan yang berbeda-beda, jadi lebih aman untuk memulai dengan kecepatan rendah dan meningkatkannya secara bertahap. Mulailah dengan beberapa permintaan per menit per IP, catat kode respons dan waktu respons, lalu sesuaikan sedikit di bawah titik di mana tingkat kesalahan mulai meningkat.

Jika kode respons 429 atau 403 semakin banyak, itu pertanda untuk mengurangi kecepatan atau menambah jumlah IP. Periksa juga apakah ada halaman verifikasi yang tercampur dalam respons. Terkadang kode status 200 tapi kontennya berbeda, jadi menambahkan langkah pemeriksaan elemen yang diharapkan dalam halaman yang dikumpulkan akan meningkatkan kualitas data.

Header juga penting. Gunakan User-Agent dan Accept-Language yang mirip dengan browser nyata, dan saat menggunakan IP negara tertentu, sesuaikan juga header bahasa dengan negara tersebut agar hasilnya lebih alami.

Menggunakan SOCKS5 atau HTTP untuk terhubung?

Jika hanya mengumpulkan halaman web, proxy HTTP sudah cukup dan pengaturannya paling sederhana. Situs HTTPS juga dikirim dalam bentuk terenkripsi dengan metode CONNECT.

SOCKS5 dapat meneruskan koneksi non-HTTP dan memungkinkan resolusi nama domain dilakukan oleh proxy, sehingga informasi DNS server Anda tidak terlihat oleh situs target. Di Python gunakan socks5h, di cURL gunakan --socks5-hostname agar proxy yang melakukan resolusi domain.

Socks5Proxy menyediakan port HTTP dan SOCKS5 terpisah untuk setiap proxy, memungkinkan penggunaan IP yang sama dengan kedua cara.

Bagaimana menghubungkan daftar proxy ke crawler?

Di layar proxy saya di dashboard, unduh daftar dalam format yang diinginkan atau dapatkan daftar melalui API untuk dibaca oleh crawler saat dimulai. Anda bisa memilih format seperti ip:port:user:pass, user:pass@ip:port, socks5://user:pass@ip:port, http://user:pass@ip:port, CSV, dll.

Jika server memiliki IP tetap, otorisasi IP lebih praktis. Daftarkan hingga 10 IPv4 server di dashboard untuk mengakses hanya dengan ip:port tanpa username dan password. Tidak perlu menyimpan password di kode, memudahkan penerapan pengaturan yang sama di beberapa server.

Metode koneksi untuk Python requests, Scrapy, Node.js, dan cURL telah dirangkum dengan kode aktual di halaman panduan.

Bagaimana menghitung biaya scraping?

Jumlah IP yang diperlukan tergantung pada tampilan halaman harian dan permintaan per IP. Untuk 1.000.000 halaman harian yang didistribusikan pada ≤1.000 permintaan per IP sehari, Anda akan membutuhkan 1.000 IP. Paket pusat data bersama menawarkan diskon yang meningkat dengan jumlah IP yang lebih besar, hingga maksimum 40%.

Untuk operasi jangka panjang, pembayaran tahunan bisa menghemat 30%. Pembayaran dipotong dari saldo yang sudah diisi, dan pengisian saldo $100 atau lebih akan mendapatkan bonus sehingga saldo yang bisa digunakan bertambah.

Apa yang harus diperhatikan untuk scraping yang bertanggung jawab?

Harap hanya mengumpulkan informasi yang dipublikasikan dan patuhi syarat dan ketentuan situs target, aturan robots, serta hukum privasi di setiap negara. Kirim permintaan dengan kecepatan yang tidak membebani server, dan gunakan cache untuk menghindari membaca halaman yang sama secara tidak perlu.

Pengumpulan data yang sah adalah dasar dari banyak layanan seperti perbandingan harga, penelitian, analisis pasar, dan operasi mesin pencari. Dengan mengikuti aturan, kumpulan IP tetap bersih dan memberikan hasil yang baik bagi semua pengguna.