【スマートモード】【フローチャートモード】IPローテーションを設定する方法 | Webクローラ | ScrapeStorm
摘要:本文では、IPローテーションの設定方法を紹介します。プライミング必要なし、使いやすいです。 ScrapeStorm無料ダウンロード
Webページデータをスクレイピングに、WebサイトによってIPがブロックされる状況があります。この時点で、「IPローテーション」を有効にしてIPを切り替えることができます。
以下に示すように、この機能は実行設定で設定されます。
ScrapeStormは現在、Bright Data ZoneとカスタムIPの2つのIPタイプをサポートしています。
Bright Data Zoneを選択した場合は、次のチュートリアルを参照ください。
カスタムIPを選択した場合、「セットアップ」をクリックしてください。
IPは、設定した条件に従って自動的に切り替わります。 2つの切り替え条件があります。
(1)間隔:proxyプロキシを1分ごと、3分ごと、または5分ごとに切り替えるように設定できます。
注:時間による切り替えは、タイムアップ時にIPが切り替わることを意味するものではありません。Webページの操作(Webページを開く、ボタンをクリックするなど)には読み込みが必要だからです。 前のページに戻る、次のページに行くなど、Webページをロードしてデータを表示する必要があります。設定された時間間隔に達した場合、IPを切り替えると現在のページコンテンツが変更されるため、この時点ではプロキシIPは使用されません。したがって、設定された切り替え時間に達しても、次のページ操作を待機する必要があります。
(2)ページにテキストが表示されば、切り替え条件としてテキストを入力できます。
以下に示すように、切り替え条件を「この画像に表示される文字を入力」に設定すると、対応するテキストがページに表示されるとプロキシが切り替えられます。
テキストを切り替える条件が複数ある場合は、||を使用してください たとえば、A || B || Cに分割します。これは、AまたはBまたはCが表示されたときにプロキシが切り替えられることを意味します。
注:このオプションに切り替え条件を設定すると、テキストが完全に一致した場合にのみIPが切り替えられます。 テキストが変更された場合、起動しません。ページ内のスパイダー対策は、テキストではなく画像である場合があります。 この場合、このオプションは適切ではありません。
2つのオプションの間に長所または短所はありません。 コストパフォ—マンス達成するには、Webサイトの特性に従ってデバッグする必要があります。
よくある質問:
1.プロキシIPを購入できないのはなぜですか?
IPローテーションは高級機能であり、ライトプランとそれ以上のプランのみ利用可能です。
2.購入したプロキシIPはいつまで使用できますか?
プロキシIPは、設定された条件に従って使用されます。 条件が異なり、消費される速度が異なります。
3.月間購入にプロキシIPを使用できますか?
すみませんが、今は実現できません。
4.プロキシIPは現在のタスクまたはすべてのタスクに適切しますか?
各タスクは独立しており、現在のタスクによって設定されたプロキシIPは現在のタスクに対してのみ使用します。
5.プロキシIPを切り替えると、ScrapeStormは確認コードを自動的に検出してプロンプトします。
IPローテーションの目的の1つは、確認コードの操作を必要としないことです。
スクレイピング中に確認コードが表示される場合は、確認コードページのテキストを切り替え条件として使用することをお勧めします。
プロキシIPの切り替え後に確認コードが再び表示される場合、ScrapeStormは確認コードが表示されなくなるまでプロキシIPを自動的に切り替えます。
したがって、初めて使用する場合は、テスト結果を観察し、フィードバックを提供することをお勧めします。
確認コードページが画像であり、使用可能なテキスト条件がない場合、切り替え条件として時間を使用する必要があります。
2つのプロキシスイッチの間で、確認コードが表示されると、ScrapeStormはタスクを自動的に一時停止して、プロンプトします。
次の切り替え時刻になったときにユーザーが操作していない場合、ScrapeStormはプロキシIPを切り替えて、スクレイピングタスクの実行を継続します。