【スマートモード】【フローチャートモード】IPローテーションを設定する方法 | Webクローラ | ScrapeStorm

Webページデータをスクレイピングに、WebサイトによってIPがブロックされる状況があります。この時点で、「IPローテーション」を有効にしてIPを切り替えることができます。

以下に示すように、この機能は実行設定で設定されます。

ScrapeStormは現在、Bright Data ZoneとカスタムIPの2つのIPタイプをサポートしています。

Bright Data Zoneを選択した場合は、次のチュートリアルを参照ください。

Bright Data Zone を設定する方法

カスタムIPを選択した場合、「セットアップ」をクリックしてください。

IPは、設定した条件に従って自動的に切り替わります。 2つの切り替え条件があります。

(1)間隔：proxyプロキシを1分ごと、3分ごと、または5分ごとに切り替えるように設定できます。

注：時間による切り替えは、タイムアップ時にIPが切り替わることを意味するものではありません。Webページの操作（Webページを開く、ボタンをクリックするなど）には読み込みが必要だからです。 前のページに戻る、次のページに行くなど、Webページをロードしてデータを表示する必要があります。設定された時間間隔に達した場合、IPを切り替えると現在のページコンテンツが変更されるため、この時点ではプロキシIPは使用されません。したがって、設定された切り替え時間に達しても、次のページ操作を待機する必要があります。

(2)ページにテキストが表示されば、切り替え条件としてテキストを入力できます。

以下に示すように、切り替え条件を「この画像に表示される文字を入力」に設定すると、対応するテキストがページに表示されるとプロキシが切り替えられます。

テキストを切り替える条件が複数ある場合は、||を使用してください たとえば、A || B || Cに分割します。これは、AまたはBまたはCが表示されたときにプロキシが切り替えられることを意味します。

注：このオプションに切り替え条件を設定すると、テキストが完全に一致した場合にのみIPが切り替えられます。 テキストが変更された場合、起動しません。ページ内のスパイダー対策は、テキストではなく画像である場合があります。 この場合、このオプションは適切ではありません。

2つのオプションの間に長所または短所はありません。 コストパフォ—マンス達成するには、Webサイトの特性に従ってデバッグする必要があります。

 

よくある質問：

1.プロキシIPを購入できないのはなぜですか？

IPローテーションは高級機能であり、ライトプランとそれ以上のプランのみ利用可能です。

2.購入したプロキシIPはいつまで使用できますか？

プロキシIPは、設定された条件に従って使用されます。 条件が異なり、消費される速度が異なります。

3.月間購入にプロキシIPを使用できますか？

すみませんが、今は実現できません。

4.プロキシIPは現在のタスクまたはすべてのタスクに適切しますか？

各タスクは独立しており、現在のタスクによって設定されたプロキシIPは現在のタスクに対してのみ使用します。

5.プロキシIPを切り替えると、ScrapeStormは確認コードを自動的に検出してプロンプトします。

IPローテーションの目的の1つは、確認コードの操作を必要としないことです。
スクレイピング中に確認コードが表示される場合は、確認コードページのテキストを切り替え条件として使用することをお勧めします。

プロキシIPの切り替え後に確認コードが再び表示される場合、ScrapeStormは確認コードが表示されなくなるまでプロキシIPを自動的に切り替えます。

したがって、初めて使用する場合は、テスト結果を観察し、フィードバックを提供することをお勧めします。

確認コードページが画像であり、使用可能なテキスト条件がない場合、切り替え条件として時間を使用する必要があります。
2つのプロキシスイッチの間で、確認コードが表示されると、ScrapeStormはタスクを自動的に一時停止して、プロンプトします。
次の切り替え時刻になったときにユーザーが操作していない場合、ScrapeStormはプロキシIPを切り替えて、スクレイピングタスクの実行を継続します。