【スマートモード】スクレイピングタスクを配置する方法 | Webクローラ | ScrapeStorm

スマートモードでは、Webデータを自動的に識別できます。 識別が完了すると、ユーザーは[起動]をクリックして、タスクバーを起動してタスクを構成できます。

特定の設定には、スケジュール、アンチブロック、自動エクスポート、画像のダウンロード、アクセルエンジン、重複排除が含まれます。次の図に示すように、ご参照ください。

1.スゲジュール

スケジュールの詳細については、下記のチュートリアルをご参照ください。

スケジュール機能とは

2.アンチブロック

(1)IPローテーション

ターゲットWebサイトで追跡およびブロックされる可能性を最小限に抑えながら、さまざまなIPを転換することでターゲットWebサイトでスクレイピングが実行できます。また、IPプールが常に更新されています。

(2)自動&手動

ScrapeStormにはユーザーさんによって、自動モードと手動モードを提供します。通常、自動モードをお進めしますが、経験があるユーザーさんも手動的に設定できます。具体的な説明と注意点は下記のようにご参照ください。

①遅延(秒)

一部のページは開くのが遅くになり、抽出の効果に影響します。 待機時間を設定すると、抽出の品質を効果的に改善できます。ScrapeStormのデフォルトの待機時間は1秒で、ユーザーさんは要件に応じて変更できます。

②ログインプロンプトが検出する

コンテンツを表示するためにログインする必要があるWebページが表示された場合、ログインプロンプトが検出して、事前ログインできます。

③可視化要素のみを抽出する

一部のWebサイトでは、有効なデータと無効なデータが混在し、無効なデータは非表示データです。 このオプションをオンにすると、問題が解決します。

P.S. ウェブサイトが上記のスクレイピング対策を使用していない場合、隠された有効なデータはスクレイピングされない可能性があります。慎重に使用してください。

④ページ情報を一つずつ読み込みます

一部のWebサイトのページ情報は、表示する位置までページにスクロールする必要があります。 ページ情報をダウンロードするオプションをチェックします。

P.S.このオプションをオンにすると、スクレイプ速度に影響します。 慎重に使用してください。

⑤ブラウザを定期的に切り替える

定期的に切り替えブラウザのバージョンを設定することにより、アンチブロッキング効果を達成でき、切り替えサイクルを自由に選択してブラウザのバージョンを切り替えることができます。

⑥クッキーを定期的に消去する

Cookieを定期的にクリアすることを設定して、ブロッキング防止効果を実現でき、Cookieをクリアするサイクルを自由に選択できます。

3.自動エクスポート

自動エクスポートの詳細については、下記のチュートリアルをご参照ください。

自動エクスポートを設定する方法

4.画像のダウンロード

画像のダウンロードの詳細については、下記のチュートリアルをご参照ください。

画像をダウンロードする方法

5.アクセルエンジン

アクセルエンジンの詳細については、下記のチュートリアルをご参照ください。

アクセルエンジンの使い方

6.重複排除

同じデータ、重複データを消去します。

7.開発者設定

ScrapeStormはWebhook機能を提供します。データをHTTPアドレスに配布できます。

詳細は下記のチュートリアルにご参照ください。

Webhookの使い方