【スマートモード】【フローチャートモード】URLジェネレータの使い方 | Webクローラ | ScrapeStorm

ScrapeStormのURLジェネレータは、特定のルールを設定することで必要なURLのバッチ自動的に生成できます。

次の図に示すように、スマートモードとフローチャートモードの設定は同じです。

URLジェネレーターは通常、複数URLのスクレイピングタスクに使用されます。下記のように二つの状況があります。

1.ページに「次のページ」ボタンはありません。

この場合、「次のページ」ボタンをクリックしてスクレイプすることはできません。通常、このようなWebサイトにはページ番号など、いくつかの異なるパラメーターしかありません。したがって、URLジェネレーターを使用して、すべてのページのURLを一度に生成し、複数のURLでそれらを情報収集できます。

2.特定のルールに準拠する複数のURLを取得する必要がある場合は、URLジェネレーターを使用して、手動で入力することなくURLを生成できます。

一般的に、URLの基本構造は次のとおりです。

固定的なURL +変更できるパラメーター+固定的なURL

公式サイトのチュートリアルを例として、URLの例は次のとおりです。

https://jp.scrapestorm.com/?type=tutorial&cat_id=45_(number)

https://jp.scrapestorm.com/?type=tutorial&cat_id=46_(number)

https://jp.scrapestorm.com/?type=tutorial&cat_id=47_(number)

……

https://jp.scrapestorm.com/?type=tutorial&cat_id=100_(number)

赤い部品番号を除き、URLは同じであることがわかります。

1:固定的なURLの最初の部分を入力します。

https://jp.scrapestorm.com/?type=tutorial&cat_id=

2:「パラメータの追加」をクリックします

3:最初のパラメータを設定し、パラメータタイプを数値に設定します。次に、開始値、終了値、ステップなどのパラメーターを構成します。

4:「パラメータの追加」をクリックし、2番目のパラメーターを追加し、パラメーターの種類をカスタマイズするように設定し、固定URLの後半をそれに貼り付けます。つまり、_(number)

URLプレビューで結果を確認できます。

P.S. 本文では、番号の追加を例として説明します。 ScrapeStormには、英字と時刻のパラメーター追加もできます。