ダウンロードと新規登録
無料で$5のクーポンをゲット
日本語
入門ガイド 特徴紹介

【スマートモード】【フローチャートモード】URLジェネレータの使い方 | Webクローラ | ScrapeStorm

2019-09-25 10:54:09
2878 views

摘要:本文では、ScrapeStormのURLジェネレータの使い方を紹介します。プライミング必要なし、使いやすいです。 ScrapeStorm無料ダウンロード

ScrapeStormのURLジェネレータは、特定のルールを設定することで必要なURLのバッチ自動的に生成できます。

次の図に示すように、スマートモードとフローチャートモードの設定は同じです。

URLジェネレーターは通常、複数URLのスクレイピングタスクに使用されます。下記のように二つの状況があります。

1.ページに「次のページ」ボタンはありません。

この場合、「次のページ」ボタンをクリックしてスクレイプすることはできません。通常、このようなWebサイトにはページ番号など、いくつかの異なるパラメーターしかありません。したがって、URLジェネレーターを使用して、すべてのページのURLを一度に生成し、複数のURLでそれらを情報収集できます。

2.特定のルールに準拠する複数のURLを取得する必要がある場合は、URLジェネレーターを使用して、手動で入力することなくURLを生成できます。

一般的に、URLの基本構造は次のとおりです。

固定的なURL +変更できるパラメーター+固定的なURL

Wikipediaを例として、URLの例は次のとおりです。

https://en.wikipedia.org/wiki/100_(number)

https://en.wikipedia.org/wiki/101_(number)

https://en.wikipedia.org/wiki/102_(number)

……

https://en.wikipedia.org/wiki/110_(number)

赤い部品番号を除き、URLは同じであることがわかります。

……

次に、URL Generatorの使用方法を紹介します。

1:固定的なURLの最初の部分を入力します。

https://en.wikipedia.org/wiki/

2:「パラメータの追加」をクリックします

3:最初のパラメータを設定し、パラメータタイプを数値に設定します。次に、開始値、終了値、ステップなどのパラメーターを構成します。

4:「パラメータの追加」をクリックし、2番目のパラメーターを追加し、パラメーターの種類をカスタマイズするように設定し、固定URLの後半をそれに貼り付けます。つまり、_(number)

URLプレビューで結果を確認できます。

P.S. 本文では、番号の追加を例として説明します。 ScrapeStormには、英字と時刻のパラメーター追加もできます。 設定については、この記事を参照してください。