一、機能の簡単紹介

ScrapeStorm は、データをスクレイピングしながらWebページからファイルをダウンロードすることをサポートしています。サポートされているファイル形式には、画像、音声、ビデオ、ドキュメント、その他の形式が含まれます。下記画像のように起動ボタンをクリックして、タスクの設定画面にファイルのダウンロードができます。

注意：ここはただファイルのダウンロード機能の設定を紹介するだけで、ファイルをダウンロードするについて、フィールドに対応するダウンロードリンクまたはダウンロードボタンを設定する必要があります。

下記画像のようにファイルの保存パスを変更できます。

また、新たなフォルダを新規作成できます。ファイルのタイプ、スクレイピングの日付、タスク名とフィールド名に従って新規フォルダの名前を変更できます。

ソフトウェアはダウンロードされたファイルのファイル名を変更できます。下記画像のように、ダウンロードされたファイル名の変更は、元のファイル名、ファイルのMD5値、タスク名_番号、スクレイピング日付_番号、番号、フィールド名に従って、或はカスタマイズできます。

二、ファイルのダウンロードを設定する方法

ファイルのダウンロードには三つの方法があります。

① 直接ダウンロードリンクをクリックする。

② ダウンロードボタンをクリックする。

③ データ編集でダウンロードリンクを生成する。

各ファイルのダウンロードの設定は同じ、必要に応じて、選択肢をチェックしてください。これから画像のダウンロードを例として、この三つの方法を紹介します。

1. 直接ダウンロードリンクをクリックする。

画像には、jpg、png、gif、jpeg、bmp、eps、psdなどのフォーマットが提供します。下記のようにオプションをチェックしてください。

(1)リストページの画像のダウンロード

①「フィールドを追加」ボタンをクリックして、ページ内の画像を選択してください。

②生成したフィールドを右クリックして、画像/ビデオ/オーディオのURLを選択してください。

下記GIFのようにご参照ください。

もしダウンロードされた画像が完全ではないか、或は画像はすごく小さくなるか、ダウンロードされた画像が全く開けないか、これは画像のローディングが不完全になり、アンチブロックに遅延時間を設定してください。

(2)詳細ページの画像のダウンロード

もしクリックだけで、全ての目標要素を選択できるなら、下記のように設定してください。

①「フィールドの追加」をクリック、目標要素を選択してください。選択されたのは全ての画像を含めるのがご確認ください。

②フィールドを右クリックして、「外部HTML」を選択してください。

もしクリックで目標要素を選択できないなら、下記のように設定してください。

①最も画像が多いの詳細ページを選択、一つずつ画像をフィールド追加してください。

②フィールドを右クリックして、「画像などのリンク」を選択してください。

もし以上の方法でまた抽出できないなら、下記の手順をご参照ください。

①フィールドの追加をクリックして、右クリック「Xpathの編集」を選択、Xpathで全ての画像を選択してください。

②フィールドを右クリックして、「外部HTML」を選択してください。

補充：スクロールローディングが必要の場合、下記のように設定してください。

スマートモード：事前操作機能を利用して、スクロールコンポを生成します。

フローチャートモード：データ抽出コンポの前にスクロールコンポを追加します。

2. ダウンロードボタンをクリックする。

方法二について、すべてのダウンロードの設定は同じです。

①フィールドの追加をクリック、ページ内のダウンロードボタンを選択してください。

②フィールドを右クリックして、「抽出タイプ」の「ダウンロードボタン」を選択してください。

タスクを起動する時に、必要なファイルのダウンロードをチェックしてください。

3. データ編集でダウンロードリンクを生成する。

方法三の手順は大分方法一に同じ、違うのは抽出されたフィールドの修正です。抽出されたフィールドを右クリックして、データ修正を選択してください。出できたプロンプトでの設定は下記のようにご覧ください。