ダウンロードと新規登録
無料で$5のクーポンをゲット
日本語
入門ガイド 特徴紹介 スクレイピング事例

【スマートモード】URLを正しく入力する方法

2019-10-25 14:06:56
3332 views

摘要:本文には、SrapeStormで正しいURLを入力する方法を紹介しますプレミアムプラン必要なし、使いやすいです。 ScrapeStorm無料ダウンロード

スマートモードでは、新しいタスクを作成するときに、URLが正しく入力されているかどうかが最終的な抽出結果にとって重要です。

本文には、誰でも必要なデータを抽出できるように、URLを正しく入力する方法えを紹介します。

1. URLを入力する場所:

(1) ソフトウェアのホムページ:入力できるURLは1つだけです。

(2)スマートモードタスクを新規作成して、URLを入力する画面を開き:

スマートモードには、複数のURLを入力ことができ、またはローカルからインポートすることができます(現在、TXT形式のファイルのみがサポートされており、残りのファイル形式は開発中です)。

URLを入力する時、下記の条件を満たすかどうかを確認してください。

ⅰ.すべてのWebページは同じWebサイトに属します;

ⅱ.複数のURLを入力する時、Enterキーで区切って、1行に1つのURLのみが存在するようにします;
ⅲ.すべてのWebページは、リストタイプページや詳細ページなど、同じタイプに属します。

P.S. Webサイトが異なる時、またはページタイプが異なる時、異なるスクレイピングタスクを作成してください。

 

(3)開いたスマートモードの画面に:

URLを編集できますが、 200を超える場合は、ローカルファイルを直接変更してください。

P.S.ローカルファイルからURLをインポートする場合、ここでの変更はローカルファイルには影響しません。

編集後のURLの形式は、上記のセクション(2)の要件を満たす必要があります。

2.入力するURLのソース:

スマートモードでは、ScrapeStormは自動的に次のページに行くことができますが、テキストの入力や検索などの操作は事前操作が必要です。事前操作とは、簡易されたフローチャートモードです。簡単な操作ができますが、確認コードやループなど複雑な操作にはフローチャートモードを使用してください。

したがって、入力URLは、検索操作を完了したページであり、最終的にスクレイピングする必要があるコンテンツ(またはスクレイピングする必要がある連続したページの最初のページ)を示す必要があります。

たとえば、単一のURL抽出、Goodreadsで「The Kite Runner」を検索し、対応するページを開き、URLをコピーします。

 

たとえば、単一のURL抽出、Amazonで「mac pro」を検索した後、検索結果リストページを取得し、最初のページのURLをコピーします。

たとえば、マルチURL抽出、yelpで「レストラン」と「バー」を検索し、URLを個別にコピーします。