Webスクレイピングで株価指数を取得してみた - ScrapeStorm

目的

銘柄コードによって、毎日の株価指数のデータを取得し、株式市場を分析します。

※収集したデータを不正に利用しないため、ご参考まで。

※サーバ過負荷にならないよう、アクセス間隔をある程度空けている。

スクレイピングツールの概要

ScrapeStormには人工知能に基づき、Webスクレイピングツールです。プログラミングが必要なく、ほとんどのWebサイトからデータをスクレイピングします。強い機能を持つ、使いやすいです。URLを入力するだけで、自動的にWebサイト内容と次のページボタンを識別できます。1-ClickでWebサイトからデータを自動的に抽出します。

抽出されたデータは下記のようにご覧ください。

1.タスクを新規作成する

今回はURLジェネレーター機能を利用して、各銘柄コードの詳細情報ページから株式情報を取得します。

(1)URLをコピーする

任意の銘柄コードを入力して、その検索結果ページのURLをコピーしてください。

(2)URLを生成する

URLジェネレーターでURLを入力して、パラメーターを追加画面にファイルから読み込むを選んでください。生成したURLはプレビュー画面でチェックしてください。

2.タスクを構成する

(1)事前操作機能

株主優待、売買単位などの情報の収得には、事前操作機能を利用してください。右上の緑色ボタンをクリックして、事前操作画面を開けます。

注意：株価指標画面を開くには、二つの「クリック」コンポーネントを追加してください。

(2)ページタイプ

今回生成したURLは全部詳細ページのURLですから、ページタイプを「詳細ページ」に変更します。また、ページングには「必要なし」に変更してください。

(3)フィールドの追加と編集

フィールドの追加をクリックして、株主優待を選択すると、情報がソフトウェアの表に追加します。また、必要に応じてフィールドの名前の変更または削除、結合できます。

抽出されたフィールドを配置する方法

3.タスクの設定と起動

(1)起動の設定

ソフトウェアは数多くの機能を提供します。タスクを毎日定時的に起動するために、スケジュール機能を利用してください。

スクレイピングタスクを配置する方法

(2)しばらくすると、実行画面にデータのスクレイピングが見えます。

4.抽出されたデータのエクスポートと表示

(1)エクスポートをクリックして、データをダウンロードします。

(2)必要に応じてエクスポートする形式を選択します。

ScrapeStormは、Excel、csv、html、txt、データベース、ローカルなどさまざまなエクスポート方法を提供します。ライトプラン以上のユーザーは、WordPressに直接投稿することもできます。

抽出されたデータのエクスポート方法