【スマートモード】【フローチャートモード】Webhookの使い方 | Webクローラ | ScrapeStorm

ScrapeStormはWebhookをサポートしています。 この機能を使用することにより、ScrapeStormはスクレイピングされたデータをリアルタイムでHTTPアドレスにエクスポートできます。Webhook受信側のコードはユーザー自身で開発する必要があります。

「設定を実行する」でWebhookを設定できます。下記画像のようにご覧ください。

Webhook機能を使用すると、スクレイピングされたデータはJSON形式で送信されます。スクレイピングを終了する時に、スクレイピング終了のイベント通知が送信されます。

Webhook は、HTTP POST の形式でユーザーの HTTP アドレスにデータを送信します。

HTTPヘッダーは "Content-Type: application/json; charset=utf-8"です。

Webhook Token と Timestamp を使用した md5 計算の結果は、JSON データの「sign」署名で検証され、データが正当であるかどうかを検証できます。

データ送信の例：

{
    "task_id": 3920415,                // タスクのID, 「全てのタスクを表示」でご確認ください。
    "task_name": "Scraping task name", // タスク名
    "type": "data",                    // このWebhookは収集されたデータを送信します。
    "urls": [                          // スクレイピングタスクのエントリ
        "http://www.*****.com/list",
        "http://www.*****.com/list2"
    ],
    "sign": "**********************", // md5(webhook_token+timestamp)
    "timestamp": 1555326657,          // 現在のタイムスタンプ
    "data_list": [                    // データリスト
        {
            "_id": "0000000000001",   // データ ID
            "data": {
                "title": "風景",
                "url": "http://www.*****.com/scenery/"
            }                         // データフィールドの内容
        },
　　　　{
　　　　　　"_id": "0000000000002", 　// データ ID
　　　　　　"data": {
　　　　　　　　"title": "風景2",
　　　　　　　　"url": "http://www.*****.com/scenery2/"
　　　　　　}　　　　　　　　　　　　 // データフィールドの内容
　　　　}
　　]
}

スクレイピング終了通知の送信例：

{
    "task_id": 3920415,                // タスクのID, 「全てのタスクを表示」でご確認ください。
    "task_name": "Scraping task name", // タスク名
    "type": "finish",                  // このWebhookは収集されたデータを送信します。
    "urls": [                          // スクレイピングタスクのエントリ
        "http://www.*****.com/list",
        "http://www.*****.com/list2"
    ],
    "sign": "**********************",  // md5(webhook_token+timestamp)
    "timestamp": 1555326657            // 現在のタイムスタンプ
}