ダウンロードと新規登録
無料で$5のクーポンをゲット
日本語
入門ガイド 特徴紹介

【スマートモード】【フローチャートモード】Webhookの使い方 | Webクローラ | ScrapeStorm

2021-04-29 16:13:01
1889 views

摘要:本文では、Webhook機能の使い方を紹介します。プライミング必要なし、使いやすいです。 ScrapeStorm無料ダウンロード

ScrapeStormはWebhookをサポートしています。 この機能を使用することにより、ScrapeStormはスクレイピングされたデータをHTTP / HTTPS URLにエクスポートできます。
この機能は、以下に示すように、実行設定で設定できます。

Webhook機能を使用すると、スクレイピングされたデータはJSON形式で送信されます。スクレイピングの終了時に、スクレイピングの終了のイベント通知が送信されます。

HTTPヘッダーは "Content-Type: application/json; charset=utf-8"です。

例:

{
    "task_id": 3920415, // タスクのID, 「全てのタスクを表示」でご確認ください。
    "task_name": "Scraping task name", // タスク名
    "type": "data", // このWebhookは収集されたデータを送信します。
    "urls": [ // スクレイピングタスクのエントリ
        "http://www.*****.com/list",
        "http://www.*****.com/list2"
    ],
    "sign": "**********************", // md5(webhook_token+timestamp)
    "timestamp": 1555326657, // 現在のタイムスタンプ
    "data_list": [ // データリスト
        {
            "_id": "0000000000001", // データ ID
            "data": {
                "title": "Landscape",
                "url": "http://www.*****.com/scenery/"
            } // Scrape data field content
        }
    ]
}

スクレイピング終了通知の送信例:

{
    "task_id": 3920415, // タスクのID, 「全てのタスクを表示」でご確認ください。
    "task_name": "Scraping task name", // タスク名
    "type": "finish", // このWebhookは収集されたデータを送信します。
    "urls": [ // スクレイピングタスクのエントリ
        "http://www.*****.com/list",
        "http://www.*****.com/list2"
    ],
    "sign": "**********************", // md5(webhook_token+timestamp)
    "timestamp": 1555326657 // 現在のタイムスタンプ
}
关闭