ダウンロードと新規登録
無料で$5のクーポンをゲット
入門ガイド 特徴紹介

【スマートモード】【フローチャートモード】Webhookの使い方 | Webクローラ | ScrapeStorm

2023-03-18 11:50:17
3275 ビュー

摘要:本文では、Webhook機能の使い方を紹介します。プライミング必要なし、使いやすいです。 ScrapeStorm無料ダウンロード

ScrapeStormはWebhookをサポートしています。 この機能を使用することにより、ScrapeStormはスクレイピングされたデータをリアルタイムでHTTPアドレスにエクスポートできます。Webhook受信側のコードはユーザー自身で開発する必要があります。

「設定を実行する」でWebhookを設定できます。下記画像のようにご覧ください。

Webhook機能を使用すると、スクレイピングされたデータはJSON形式で送信されます。スクレイピングを終了する時に、スクレイピング終了のイベント通知が送信されます。

Webhook は、HTTP POST の形式でユーザーの HTTP アドレスにデータを送信します。

HTTPヘッダー"Content-Type: application/json; charset=utf-8"です。

Webhook TokenTimestamp を使用した md5 計算の結果は、JSON データの「sign」署名で検証され、データが正当であるかどうかを検証できます。

データ送信の例:

{
    "task_id": 3920415,                // タスクのID, 「全てのタスクを表示」でご確認ください。
    "task_name": "Scraping task name", // タスク名
    "type": "data",                    // このWebhookは収集されたデータを送信します。
    "urls": [                          // スクレイピングタスクのエントリ
        "http://www.*****.com/list",
        "http://www.*****.com/list2"
    ],
    "sign": "**********************", // md5(webhook_token+timestamp)
    "timestamp": 1555326657,          // 現在のタイムスタンプ
    "data_list": [                    // データリスト
        {
            "_id": "0000000000001",   // データ ID
            "data": {
                "title": "風景",
                "url": "http://www.*****.com/scenery/"
            }                         // データフィールドの内容
        },
    {
      "_id": "0000000000002",  // データ ID
      "data": {
        "title": "風景2",
        "url": "http://www.*****.com/scenery2/"
      }             // データフィールドの内容
    }
  ]
}

スクレイピング終了通知の送信例:

{
    "task_id": 3920415,                // タスクのID, 「全てのタスクを表示」でご確認ください。
    "task_name": "Scraping task name", // タスク名
    "type": "finish",                  // このWebhookは収集されたデータを送信します。
    "urls": [                          // スクレイピングタスクのエントリ
        "http://www.*****.com/list",
        "http://www.*****.com/list2"
    ],
    "sign": "**********************",  // md5(webhook_token+timestamp)
    "timestamp": 1555326657            // 現在のタイムスタンプ
}
pythonスクレイピング phpスクレイピング データを自動的にExcelに整理する Pythonデータスクレイピング 画像の一括ダウンロード 動画の一括ダウンロード バッチで URL を生成する レギュラーマッチメール ウェブページをwordにダウンロードする ウェブコンテンツのキーワードを抽出
关闭