【2022年更新】スクレイピングは違法?スクレイピングの注意点と対策 - ScrapeStorm

スクレイピングとは？

Webスクレイピングは、インターネット全体から情報を収集するために使用されるさまざまな方法の用語です。スクレイピングはインターネット上の情報を収集して、取得した情報の加工ができます。より詳しくデータを抽出すると、より深いデータ分析を行います。

どんなときに使うのか？

ビッグデータ時代の到来に伴い、データ分析はますます人々に重視されるようになって行きます。膨大なデータを収集するため、スクレイピング技術を使用します。

例えば、天気予報の情報収集するとか、株価予測のために株価指数を収集するとか、マーケティングのための価格対比など人間がデータを収集するに大変な時に、スクレイピングを利用できます。

スクレイピングの注意点と対策

ほとんどの場合、Webスクレイピングは違法ではありません。ならば、Webスクレイピングはどのような状況下でデータを収集した後に法律的なリスクを抱えますか？

1.サーバに負荷をかける

スクレイピングは、相手がWebページとして公開しているサーバからデータを吸い出す行為です。Webサイトへの過度なアクセスを直接禁止する法律はありませんが、程度を超えてアクセスをしてしまうと、サーバに過度の負荷をかけることになります。相手のサーバに侵入する行為のおそれがあり、不正アクセスなどの問題も出てきます。

サーバに負荷しないように、できるだけ3秒に1回程度のデータ抽出にします。ScrapeStormのアンチブロック画面に遅延時間を設定できます。3秒を設定すると、ある程度の不正アクセスを回避します。

2.スクレイピングを許可するかどうか

相手のwebページのルートディレクトリにある「robot.txt」を通じて、ページ内の情報スクレイピングを許可するかどうかを調べます。ブラウザに「http://目標サイトのURL/robots.txt」を入力して、robots.txt プロトコルが表示されます。

例えば、アマゾンには、価格や商品の評点など、いろんな情報が日々更新されています。

このサイトは、商品の情報を取り出すことは許可されているでしょうか。このルートドキュメントにあるrobot.txtにアクセスしてみましょう。

Disallow（不許可）がいっぱいあるから、アマゾンから商品の情報をスクレイピングするのはあんまり良くないでしょうね。

とりあえず逮捕されないために、スクレイピングで悪意リクエストを送ることは駄目です！Robots協議、法律を守った上にスクレイピングを正しく利用してください。