ビッグデータとデータベース!データのインポートに関する - ScrapeStorm

データベースはデータを保存するための倉庫です。毎日データベースを使用してデータを保存しており、ゆえに、データをインポートすることは避けられません。この記事は主にデータのインポートに関連するヒントを共有して、お役に立てば幸いです。

SQLファイルをインポートする

 sqlファイルは一般的にinsert文です。mysqlコマンドラインまたはsourceを使用してSQLファイルを実行できます。例えば、mysql -uroot -pxxx testdb < /tmp/testdb.sql 。コマンドラインからSQLファイルを実行することをお勧めします。特に大きなSQLファイルの場合は、コマンドラインの実行速度が速くなります。

データをインポート前に、まず、元の表にデータがあるかどうかを確認してください。インクリメンタルインポートの場合、自己増加IDは指定しないほうがいいです。一意のインデックスがあるフィールドも注意してください。元の表を空にしてインポートする場合は、事前にバックアップしておくとよいでしょう。

ExcelまたはCSVファイルのインポート

sqlファイルよりもExcelファイルのインポートが複雑になります。sqlファイルのinsert文はデータベースで直接認識できます。Excelファイルをインポートするには他のツールを利用する方が便利になります。例えば、Navicat など。

ScrapeStorm

ScrapeStormは、Excel、csv、html、txt、データベース、ローカルなどさまざまなエクスポート方法を提供します。抽出されたデータを直接データベースにエクスポートできます。MySQL、MongoDB、SQL Server、PostgreSQLおよびクラウドストレージ(Googleスプレッドシート)に適応します。