人工知能Webスクレイピングツール | Webクローラ | ScrapeStorm

ScrapeStorm ドキュメントセンター

入門ガイド特徴紹介

データ収集百科事典

【データベースとCMS】Jekyll（jekyllrb.com）

Jekyll は、Ruby で開発されたオープンソースの静的サイトジェネレーターです。Markdown、HTML、Liquid テンプレート、CSS などのファイルから、あらかじめ完成した静的なWebページを生成します。データベースやサーバー側のアプリケーション処理を必要とせず、生成されたHTMLファイルをWebサーバーやCDNから配信できるため、高速かつ安定したWebサイトを構築できます。ブログ、ドキュメントサイト、ポートフォリオ、企業サイトなどの制作に適しており、Git と組み合わせたバージョン管理や、GitHub Pages を利用した無料のホスティングにも対応しています。また、レイアウト、インクルード、コレクション、タグ、カテゴリなどの機能を備えており、シンプルな静的サイトから一定規模のコンテンツサイトまで柔軟に対応できます。

2026-09-22 18:59:11
【データベースとCMS】Hugo（gohugo.io）

Hugo は、Go言語で開発されたオープンソースの静的サイトジェネレーターです。Markdownなどのテキスト形式で記述したコンテンツと、テーマやテンプレートを組み合わせて、HTMLファイルを生成します。データベースやサーバーサイドの処理を必要とせず、生成された静的ファイルをWebサーバーやCDNから配信できるため、高速かつ安定したWebサイトを構築できます。Hugo はビルド速度の速さを大きな特徴としており、大量のページを含むサイトでも短時間で公開用ファイルを生成できます。また、テンプレート機能、コンテンツ管理、タクソノミー、多言語対応、画像処理などの機能を備えており、企業サイト、ブログ、ドキュメントサイト、ポートフォリオなど幅広い用途に利用されています。

2026-09-22 18:48:44
【データベースとCMS】MkDocs（mkdocs.org）

MkDocs は、Markdown 形式で記述したドキュメントから、静的なWebサイトを生成するオープンソースのドキュメント生成ツールです。Pythonで開発されており、設定ファイルにサイト構成やテーマ、ナビゲーションを定義することで、整理されたドキュメントサイトを簡単に構築できます。標準でMarkdownをサポートしているため、特別な記法を複雑に覚えることなく、見出し、リスト、表、コードブロックなどを使って技術文書を作成できます。また、豊富なテーマやプラグインを利用することで、検索機能、バージョン管理、多言語対応、デザインのカスタマイズなども実現できます。生成されたHTMLファイルは静的コンテンツとして配信できるため、WebサーバーやCDN、GitHub Pagesなどに配置して高速かつ安定したドキュメント公開が可能です。

2026-09-21 16:31:05
【データ収集のウェブサイト】人民网（people.com.cn）

人民网（people.com.cn）は、中国共産党系の主要メディアである人民日報社が運営する総合ニュースポータルサイトです。政治、経済、社会、文化、国際、スポーツ、科学技術など幅広い分野のニュースを中国語を中心に発信しており、中国国内外の重要な情報を総合的に提供しています。中国語版に加えて、日本語、英語、フランス語、スペイン語、ロシア語、アラビア語などの多言語サービスも展開しており、中国の政策、社会動向、文化、経済情報を海外ユーザーにも届けています。また、ニュース記事だけでなく、動画、画像、特集、論説、データコンテンツなど多様な形式を活用し、PCやスマートフォンなど複数のデバイスに対応した情報発信を行っています。

2026-09-21 16:18:40
【データ収集のウェブサイト】Fandom（fandom.com）

Fandom は、ゲーム、映画、アニメ、ドラマ、コミック、音楽などのファンコミュニティ向けに提供されている無料のオンラインWikiプラットフォームです。ユーザーは、特定の作品やキャラクター、シリーズに関する情報を共同で編集・整理し、百科事典型のコンテンツを構築できます。MediaWikiを基盤とした編集機能を備えており、記事の作成、カテゴリ分類、テンプレートの利用、画像や動画の掲載、関連ページへのリンク設定などが可能です。各作品やテーマごとに独立したWikiが作成される構成となっており、ファン同士が知識や考察を共有する場として広く利用されています。また、広告表示を基本とする無料サービスであるため、専門的なサーバー構築や運用環境を用意せずにコミュニティサイトを開設できます。

2026-09-21 16:10:01
【データ収集のウェブサイト】Dribbble（dribbble.com）

Dribbble は、デザイナーやクリエイティブ分野の専門家が制作物を公開・共有するためのオンラインコミュニティおよびデザインプラットフォームです。Webデザイン、UI/UXデザイン、グラフィックデザイン、イラスト、アニメーションなど、さまざまな分野の作品をポートフォリオとして掲載でき、世界中のクリエイターや企業とつながる機会を提供します。作品は画像や動画、プロトタイプなどの形式で投稿でき、他のユーザーからの評価やコメントを通じてフィードバックを得ることが可能です。また、デザインのトレンドや表現手法を閲覧できるため、クリエイターにとってはインスピレーションを得る場としても活用されています。さらに、企業や採用担当者向けにデザイナーの検索、求人掲載、業務依頼などの機能も提供されており、デザイン人材と企業を結びつけるプラットフォームとして利用されています。

2026-09-21 15:15:20
【データ収集のウェブサイト】Behance（behance.net）

Behance は、Adobe が提供するクリエイター向けのオンラインポートフォリオおよび作品共有プラットフォームです。グラフィックデザイン、Webデザイン、イラストレーション、写真、映像、UI/UXデザイン、3Dアートなど、幅広い分野の制作物を公開・閲覧できます。クリエイターはプロジェクト単位で作品画像や動画、制作プロセス、説明文などをまとめて掲載でき、専門的なポートフォリオサイトとして活用できます。また、世界中のクリエイターや企業と作品を通じてつながることができ、評価やコメント、フォロー機能を通じたコミュニケーションも可能です。Adobe Creative Cloud との連携にも対応しており、制作した作品をスムーズに公開できる点が特徴です。

2026-09-20 20:12:21
【データ収集のウェブサイト】Tripadvisor（トリップアドバイザー，tripadvisor.jp）

Tripadvisor は、世界中の旅行者がホテル、旅館、レストラン、観光スポット、ツアーなどの情報を検索・比較できる旅行口コミプラットフォームです。ユーザーが投稿する口コミ、評価、写真などの豊富な旅行者コンテンツを基盤として、旅行先や施設選びに必要な情報を提供します。宿泊施設や飲食店、観光事業者は、施設情報の掲載や口コミへの返信、写真・営業時間・サービス内容などの管理を行うことができます。また、旅行者向けの検索機能に加えて、宿泊予約、レストラン予約、アクティビティ予約などのサービスとも連携しており、旅行計画の立案から現地での体験選びまでを支援する総合的な旅行情報サービスとして利用されています。

2026-09-20 20:05:52
【データ収集のウェブサイト】Udemy（udemy.com）

Udemy は、オンライン学習プラットフォームであり、ビジネス、IT、デザイン、語学、マーケティング、資格取得など、幅広い分野の講座を提供しています。専門家や企業が作成した動画講座を中心に、受講者はインターネットを通じて自分のペースで学習できます。講座には動画教材だけでなく、演習問題、課題、資料、修了証などが含まれる場合もあり、基礎知識の習得から実務スキルの向上まで対応可能です。また、パソコンやスマートフォン、タブレットから利用できるため、場所や時間に左右されず学習を進められます。個人のスキルアップだけでなく、企業向けの Udemy Business では、組織全体の人材育成やリスキリングを支援する学習環境も提供されています。

2026-09-20 19:58:14
【データ収集のウェブサイト】Khan Academy

Khan Academy は、無料で利用できるオンライン学習プラットフォームであり、数学、理科、経済、コンピュータサイエンス、歴史など幅広い分野の教育コンテンツを提供しています。動画授業、練習問題、理解度チェック、学習進捗の可視化といった機能を組み合わせ、学習者が自分のペースで学べる環境を実現しています。特に数学分野では、基礎的な計算から高度な代数、幾何、微積分まで体系的なカリキュラムが用意されています。また、学習者の回答状況や習熟度に応じて、取り組むべき問題や復習内容を提示する仕組みを備えており、個別最適化された学習体験を提供しています。Webブラウザやモバイルアプリから利用できるため、場所や時間に左右されず、学校教育、家庭学習、試験対策などに活用されています。

2026-09-20 19:52:00