スクレイピングは違法？公開ページからデータを集めるときの線引きと確かめる順番

スクレイピングとは、プログラムでウェブページを読み込み、必要な部分だけを取り出して集めることです。スクレイピングという行為そのものを一律に禁じる法律はありません。問題になるのは、何を取り、どう使い、相手にどんな負担をかけたかです。

この記事は、データベース型のサイトを作る会社が、集める前に確かめることを順番に並べたものです。法律の判断を代わりにするものではありません。個別のケースは弁護士に相談してください。

何が問題になりうる？

事実は自由に使える、表現は使えない

著作権法は、著作物を「思想又は感情を創作的に表現したもの⁠」⁠と定めています（著作権法 第2条第1項第1号）⁠。型番、寸法、重さ、設立年、従業員数のような事実やデータそのものは、この「表現」⁠にあたりません。

一方で、製品の説明文、写真、表の独自の作り方は、著作物になりえます。比較サイトを作るなら、事実の値だけを取り出し、自分たちの決めた列で表にします。説明文は自分たちの言葉で書き、元のページへは出典としてリンクします。私たちのメーカー図鑑も、各メーカーの公式サイトやカタログで確かめた値だけを、同じ列の表に並べています。

生成AIの学習のためにデータを集める場合の考え方は、文化庁がAIと著作権についてのページ⁠で整理しています。記事や画像を生成AIで作るときの注意はAIと著作権で書いています。

robots.txtは許可証ではない

robots.txtは、サイトの持ち主が「このURLは読み込まないでほしい⁠」⁠とクローラーにお願いを書くファイルです。仕様を定めたRFC 9309には、このルールはアクセスを認める仕組みではないと書かれています。

robots.txtで止められているURLは、読み込まないのが礼儀です。逆に、止められていないからといって、利用規約や著作権の問題がなくなるわけではありません。robots.txtの書き方そのものはrobots.txtの書き方とAIクローラー⁠で説明しています。

集める前に確かめる順番

1. 同じデータが、公式に配られていないかを探す（オープンデータ、API、一括ダウンロード）
2. 相手のサイトの利用規約で、自動収集や転載が禁じられていないかを読む
3. robots.txtで止められていないかを見る
4. ログインが要るページは取らない
5. 読み込みの間隔をあけ、件数を絞る（同じページを何度も取らない）
6. 載せるのは事実の値だけにし、出典をリンクする

1で見つかれば、スクレイピングは要りません。国のデータには、使い方の決まりが明示された配布の仕組みがあります。探し方はオープンデータの使い方⁠にまとめています。

集めたあとに気をつけること

集めた値は、取った日と出どころを一緒に残します。元のページが変わったとき、どの値が古いのかを見分けられないと、間違った数字を載せ続けることになります。掲載した会社から訂正を頼まれたときに、すぐ確かめられる窓口もページに置いておきます。データでページを作るときの全体の線引きはプログラマティックSEOとはで、サイトの組み立てはデータベース型の比較サイトのSEO⁠で説明しています。