スクレイピング とは

Webスクレイピングとは、インターネット上の情報を抽出して、使いやすいように加工し直すことをいいます。例えばウェブ上の情報を閲覧することはブラウザでできますが、大量のウェブページから自分の欲しい情報を集めて、見やすく整理するのを手作業で行うのはとても大変です。その点、WebスクレイピングならPHPやJavaScriptなどのプログラムを利用することで、自動で行えるというメリットがあります。例えばGoogleなどのロボット型検索エンジンが行っていることも、このWebスクレイピングの一つです。具体例としては、あるサイト内の見出し情報やカテゴリを取得する、商品の一覧を作成するなどを実現することができます。

スクレイピング のお役立ち情報

あるウェブサイト内の情報を取得して整形することは、そのサイトがAPIに対応していれば簡単に行うことができます。一方、Webスクレイピングは、APIに対応していないサイトの情報であっても抽出・整理することができるというメリットがあります。Webスクレイピングは上記のプログラム言語の他に、RubyやPythonを使ったり、Excelのマクロによってインターネットエクスプローラーを自動化させたりすることでも行えます。また、プログラムの知識がなくても手軽にスクレイピングを行えるウェブ上のサービスも登場しています。スクレイピングは著作権法などで認められる範囲内で行う必要がありますし、ウェブサイトに過度にアクセスするとサーバに負荷をかけてしまうなどの注意点もあります。