スパイダー とは

スパイダーとは、ロボット型検索エンジンにおいて、インターネット上に存在するあらゆるウェブサイトの内容を網羅したデータベースを構築するために、サーバー内のそれぞれのウェブページを巡回して情報を収集する自動のプログラムのことをいいます。「ウェブクローラー」、「ボット」などと呼ばれることもあります。代表的なものとしては、Googleの「グーグルボット」、Bingの「ビーイングボット」などが知られています。大手検索エンジンのYahooについては、現在は独自のスパイダーではなく、業務提携によりGoogleの検索技術を採用しています。このスパイダーが巡回した結果は、索引情報(インデックス)として加工され、ユーザーが任意のキーワードで検索をした際にページのありかを示す検索結果として表示されます。

スパイダー のお役立ち情報

ウェブサイトにスパイダーが巡回してこなければ検索エンジンにインデックス化されることがなく、したがってキーワード検索された際にも検索結果として該当のウェブサイトの情報が表示されることもないため、SEO(検索エンジン最適化)の観点からは、このスパイダーにいかに高い頻度で、いかに効果的に個々のウェブページの情報を収集してもらえるかが重要となります。このため、スパイダーが巡回しやすいようにウェブサイトのトップページから階層的にすべてのベージへのリンクを整えたり、サイトの更新頻度を高くしたりといった工夫が必要となります。また、ウェブサイト内のページのありかや更新日時、頻度などを示すサイトマップを作成することも大切です。