クローラ とは

インターネットは私達の生活を大変便利にしてくれました。私達は自宅に居ながらにして世界中の情報を手に入れる事ができますし、インターネットショッピングで商店まで出向かなくても商品を手に入れる事ができます。この様な受動的な使い方だけでなく、積極的に自分のホームページなどで情報を発信している人たちも多数います。この様に、インターネットはある意味で大変大きなデータベースとも考えられますので、ちょっと分からない事があったら他の人達はどうしているか検索してみようと思い検索します。その際に強力なツールとなるのが検索エンジンです。検索エンジンを使うと検索語に関係したホームページを見つける事ができます。この検索エンジンは、幾つかのプログラム群で構成されていますが、その中にクローラと呼ばれるインターネットを徘徊して情報を収拾するプログラムがあります。その意味で、クローラは検索エンジンの目と言えます。

クローラ のお役立ち情報

検索エンジンは、クローラを使ってインターネット上のホームページの情報を収集します。検索エンジンでは、クローラが得た情報をインデクサというプログラムが整理をしてデータベースを作成します。検索を行いたいユーザーからの問い合わせはクエリーというプログラムにより検索エンジンに伝えられ、作成されたデータベースを探して回答を返す事になります。このデータベース作成の際には、ホームページの内容だけでなくクローラーが得た付加的な情報も活用されます。この付加的な情報については、検索される側のホームページからもホームページをどう検索されたいかの情報を検索エンジン側に伝える部分があります。通常この情報は、ホームページのヘッド部にメタタグとして書かれる事になります。