クロール（Crawl） とは

クロール（Crawl）とは、グーグルやBingなどの検索エンジンのロボットが、ウェブページを訪れることを言います。具体的には検索エンジンの情報収集用のロボット（クローラ）が、主にウェブ上に貼られたリンクをたどって、世界中のウェブページを訪問することです。クローラはその際に、robots.txtなどによってそのページのインデックスが拒否されていなければ、そのページの文字や画像などのコンテンツ情報を取得し、検索エンジンのデータベースに加えます（インデックス）。インデックスされなければ、検索エンジンで自サイトを検索してもらえませんので、クロール（Crawl）してもらうことが、SEOの第一歩となります。そのためには、クローラが訪れてくれるように自サイトに他のサイトからリンクを張るといった方法が必要となります。

クロール（Crawl） のお役立ち情報

なお、最近ではグーグルボットはリンク以外の経路をたどってクロールすることがあります。また、ウェブマスターツールを使って、自サイトなどへクロール（Crawl）してもらうようにリクエストを送ることも可能になっています。一般には人気があったり歴史のある、グーグルからの評価が高いサイトほど、頻繁にグーグルボットが訪れるといわれています。また、ブログやツイッターのように頻繁に更新されるサイトも、クローラが頻繁に訪れます。なお、あるウェブページをインデックスしてほしくないという場合には、metaタグのnoindexというものを利用すれば、クロール（Crawl）はしてもインデックスはされません。クローラーが訪れているかどうかは、検索エンジンのロボット情報も取得するアクセス解析で知ることができます。