クロール(Crawl)

クロール(Crawl) とは

クロール(Crawl)とは、グーグルやBingなどの検索エンジンのロボットが、ウェブページを訪れることを言います。具体的には検索エンジンの情報収集用のロボット(クローラ)が、主にウェブ上に貼られたリンクをたどって、世界中のウェブページを訪問することです。クローラはその際に、robots.txtなどによってそのページのインデックスが拒否されていなければ、そのページの文字や画像などのコンテンツ情報を取得し、検索エンジンのデータベースに加えます(インデックス)。インデックスされなければ、検索エンジンで自サイトを検索してもらえませんので、クロール(Crawl)してもらうことが、SEOの第一歩となります。そのためには、クローラが訪れてくれるように自サイトに他のサイトからリンクを張るといった方法が必要となります。

クロール(Crawl) のお役立ち情報

なお、最近ではグーグルボットはリンク以外の経路をたどってクロールすることがあります。また、ウェブマスターツールを使って、自サイトなどへクロール(Crawl)してもらうようにリクエストを送ることも可能になっています。一般には人気があったり歴史のある、グーグルからの評価が高いサイトほど、頻繁にグーグルボットが訪れるといわれています。また、ブログやツイッターのように頻繁に更新されるサイトも、クローラが頻繁に訪れます。なお、あるウェブページをインデックスしてほしくないという場合には、metaタグのnoindexというものを利用すれば、クロール(Crawl)はしてもインデックスはされません。クローラーが訪れているかどうかは、検索エンジンのロボット情報も取得するアクセス解析で知ることができます。

WEB集客をご検討中の方へ 初回無料相談・お申込みはこちら

  • 03-3431-0399 受付時間10:00〜19:00(土日祝を除く)
  • 無料相談・お問合せはこちら無料相談・お問合せはこちら
  • ZERO式ランディングページ年間120ページの制作実績
  • ZERO式コンテンツマーケティング月間1200記事の制作実績