クローラーとは、インターネット上のアンカーリンクをたどってサイトの情報を収集し、主に検索エンジンのインデックスを作成するのに使用されるプログラムのことを言います。別名としてスパイダーやロボットとも呼ばれています。
Googleでは、このクローラーを使って膨大な量のWebページのインデックスを作成し、 検索結果に表示しています。Googleのクローラーがインターネットを巡回する頻度は月に1回程度ですが、正確な回数や巡回のタイミングは明らかにされていません。
巡回の少ないクローラーの他に、ニュースサイト等毎日更新されるウェブサイトを中心に頻繁に巡回する、フレッシュクローラーがあります。
クローラー
Webマーケティング用語集
