スパイダ

ウェブを巡回するロボットのことです。
蜘蛛の巣を這い回ると云う意味でスパイダと名づけられました。ウェブサイトを巡回し公開情報(コンテンツ)を収集することを目的としていて、検索エンジンの運営サイトから放たれることが多く、更新周期に合せて訪問周期を変えたり、一度に少しづつ収集したりサーバ負荷を考慮してコンテンツを収集する知的な検索エンジンがある一方で、毎日決まった時間に全コンテンツを収集するといった無知な検索エンジンが多数存在しているようです。