クローラー

サイト内のページを巡回していくクローラーをご存知ですか？ このクローラーとは、Googleの検索エンジンにデータを登録（インデックス）するために情報収集を目的としたボットとも呼ばれるもので、主にインデックスされているペー […]