robots.txt

「robots.txt」というファイルを作成していますか？ この“robots.txt”とは、クローラーに対してサイト内ページの巡回をブロックするのか、または許可するかどうかを記述して知らせるものです。 そもそもクローラ […]