robots.txt

WordPress

robots.txtとSitemaps(サイトマップ)について。

robots.txtについて サイトのルートに配置するファイル。 検索エンジンのクローラにアクセスされたくないサイトのコンテンツを指定する。 robots.txtプロトコルと呼ばれている、Robots Exclusion Standardと...