robots.txtについて
サイトのルートに配置するファイル。
検索エンジンのクローラにアクセスされたくないサイトのコンテンツを指定する。
robots.txtプロトコルと呼ばれている、Robots Exclusion Standardというものがある。
Sitemaps（サイトマップ）について】
サイトマップは、当該サイトにおけるURL全てをリストした、
XMLファイルとして提供し、ウェブサイト運営者は各URLに付加的情報として、
最終更新日時や更新頻度、他のURLとの相対的な重要度を加えたりできる。
Sitemapsに対応したサーチエンジンでは、この情報を使って、サイトのクロールをより効率的に行えるようになる。
サイトマップはサーチエンジンへのURL追加規約であり、URL排除規約であるrobots.txtを補完するものである。
Wikipediaより。
とあるサイトのWordPressのrobots.txt
サイトマップはGoogle XML Sitemapsというプラグインを使って作成した。
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: Googlebot-Image Disallow: /wp-content/uploads/ Sitemap: https://サイトのURL/index.php?xml_sitemap=params=