robots.txtを自身のサイトにて意義することで、Webサイトのクローラーに対して、
クロールさせたくないページを指定することができます。
SEO対策としても有効で、サイトユーザーにとって有益なページだけをクロールしてもらうことで
サイト制作者の意図通りのキーワードで検索させることができます。
robots.txtが定義されていない場合は、すべてのアクセスが許可されているとみなされます。
robots.txtは「サイトURL/robots.txt」で参照できます。(例：https://www.google.com/robots.txt)
ただ、クローラーに対してアクセスを制限する強制力はなく
アクセス拒否されているアドレスへもクロールはできます。
googleやBingなどはrobots.txtに準拠しているようです。
robots.txt以外にも、HTMLのmetaタグにアクセス設定を記載できます。
SEO対策であることが主だとは思いますが、クロールしてほしくないという意図の場合も
あるかもしれませんので、配慮が必要ですね。
