創屋ぷれす

robots.txtとは

robots.txtを自身のサイトにて意義することで、Webサイトのクローラーに対して、
クロールさせたくないページを指定することができます。

SEO対策としても有効で、サイトユーザーにとって有益なページだけをクロールしてもらうことで
サイト制作者の意図通りのキーワードで検索させることができます。

robots.txtが定義されていない場合は、すべてのアクセスが許可されているとみなされます。
robots.txtは「サイトURL/robots.txt」で参照できます。(例:https://www.google.com/robots.txt)

ただ、クローラーに対してアクセスを制限する強制力はなく
アクセス拒否されているアドレスへもクロールはできます。
googleやBingなどはrobots.txtに準拠しているようです。

robots.txt以外にも、HTMLのmetaタグにアクセス設定を記載できます。

SEO対策であることが主だとは思いますが、クロールしてほしくないという意図の場合も
あるかもしれませんので、配慮が必要ですね。

Comments are closed.