Robots.txt
Robots.txtとは、ロボット型検索エンジンに対するアクセス規制を表す、テキストファイルのこと。
Disallow宣言をすることで、特定のフォルダやhtmlページなどに対してロボット型検索エンジンがそのフォルダやhtmlページをインデックスしなくなる。
外部に公開したくないファイルやページなどにはDisallow宣言をしておくことが望ましいが、必ずしも全てのファイルがインデックスされないということを保障するものではない。
外部リンクなどが、そのページに貼られているとインデックスされることもある。
コメント
トラックバック
このエントリーのトラックバックURL:
http://www.innovade.net/cgi/mt/mt-tb.cgi/71