robots.txt タグのページリスト

robots.txt の書式を紹介します。エンコーディングUTF-8でエンコーディングしたテキストファイルで作成します。書式User-agent: (対象とするユーザーエージェント)Disallow: (拒否するパス)User-agent: