robots.txt の書式 / 記述例

robots.txt の書式を紹介します。

エンコーディング

UTF-8でエンコーディングしたテキストファイルで作成します。

書式

User-agent: (対象とするユーザーエージェント)
Disallow: (拒否するパス)

User-agent: (対象とするユーザーエージェント)
Allow: (許可するパス)

Allow, Disallowは複数行記述できます。

Sitemap: (サイトマップのURL)

記述例

例1

User-Agent: * 
Disallow: /cgi-bin/access/

例2: Webサイト全体でクローラーの巡回を禁止する

User-Agent: * 
Disallow: /

例3: 指定したディレクトリでクローラーの巡回を禁止する

User-Agent: * 
Disallow: /cgi-bin/
Disallow: /private/
Disallow: /shop/list/

例4: 特定のクローラー(iPentecWebSwim) を禁止する

User-Agent: iPentecWebSwim
Disallow: /

User-agent: *
Allow: /

例5: 特定のクローラー(iPentecWebSwim) のみがサイト内を巡回できるようにする

User-Agent: iPentecWebSwim
Allow: /

User-agent: *
Disallow: /

例6: 特定のクローラー(Mediapartners-Google) のみがサイト内を巡回できるようにする

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /

著者

neg

iPentec.com の代表。ハードウェア、サーバー投資、管理などを担当。
Office 365やデータベースの記事なども担当。