Generate robots.txt: Quick SEO Guide

Summary: クローラーを制御し、コンテンツを保護し、クロール予算を最適化するための robots.txt ファイルを作成・デプロイする方法を、実践的な例とともに学びます。

Introduction

よく設計された robots.txt ファイルがあれば、どのクローラーがサイトにアクセスできるかを制御でき、価値あるコンテンツを保護し、重要なページにクロール予算を集中させることができます。本ガイドでは、robots.txt の作成、テスト、更新に関する明確で実践的な手順を示します。初めての方でもすぐに作成できるよう、具体例と注意点を交えて解説します。

To get started

robots.txt という名前のプレーンテキストファイルを作成し、User-agent: や Disallow: のようなディレクティブを追加して、サイトのルートである https://yourdomain.com/robots.txt にアップロードします。その単一のファイルが検索エンジンのクローラーやその他のボット向けの簡単な指示セットとして機能します。

Why your robots.txt file is a critical SEO tool

robots.txt を正しく使うことは、サーバー資源の節約と重要ページへのクロール集中という点で大きな効果があります。Robots Exclusion Protocol は初期のウェブから存在し、現在もクローラーの基本的礼儀として機能しています¹。焦点を絞ったファイルは、管理ページや内部検索結果、重複した印刷用ページなど、クロール予算を浪費する領域からクローラーを遠ざけるのに役立ちます。

“robots.txt ファイルは単なる除外リストではなく、検索エンジンに対する戦略的なガイドです。”

適切な設定は、SEO パフォーマンスの向上、サーバー資源の節約、そして最も価値あるコンテンツの発見性向上につながります。

Understanding the language of web crawlers

Robots.txt はクローラーとの短いやり取りです。シンプルなディレクティブで、どのドアが開いているか閉じているかを示します。これらの基本コマンドを理解することが、健全なテクニカルSEOの基礎となります。

Core robots.txt directives explained

これらのシンプルなコマンドによってクローラーの挙動を強力に制御できます。マスターすれば、効果的な robots.txt を素早く作れます。

Putting directives into practice

重要なインタラクティブツール（例：リード獲得用電卓）はインデックス化したい一方で、管理領域やサンクスページは検索結果に出したくないことがあります。一般的で実用的な robots.txt は次のようになります:

User-agent: *
Disallow: /wp-admin/
Disallow: /private-files/
Disallow: /cgi-bin/
Sitemap: https://yourdomain.com/sitemap.xml

この設定は全てのボットに対する基本的な対処を示し、一般的な非公開フォルダをブロックし、サイトマップを指し示します。クローラーの挙動を詳しく知るにはサーバーログやアクセス解析を使って、どのボットがどのくらい来ているかを確認してください。ボットトラフィックはウェブ全体で大きな割合を占めるとの報告があります²。

A practical guide to creating your robots.txt file manually

手動でファイルを作成する場合は、Notepad や TextEdit を使い、プレーンテキストとして robots.txt（小文字）という名前で保存し、FTP やホストのファイルマネージャーを介してサイトルートにアップロードしてください。.docx や .rtf として保存すると、クローラーは無視します。

必ず https://yourdomain.com/robots.txt に配置してください。サブフォルダに置くとクローラーからは見えません。

Crafting rules for real-world business goals

例：リード獲得用の住宅ローン計算機を備えた金融サービスサイト。ツールはインデックス化したいが、管理領域やサンクスページは検索結果に出したくない。ルール例:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /thank-you-for-your-submission/

Sitemap: https://www.yourfinancialsite.com/sitemap.xml

この例はサイト全体のクロールを許可しつつ、管理領域とサンクスページだけをブロックします。サイトマップの行を含めることで、クローラーが重要なページを見つけやすくなります。

注：Allow と Disallow が重複する場合は、最も具体的なルールを先に置くことで意図しないブロックを避けられます。Google の公式ドキュメントも参照してください³。

robots.txt の作成とテストは、あらゆるテクニカルSEO監査の核心的なステップです。

Managing the new wave of AI and LLM crawlers

近年、GPTBot や Common Crawl のような AI 専用クローラーが増えています。礼儀正しい AI クローラーは robots.txt を遵守しますが、悪意あるスクレイパーは従わないことがあります。多くのサイト運営者が AI クローラーへの対応ルールを見直しています⁴。

Why you might block AI crawlers

AI クローラーをブロックすることで、オリジナルコンテンツがスクレイピングされモデル訓練に無断で利用されるのを防げます。独自ツールやデータを持つサイトは、可視性の利点と再利用リスクを比較して判断してください。ログファイルの分析はどのボットがサイトを訪れているかを判断するうえで重要です²。

How to block common AI bots

ブロックしたい各クローラーに対して特定の User-agent 行を追加します。例:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

robots.txt は名誉システムである点に注意してください。より強力な対策が必要なら、WAF や専用のボット管理ソリューションを導入してください。

Avoiding common and costly robots.txt mistakes

1 行の誤りでサイト全体が意図せずインデックス解除されることがあります。典型的なミスは Disallow: / で、これは全てのクローラーにどのページもクロールさせないように指示します。サイトが検索結果から突然消えたら、まず robots.txt を確認してください。

Blocking essential files

CSS や JavaScript をブロックすると、Google がページを正しくレンダリングできなくなり、SEO に悪影響を及ぼします。重要なコンテンツの読み込みに JavaScript が必要なサイトでは /assets/js/ をブロックしないでください。必要ならそのリソースに対して Allow: を使います：

• Before (incorrect): Disallow: /assets/js/
• After (correct): Allow: /assets/js/

Conflicting rules and syntax errors

ルールは上から下へと読まれます。/private/ をブロックしつつその中の単一ファイルを許可したい場合は、より具体的な Allow を先に置きます：

Allow: /private/public-report.pdf
Disallow: /private/

タイプミスにも注意してください。例えば "dissallow" のような綴り間違いのディレクティブは無視されます。変更をデプロイする前に Google Search Console の robots.txt テスターなどで確認しましょう³。

Common questions about robots.txt files

Robots.txt vs. noindex: what’s the difference?

Robots.txt はクロールを止め、noindex タグはインデックス化を止めます。クロール自体を止めたいセクションには robots.txt を使い、クロールは許可するが検索結果には表示したくないページには noindex を使ってください。

Should I add my sitemap to my robots.txt file?

はい。Sitemap: https://www.yourdomain.com/sitemap.xml を追加すると、クローラーが深いリンクのある価値の高いコンテンツをより早く発見してインデックス化するのに役立ちます。複数のサイトマップがある場合は、それぞれのファイルに Sitemap: 行を追加してください。

Can robots.txt stop bad bots and scrapers?

robots.txt は礼儀正しいクローラーには効果的ですが、悪意あるスクレイパーは無視することが多いです。堅牢な保護には、robots.txt とサーバーレベルの制御、WAF、およびボット管理ツールの組み合わせが必要です。

Ready to boost your site’s engagement and SEO with interactive tools? With MicroEstimates, you can build and embed custom calculators on your site. Try these tools to support lead generation and user engagement:

• Mortgage Calculator
• Business Valuation Estimator
• Email List Value Estimator

Quick Q&A — common reader questions

What’s the simplest robots.txt for most sites?

Start with:

User-agent: *
Disallow: /wp-admin/
Sitemap: https://yourdomain.com/sitemap.xml

How do I block GPTBot or other AI crawlers?

ブロックしたい各クローラーに対して User-agent ディレクティブを追加し、その下に Disallow: / を設定してください。

How do I test my robots.txt before deploying?

Google Search Console の robots.txt テスターを使用し、サーバーログを確認して期待どおりに動いているか確かめてください³。

追加の簡潔Q&A

robots.txt を変更したらどのくらいで効果が出ますか？

多くの場合、変更は即時に反映されますが、検索エンジンが新しいファイルを再取得するタイミングによって数時間から数日かかることがあります。

サイトマップは robots.txt と別に送信したほうが良いですか？

両方行うと良いです。robots.txt にサイトマップを記載し、Search Console でサイトマップを送信すると発見が早くなります。

robots.txt でブロックしたページは検索結果から必ず消えますか？

必ずしもそうではありません。robots.txt はクロールを防ぎますが、別のサイトからのリンクなどでインデックスに残ることがあります。確実にインデックスから外すには noindex タグを使用してください。