robots.txtとは？作る前に、自分のサイトで開いて確かめること

robots.txtとは

robots.txtは、サイトのいちばん上の階層（ルート）に置く、テキストのファイルです。Googleは「robots.txt の概要」という資料で、次のように説明しています。

robots.txt ファイルとは、検索エンジンのクローラーに対して、サイトのどの URL にアクセスしてよいかを伝えるものです。

クローラーは、ウェブのページを自動で読みに来るプログラムです。Googleのクローラーは、Googlebotと呼ばれます。クローラーは、サイトのページを読む前にrobots.txtを読み、そこに書かれた「読みに来ないでほしい場所」を避けて、ほかのページを読みます。

何のために使うのかについて、同じ資料は、主に、クローラーが読みに来る回数が多くなりすぎて、サイトに負担がかかるのを避けるため、と書いています。サイトの中の重要でないページや、似たページを読みに来させないことにも使える、としています。

一方で、robots.txtは、検索結果に出さないための仕組みではありません。同じ資料は、Googleにページが表示されないようにするには、noindex（ページを検索結果に出さないための指定）を使うか、パスワードでページを守るように書いています。robots.txtで読みに来させないようにしても、ほかのページからリンクされていれば、そのURLが検索結果に出ることがあるからです。

ただ、目的が検索結果から外すことではなくても、読みに来させないページは、Googleが中身を読めません。そのため、公開するときにサイト全体を止める設定が残っていると、検索結果に出てこない原因になります。外し忘れたときの確かめ方と、robots.txtのほかに確かめる設定は、Google検索に表示されないときの記事で解説しています。

関連記事Google検索に自分のホームページが表示されないのはなぜ？確かめる順番と待つ期間

もう1つ、robots.txtは鍵ではありません。同じ資料は、指示に従うかどうかはクローラー次第で、Googlebotなどの信頼できるクローラーは従うが、ほかのクローラーも従うとは限らない、としています。人に見られたくない情報を守りたいときは、robots.txtに頼らず、パスワードなどで守ります。

書き方の基本（4種類の行）

robots.txtは、決まった書き方の行を並べたものです。中小企業のサイトで目にする行は、ほとんどが次の4種類です。Googleの「robots.txt の書き方、設定と送信」をもとに、筆者が整理しました。

User-agentの行の下に、DisallowやAllowの行を書きます。この組で、どのクローラーに、どこへは読みに来ないでほしいか（どこは読んでよいか）を伝えます。

読み方で大事なのは、書かれていない場所は、すべて読みに来てよい、ということです。同じ資料は、robots.txtで特に指定しない限り、すべてのファイルはクロールが許可される、としています。つまり、robots.txtに書くのは「来ないでほしい場所」だけです。記事やサービスのページのURLを、1つずつ書く必要はありません。

反対に、気をつけたいのが「Disallow: /」です。「/」はサイトのいちばん上の階層を指すので、「Disallow: /」はサイト全体を読みに来ないでほしい、という意味になります。「User-agent: *」の下にこの1行があれば、すべてのクローラーに対して、サイト全体を止める設定です。

自分で作らないといけないのか

robots.txtの書き方を調べると、テキストのファイルを作り、サーバーに置く手順が出てきます。ただ、中小企業のサイトで、自分でファイルを作る場面は多くありません。理由は2つあります。

1つ目は、使っている仕組みによっては、編集する必要がないか、編集できないことです。Googleは「robots.txt の概要」で、次のように書いています。

Wix や Blogger などの CMS をご利用の場合は、robots.txt ファイルを直接編集する必要がない、または編集できない可能性があります。そのような場合は、CMS が代わりに検索設定ページなどのメカニズムを公開して、ページをクロールするかどうかを検索エンジンに知らせます。

CMSは、ホームページを更新するための仕組みです。WordPressも、その1つです。第4章で見るように、このサイトのrobots.txtも、WordPressが返しているものです。

2つ目は、robots.txtが無くても困らないことです。Search Consoleのヘルプ「robots.txt レポート」は、robots.txtが見つからない場合について、次のように書いています。

robots.txt ファイルが存在しなくても問題ありません。その場合、Google はサイトのすべての URL をクロールします。

robots.txtを作る理由になるのは、第1章で引いた、読みに来る回数が多くなりすぎてサイトに負担がかかるときや、読みに来させたくないページがあるときです。数ページから数十ページのサイトで、そういう場面は多くない、と私は考えています。

そのため、最初にやるのは、作ることではなく、開いて見ることです。ブラウザで「https://自社のドメイン/robots.txt」を開くと（トップページが https://example.com/ なら、https://example.com/robots.txt）、結果は次の3つのどれかになります。

中身が表示されたら、第4章と第5章の見方で読みます。見つからない（404）と表示されたら、robots.txtは無い状態で、Googleはサイトのすべてのページを読みに来ます。そのままでかまいません。

サーバーのエラーが表示されたときだけは、作った会社に早めに伝えます。robots.txtが無いときと違い、しばらくのあいだ、Googleがサイトを読みに来なくなるからです。Googleの「Google による robots.txt の指定の解釈」は、robots.txtを取得しようとしてサーバーのエラーが返ってきた場合、最初の12時間はサイトのクロールを止める、と書いています。

ブラウザの画面だけでは、見つからない（404）のか、サーバーのエラーなのかが見分けにくいこともあります。そのときは、第6章で説明するSearch Consoleの「robots.txt レポート」を開き、「取得ステータス」を見ます。「未取得 – 見つかりませんでした（404）」なら、robots.txtが無い状態なので、そのままでかまいません。「未取得 – その他の理由」と出ていたら、作った会社に伝えます。

この記事で「作った会社に伝える」と書くところは、自分でWordPressやWixを使って作ったサイトなら、使っているサービスの設定とヘルプで確かめる、と読み替えてください。確かめ方は、第7章で書きます。

このサイトのrobots.txtを、1行ずつ読む

実際の中身を見てみます。このサイト（arrowsdc.jp）のrobots.txtを、2026年10月3日に開くと、次の4行が表示されました（3行目と4行目のあいだは空行です）。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://arrowsdc.jp/wp-sitemap.xml

表示されたのは、WordPressが返している内容です。WordPressは、robots.txtのファイルが無いと、開かれたときに、決まった中身を作って返します（WordPressの開発者向けの資料「do_robots()」と、表示設定の説明の注記）。WordPressで作ったサイトで、ファイルを置いた覚えがないのに、この形が表示されたら、同じ仕組みで返されていると考えてかまいません。1行ずつ読むと、次の意味になります。

1行目の「User-agent: *」は、ここから下のルールが、すべてのクローラーに向けたものだという意味です。

2行目の「Disallow: /wp-admin/」は、「/wp-admin/」で始まる場所には来ないでほしい、という意味です。「/wp-admin/」は、WordPressの管理画面の場所です。記事を書いたり設定を変えたりする画面で、検索する人が読むページではありません。

ここで読み違えやすいのが、この2行目です。「User-agent: *」の下に「Disallow:」がある、という形だけを見ると、すべてのクローラーを止めているように見えます。止めている範囲を決めるのは、「Disallow:」のあとに書かれた場所です。「/wp-admin/」なら管理画面だけで、サイト全体を止めるのは、「/」1文字だけが書かれているときです。

3行目の「Allow: /wp-admin/admin-ajax.php」は、管理画面の中でも、このファイルだけは読んでよい、という意味です。WordPressが最初から入れている行です。

4行目の「Sitemap:」は、このサイトのサイトマップの場所を伝える行です。WordPressが自動で作っているサイトマップを指しています。

つまり、このrobots.txtが止めているのは、管理画面だけです。記事やサイトの紹介のページを止めている行はありません。この形なら、触る必要はありません。

Search Consoleの「ページのインデックス登録」の画面（Googleが、どのページを検索結果に出す候補として登録したかを見る画面）でも、確かめてみます。2026年10月3日に、登録されていない理由のうち「robots.txt によりブロックされました」の行を開くと、当てはまるURLは1件で、管理画面のURLでした。記事やサイトの紹介のページは入っていません。第6章で書く見方のとおり、そのままでかまいません。

自分のサイトで、触らなくてよいかを決める

自分のサイトのrobots.txtを読んで、そのままでよいかを決めます。ブラウザで開いて読むだけなので、自分でできます。

中身が表示されたら、次の3つを、上から順に見ます。

1. 「Disallow: /」だけの行が無いか

「User-agent: *」か「User-agent: Googlebot」の下に「Disallow: /」の行があれば、サイト全体を止める設定です。作っている途中のサイトを読ませないために入れた設定が、公開したあとも残っていることがあります。この行があれば、すぐに作った会社に伝えます。

2. 出てほしいページの場所が、Disallowに書かれていないか

サービスのページや記事のURLの、ドメインのあとの部分を見ます。たとえば「https://example.com/service/support/」なら「/service/support/」です。この部分が、Disallowに書かれた場所で始まっていれば、そのページは止められています。たとえば「Disallow: /service/」とあれば、「/service/」も「/service/support/」も、「/service/」で始まるので止められています。「/company/」は始まりが違うので、止められていません。止められていたら、その理由を作った会社に確かめます。

3. AIのクローラーの名前が書かれていたら

User-agentの行に、GPTBotやOAI-SearchBotなど、AIの運営元のクローラーの名前が書かれていることがあります。これは、Googleの検索結果に出るかどうかには関わりません。この記事で確かめたいこと（検索結果に出てほしいページを止めていないか）では、いまは何もしなくてかまいません。

AIが作る回答の中に、自社の情報が出てほしいかを考えるときに、あらためて見直します。どのクローラーが何に使われ、止めると何が起きるかは、運営元ごとに違います。GEO対策（AIが作る回答の中で、自社の情報が引用されることを目指す取り組み）の記事で、OpenAIとPerplexityの資料をもとに解説しています。

関連記事GEO対策は、AIの運営元が示す条件の確認から始める

1と2に当てはまらなければ、そのrobots.txtは、記事やサービスのページを止めていません。触らなくてかまいません。

見比べる手本は、第4章のこのサイトの4行です。自分のrobots.txtが、この4行と同じ形（Sitemapの行は、URLだけが違うか、無い）なら、WordPressが最初から入れている形です。「Allow: /wp-admin/admin-ajax.php」の行も含めて、1と2のどちらにも当てはまりません。そのままでかまいません。

4行と形が違っても、1と2に当てはまらなければ、そのままでかまいません。DisallowやAllowの行が多かったり、User-agentの行がいくつもあったりして、1と2に当てはまるかを自分で読み切れないときは、作った会社に見てもらいます。

Search Consoleで、止められていないかを確かめる

robots.txtについて、Search Consoleで確かめられる場所は3つあります。どれを見るかは、何を確かめたいかで決まります。Search Consoleを使えれば、どれも自分で開けます。使えないときは、作った会社に頼みます。

robots.txtそのものを見る：robots.txt レポート

Search Consoleの「設定」から開ける「robots.txt レポート」では、Googleが見つけたrobots.txtと、前回読んだ日時、読めたかどうか、書き方の問題が表示されます。前回読んだときの中身も、ここで確かめられます。ヘルプによると、このレポートを使えるかは、Search Consoleにサイトをどう登録したかで決まります。画面の左上に出ているサイトの名前が、「example.com」のようにドメインだけか、「https://example.com/」のように、ドメインのあとに何も続かない形なら使えます。「https://example.com/blog/」のように、あとに続く形のときは使えません。そのときも、次のURL検査で、1ページずつ確かめられます。

1つのページが止められていないかを見る：URL検査

気になるページのURLを、Search Consoleの上にある検索窓（URL検査）に入れると、「クロールを許可？」という項目で、robots.txtで止められているかが分かります。

止められているURLの一覧を見る：ページのインデックス登録

「ページのインデックス登録」の画面には、登録されていない理由の1つとして、「robots.txt によりブロックされました」が表示されることがあります。その行をクリックすると、当てはまるURLの一覧が出ます。第4章のこのサイトのように、管理画面など、検索結果に出なくてよいURLなら、そのままでかまいません。サービスのページや記事が入っていたら、第5章の2に戻って、Disallowの行を確かめます。

robots.txtを書き換えても、Googleにすぐには反映されないことも知っておきます。「Google による robots.txt の指定の解釈」は、Googleは通常、robots.txtの内容を最大24時間保存して使う、と書いています。急ぐときは、robots.txt レポートから、Googleにrobots.txtを読み直すよう頼めます。

変えたいときは、何を伝えて頼むか

robots.txtを書き換えるのは、多くの場合、作った会社の作業です。サーバーにファイルを置く方法も、CMSの設定の場所も、サイトごとに違うからです。頼むときに、書き方を指定する必要はありません。伝えるのは、次の2つです。

自分でWordPressやWixを使って作ったサイトや、作った会社と連絡が取れないときは、次のところから見ます。

Wixで作ったサイトなら、Wixのヘルプ「サイトの robots.txt ファイルを編集する」によると、サイトダッシュボードの「SEO・GEO」から、「ツールと設定」の「robots.txt エディタ」を開き、「ファイルを表示」で中身を見られます。同じ画面から、初期設定に戻すこともできます。

WordPressで作ったサイトなら、まずrobots.txtの中身を、第4章の4行と見比べます。同じ形なら、WordPressが返しているものです。違う形なら、WordPressの開発者向けの資料にあるとおり、WordPressが返す中身はプラグインなどで書き換えられるので、入れているプラグインの設定にrobots.txtの項目が無いかを見ます。そこにも無ければ、契約しているサーバーにファイルが置かれていると考えられます。サーバーの会社のヘルプで、ファイルの見方を探します。ヘルプを読んでも自分で読み切れないときは、開いたrobots.txtの中身と、この表の2つ（どのページか、どうしたいのか）を持って、サーバーの会社の問い合わせ窓口や、サイトの制作を頼める会社に相談します。

ほかのサービスでも、第3章で引いたとおり、Googleは、CMSでは検索設定のページなどで検索エンジンに知らせる、と書いています。使っているサービスのヘルプで「robots.txt」と探し、この表の2つに当てはめて読みます。

2つ目を伝えるのは、目的によって、使う設定が違うからです。検索結果から外したいならnoindexを使い、出したいページが止められているなら、robots.txtのその行を外します。検索結果から外したいときに、robots.txtで止めればよいと考えてしまうこともあります。Search Consoleのヘルプ「robots.txt レポート」も、ホスティングサービスを使っているサイトについて、次のように書いています。

ほとんどのユーザーの関心事は、ファイルが Google にクロールされないようにすることではなく、Google 検索に表示されないようにすることです

第1章で見たとおり、robots.txtで読みに来させないようにしても、検索結果からは外れないことがあります。検索結果に出したくないページにはnoindexを使い、robots.txtでは止めません。robots.txtで止めると、ページに書いたnoindexも読まれなくなるからです。noindexの書き方と、robots.txtとの使い分けは、noindexとnofollow（ページにあるリンクをたどらせないための指定）の違いの記事で解説しています。

関連記事noindexとnofollowの違いとは？書き方と、付いているページの確かめ方

ARROWSのSEOコンサルティング

第5章と第6章で、出てほしいページが止められていないと分かったら、robots.txtで見ることは終わりです。クローラーが読みに来られる状態になっていても、検索結果で上に出るかどうかには、ページの中身や、どのキーワードを狙うかが関わります。ARROWSのSEOコンサルティングが扱うのは、その先の部分です。すでにあるサイトでは、検索順位やアクセス数を専用のデータベース「SEOカルテ」に取り込み、伸びしろの大きいページから手を付けます。

SEO対策の作業まで頼みたいときは、マーケティングコンサルティングとして続けてご契約いただくと、キーワードの選定や計画づくりに加え、ページのタイトルや説明文、構成の直しと、内部リンクの整理もARROWSが行います。robots.txtの書き換えのような、サイトの作りに関わる設定は、第7章のとおり、作った会社などに伝えて頼みます。

まとめ

robots.txtは、クローラーに読みに来ないでほしい場所を伝えるファイルです。無くても、Googleはサイトのすべてのページを読みに来ます。作ったり書き換えたりする前に、まず「https://自社のドメイン/robots.txt」を開き、「Disallow: /」だけの行と、出てほしいページの場所が書かれていないかを確かめるところから始めます。

Search Consoleで止められていると表示されたら、一覧を開いて、出てほしいページが入っていないかを見ます。変えたいときは、どのページか、どうしたいのか（読みに来ないでほしいのか、検索結果から外したいのか、出したいのに止められているのか）を、作った会社に伝えます。