X-Robots-Tagの仕組みやrobots.txt、meta robotsタグとの違いを解説します。Apache・Nginx・CDNでの設定方法、動作確認の手順、インデックス制御で起こりやすい失敗も紹介します。
PDFや画像、動画を検索結果から除外したくても、HTMLファイルのようにmeta robotsタグを追加できず、対処方法に迷うケースは少なくありません。
公開を終了した料金表や古い営業資料が検索結果に残り続けると、利用者に誤った情報を伝えたり、ブランドへの信頼を損ねたりするおそれがあります。
このようなHTML以外のファイルを制御するときに役立つのが、HTTPレスポンスヘッダーで検索エンジンへ指示を伝えるX-Robots-Tagです。
代表的なnoindexを設定すれば、PDF、画像、動画などにも、検索結果へ表示しないよう指示できます。
ただし、X-Robots-Tagはファイルへのアクセスを禁止するセキュリティ機能ではなく、robots.txtとも役割が異なります。
設定方法だけを覚えるのではなく、クロール・インデックス・閲覧制限の違いを理解したうえで使い分けることが重要です。
そこで今回は、X-Robots-Tagの仕組みから設定方法、確認手順、よくある失敗までを実務の流れに沿ってまとめました！
検索結果に残したくないファイルがある場合は、適切な制御方法を選ぶための判断材料として活用できます。
X-Robots-Tagの基本を押さえて、使うべき場面を判断しよう！
X-Robots-Tagを適切に使うには、最初に何を制御できる仕組みなのかを理解する必要があります。
robots.txtやmeta robotsタグと見た目の役割が似ているため、違いを整理しないまま設定すると、検索エンジンへ意図した指示が届かないことがあります。
まずは、設定場所・制御対象・利用に向いている場面の3点から基本を確認していきましょう。
X-Robots-Tagとは？検索結果への表示をHTTPヘッダーで制御する仕組み
X-Robots-Tagは、Webサーバーが返すHTTPレスポンスヘッダーに、検索エンジンのクロール後の処理や検索結果での表示方法に関する指示を追加する仕組みです。
たとえば、レスポンスヘッダーにX-Robots-Tag: noindexを含めると、対応する検索エンジンに対して、そのURLを検索結果へ表示しないよう伝えられます。
HTMLページではhead内にmeta robotsタグを記述できますが、PDFや画像、動画などにはHTMLのheadがありません。
X-Robots-Tagであればファイル形式にかかわらずHTTPヘッダーで指示を返せるため、非HTMLファイルのインデックス制御に向いています。
サーバー側の条件を調整すれば、特定のURLだけでなく、ディレクトリ単位や拡張子単位で一括設定することも可能です。
たとえば、すべてのPDFに設定する方法と、古い資料だけに設定する方法では、検索流入への影響が大きく異なります。
検索エンジンごとに対応する指示や解釈が異なる可能性もあるため、X-Robots-Tagだけですべてのクローラーを完全に制御できるわけではありません。
まずは主要な検索エンジンでの対応状況を確認し、対象を限定して導入することが安全です。
robots.txt・meta robotsタグとの違いを整理しよう！
robots.txt、meta robotsタグ、X-Robots-Tagは、いずれも検索エンジンへの指示に使われますが、制御する段階と設定場所が異なります。
robots.txtは主にクロールを管理するファイルであり、検索エンジンのクローラーがどのURLへアクセスできるかを指定します。
robots.txtでクロールを禁止しても、外部サイトからリンクされているURLなどは、内容が読み取られないまま検索結果に表示される可能性があります。
検索結果への表示を止めたい場合は、クローラーにURLへアクセスさせたうえで、noindexを読み取らせる必要があります。
meta robotsタグとX-Robots-Tagは、どちらもnoindexなどの指示を伝えられ、Google検索に対する基本的な効果は同じです。
違いは、meta robotsタグがHTML内に記述されるのに対し、X-Robots-Tagはサーバーから返されるHTTPヘッダーに設定される点です。
HTMLページを一件ずつ管理するならmeta robotsタグ、PDFや画像などの非HTMLファイルや、条件に合うURLをまとめて制御するならX-Robots-Tagが使いやすいでしょう。
なお、利用者からの閲覧そのものを止めたい場合は、どちらも適切ではありません。
非公開にしたい情報には、パスワード認証やアクセス制限など、別の仕組みが必要です。
noindexだけではない！主な指示を目的別に使い分けよう
X-Robots-Tagでは、robots metaタグで利用できる複数の指示をHTTPレスポンスヘッダーに設定できます。
最も利用される**noindex**は、ページやファイルを検索結果へ表示しないよう指示する値です。
**nofollowは対象ページ内のリンクをたどらないよう伝える指示で、none**はnoindex, nofollowと同じ意味を持ちます。
**nosnippet**は検索結果にテキストの説明文や動画プレビューを表示させない指示です。
Google検索ではAIによる概要やAIモードを含む検索機能にも適用され、コンテンツが回答生成の直接的な入力として利用されることを制限します。
**noimageindex**は、そのページ内に掲載された画像を画像検索へ登録しないよう指示する値です。
画像ファイルそのものを確実に検索結果から除外したい場合は、画像URLのレスポンスヘッダーにnoindexを設定する方法が適しています。
**unavailable_after**では、指定した日時以降に検索結果へ表示しないよう指示できるため、募集ページや期間限定資料などに活用できます。
複数の値はカンマ区切り、または複数のX-Robots-Tagヘッダーとして指定でき、クローラー名を付けて対象を限定することも可能です。
古い設定例で見かけるnoarchiveは、Google検索ではキャッシュリンク機能の終了に伴って使用されなくなっているため、そのまま流用しないよう注意が必要です。
目的と環境に合わせてX-Robots-Tagを設定しよう！
X-Robots-Tagは、サーバーやCDNなど、HTTPレスポンスを生成または加工する場所で設定します。
ただし、いきなりサイト全体へ追加すると、集客に必要なコンテンツまで検索結果から消してしまう危険があります。
最初に対象と目的を整理し、少数のURLでテストしてから適用範囲を広げることが大切です。
まずは検索結果から外す対象と理由を明確にしよう！
設定作業を始める前に、検索結果から除外したいURLと、その理由を一覧にします。
候補になりやすいのは、古い料金表、公開期間を終えた商品資料、印刷用ページ、重複したPDF、テスト用ファイルなどです。
一方で、ホワイトペーパーや調査資料など、検索経由で見込み客を集めているファイルまで一律に除外すると、自然検索からの接点を失う可能性があります。
ファイル形式だけを理由に判断せず、検索流入、リンク状況、問い合わせへの貢献度、情報の鮮度を確認しましょう。
次に、個別URL、特定ディレクトリ、拡張子のうち、どの単位で制御するかを決めます。
対象が数件なら個別URL、同じ目的のファイルが一つのフォルダにまとまっているならディレクトリ単位、サイト内の全PDFを除外する明確な理由があるなら拡張子単位が候補になります。
ただし、拡張子単位の設定は影響範囲が広いため、本当にすべての対象を除外してよいかを事前に確認する必要があります。
開発環境や検証環境へ設定する場合は、本番公開時にnoindexが残らないよう、リリース時の確認項目にも追加しておきましょう。
Apache・Nginxなど、サーバー環境に合った方法で実装しよう！
Apacheでは、.htaccessまたはhttpd.confでHeader setを使用し、X-Robots-Tagをレスポンスへ追加できます。
すべてのPDFを除外する場合は、対象ファイルを条件で指定してHeader set X-Robots-Tag “noindex”を設定します。
特定のPDFだけを除外する場合は、ファイル名を限定して設定することで、ほかの資料への影響を避けられます。
Apacheでレスポンスヘッダーを操作するには、mod_headersが利用可能な状態であることも確認してください。
Nginxでは、locationで対象を指定し、add_header X-Robots-Tag “noindex”;を設定します。
PDFや画像を正規表現でまとめて指定することも、特定のURLだけを完全一致で指定することも可能です。
Nginxのadd_headerは設定階層によって継承の挙動が変わるほか、通常は対象となるレスポンスコードが限られます。
エラーページなどを含めて常にヘッダーを返したい場合はalwaysの利用を検討し、既存のadd_header設定が消えていないかも確認しましょう。
設定ファイルを変更する前にはバックアップを取り、構文チェックを行ってから再読み込みします。
サイト全体への誤適用を防ぐため、最初はテスト用URLでヘッダーを確認し、問題がないことを確かめてから本番対象へ広げる流れが安全です。
CDN・クラウド・CMSでも無理なく設定しよう！
CDNを利用しているサイトでは、オリジンサーバーではなく、CDN側でX-Robots-Tagを付与できる場合があります。
Amazon CloudFrontでは、レスポンスヘッダーポリシーのカスタムヘッダーとして任意のHTTPヘッダーを追加し、キャッシュビヘイビアへ関連付けられます。
オリジンの値を優先するか、CDN側の値で上書きするかも設定できるため、二重設定による競合に注意が必要です。
設定変更後もCDNのキャッシュに古いレスポンスが残っていると、確認する場所やタイミングによって異なるヘッダーが返ることがあります。
キャッシュの無効化や更新状況を確認し、オリジンとCDN経由の両方でレスポンスを点検しましょう。
WordPressなどのCMSでは、SEOプラグインでHTMLページのmeta robotsタグを変更できても、アップロードしたPDFや画像のHTTPヘッダーまでは制御できない場合があります。
非HTMLファイルを対象にする場合は、サーバー設定、CDN、アプリケーション側の処理のどこで対応できるかを確認してください。
サーバー、CDN、CMSの複数箇所で同じヘッダーを設定すると、意図しない値の重複や上書きが発生することがあります。
運用担当者だけで変更できない場合は、対象URL、付与する値、適用範囲、解除条件を整理し、インフラ担当者や制作会社へ共有すると進めやすくなります。
設定後の確認とよくある失敗を押さえよう！
X-Robots-Tagは、設定ファイルへ記述しただけでは作業完了とはいえません。
実際のHTTPレスポンスに正しい値が含まれているか、検索エンジンがその値を読み取れる状態かを確認する必要があります。
特にrobots.txtとの競合や適用範囲の間違いは発見が遅れやすいため、技術面と検索結果の両方から点検しましょう。
HTTPヘッダーと検索結果の両方を確認しよう！
最初に、ブラウザーの開発者ツールやcurlなどを使い、対象URLのレスポンスヘッダーを確認します。
curl -I 対象URLを実行し、結果にX-Robots-Tag: noindexなどの意図した値が含まれているかを点検します。
HTMLページだけでなく、対象となるPDFや画像のURLへ直接アクセスし、そのファイル自身のレスポンスを確認することが重要です。
リダイレクトがある場合は、転送元と転送先のどちらにヘッダーが付いているかも確認します。
正常なページだけでなく、必要に応じて404などのエラーレスポンスで意図しないヘッダーが返っていないかも点検してください。
次に、Google Search ConsoleのURL検査を利用し、クロールの許可状況、取得の成否、インデックス登録の可否を確認します。
X-Robots-Tagを設定しても、検索エンジンが再クロールするまでは検索結果に反映されません。
URLの重要度やクロール頻度によっては反映まで長期間かかることがあるため、設定直後に検索結果から消えなくても、すぐに失敗とは判断しないようにします。
サーバー移行やCDN変更によってヘッダーが消えることもあるため、重要なURLは定期的に再確認できる運用にしておくと安心です。
robots.txtとの組み合わせミスを防ごう！
noindexを機能させるには、検索エンジンのクローラーが対象URLへアクセスし、X-Robots-Tagを読み取れる状態にする必要があります。
X-Robots-Tagを設定したURLを同時にrobots.txtでクロール禁止にすると、クローラーがレスポンスヘッダーを確認できません。
その結果、noindexが認識されず、外部リンクなどを手がかりにURLだけが検索結果へ残る可能性があります。
すでにインデックスされているURLを除外する場合は、まずrobots.txtのブロックを解除し、クロール可能な状態でnoindexを読み取らせます。
検索結果から除外されたことを確認したあとにクロール方針を見直す流れが基本です。
canonicalとnoindexを同じURL群で利用する場合も、検索エンジンへ矛盾した意図を伝えないよう注意しましょう。
検索結果に残す正規URLへcanonicalを向けながら、その正規URLへnoindexを付けると、残したいのか除外したいのかが不明確になります。
meta robotsタグとX-Robots-Tagで異なる指示を設定した場合、Google検索ではより制限の強い指示が適用されます。
解除したつもりでも別の場所にnoindexが残ることがあるため、HTMLとHTTPヘッダーの両方を確認してください。
検索結果から恒久的に除外するURLは、XMLサイトマップや主要な内部リンクに残し続ける必要があるかも、サイト全体の運用方針に合わせて見直しましょう。
X-Robots-Tagをセキュリティ対策と混同しないようにしよう！
X-Robots-Tagは、検索エンジンにインデックスや検索結果での表示方法を伝える仕組みであり、ファイルへのアクセス自体を禁止するものではありません。
noindexを設定したPDFでも、URLを知っている利用者はブラウザーから直接開けます。
個人情報、契約書、社内資料、未公開の商品情報などを、X-Robots-Tagだけで保護してはいけません。
本当に非公開にする必要がある情報には、ログイン認証、IPアドレス制限、適切なファイル権限、公開領域からの削除などを利用します。
緊急性が高い場合は、検索結果の一時的な削除だけでなく、元データを削除または保護し、恒久的にアクセスできない状態へ変更する必要があります。
また、X-Robots-Tagは、すべての生成AIによる学習や検索を一括で制御する共通規格ではありません。
Google検索のAI機能ではnosnippetやmax-snippetなどのプレビュー制御が適用されますが、ほかのAIサービスでは専用クローラーやrobots.txtの設定が用意されている場合があります。
OpenAIでも検索向け、学習向け、利用者操作向けでクローラーが分かれているため、制御したい目的に合ったユーザーエージェントを確認することが必要です。
検索結果から外すこと、AIによる利用を制御すること、利用者の閲覧を禁止することは別の課題として整理し、それぞれに適した対策を選びましょう。
まとめ
X-Robots-Tagは、HTTPレスポンスヘッダーを通じて、検索エンジンへインデックスや検索結果での表示方法を伝える仕組みです。
HTMLページだけでなく、PDF、画像、動画などにも設定できるため、非HTMLファイルの検索結果表示を管理したい場合に役立ちます。
robots.txtは主にクロールを管理し、meta robotsタグとX-Robots-Tagは主にインデックスや検索結果での表示を制御します。
ファイルへのアクセスそのものを禁止したい場合は、認証やアクセス制限などのセキュリティ対策が必要です。
実装時は、検索結果から外す対象と理由を整理し、少数のURLで設定と確認を行ってから適用範囲を広げましょう。
設定後はHTTPレスポンスヘッダー、robots.txtとの競合、Search ConsoleのURL検査、実際の検索結果を順番に確認します。
まずは古い料金表や公開期間を終えた資料など、検索結果に残す必要がないファイルを数件選び、小さな範囲から安全に改善を進めてみましょう。
Webマーケにお悩みなら、「AI×経験×アイディア」のぎあはーとへ！
合同会社ぎあはーとは「AI×プロの経験×アイディア」で強いマーケ戦略を着実にお届けする会社です。
| ・月間売上を前年比277.4%に （3,479,415円→9,653,169円） （上場アパレルメーカーM社：2021年 運用1年） ・新規サイトで月間コンバージョン数を31件へ （ メディア系SaaSツールC社：2025年 施策10ヶ月） ・Webイベントで1,330名の参加者集客 （メディア系SaaSツールC社：2026年 イベント期間30日） |
こんな実績を持つマーケティングのプロが、他にできない強い施策を素早く回転させます。
戦略からコンテンツ運用、結果分析までをワンストップで受けつけております。また、10本で8,8000円という格安にてSEO記事制作もお受けしております。
料金表
| 内容 | 基本料金 |
| マーケティング顧問業務 LLMO戦略立案・コンテンツ制作・レポート | 月額・要お見積もり |
| SEO記事の制作1本（スポット依頼） 5,000字以上、追加料金なし キーワード選定等ワンストップ | 9,900円（税込） |
| SEO記事の制作10本（スポット依頼） 合計50,000字以上、追加料金なし キーワード選定等ワンストップ | 88,000円（税込） |
まずはオンライン面談によるお見積もりや無料のサイト診断ができますので、ぜひお気軽にご相談ください！
