AI × SEO基礎知識集 / llms.txt / AI Crawler

llms.txtとは?AIクローラー向けファイルの必要性と実装方法


llms.txtは、Webサイトの重要なページ・ドキュメント・利用条件をMarkdownで整理し、LLMやAIエージェントが内容を把握しやすくするためのファイルです。robots.txtの代替ではなく、AI検索時代の“サイト案内図”として、sitemap.xml・構造化データ・robots.txtと組み合わせての使用が提案されています。

公開2026.05.09
最終更新2026.05.15
読了 17 分 / 約7,800
この記事をシェアポスト
AI × SEOllms.txt / AI Crawler

llms.txtとは?

4役割関連ファイル
Markdown基本形式
AIクローラー案内

llms.txtは、サイト運営者が「このサイトは何者で、どのページを優先して読めばよいか」をLLMやAIエージェントに伝えるためのテキストファイルです。提案元であるllmstxt.orgでは、サイトルートの/llms.txtにMarkdown形式で配置する考え方が示されています。

重要なのは、llms.txtを「AI版robots.txt」と言い切らないことです。robots.txtはクロールの許可・拒否を伝える制御ファイルですが、llms.txtはコンテンツの要約・案内・優先順位づけのためのファイルです。AI検索の表示を保証するものではなく、AIが参照しやすい入口を増やすための補助線として捉えます。

i
結論
llms.txtは“やる価値はあるが、過信しない”施策

2026年5月、Googleは生成AI検索向けの最適化ガイドで、AI Overviews・AI Modeに表示されるためにllms.txtのようなAI専用ファイルは不要だと明記しました。ChatGPT検索やPerplexityなど他社のAI検索も、llms.txtをランキング要因として扱うとは明言していません。一方で、サイトの重要情報をMarkdownで整理する作業自体は、社内ナレッジ・営業資料・構造化データ整備にも転用できます。Google検索の生成AI機能を主目的にするなら必須ではない、という前提で判断します。

関連記事

Googleが生成AI検索の最適化ガイドを公開|AIOで本当に必要な対策とは

Googleが「llms.txtのようなAI専用ファイルは不要」と明記した公式ガイドの要点と、既存施策の見直し方を整理しています。

続きを読む

01.llms.txtとは

llms.txtは、LLMが読みやすい形でWebサイトの概要、重要なURL、補足資料、利用上の注意をまとめるファイルです。HTMLページはナビゲーション、広告、関連記事、フッターなどが混在し、AIにとって「どの情報が本体か」を判断しにくい場合があります。そこで、サイト運営者側が重要情報をMarkdownで短く整理します。

たとえばBtoBサイトなら、会社概要、サービスページ、導入事例、料金、FAQ、ホワイトペーパー、問い合わせ導線を1つの案内ファイルにまとめます。メディアサイトなら、カテゴリ別の代表的な記事、編集方針ページ、著者情報、更新頻度、引用時の注意点を整理します。

図:llms.txtはAI向けの「読むべきページ案内」。許可・禁止はrobots.txtで管理する
1つのファイルですべてを解決するのではなく、役割の違うファイルを組み合わせる
llms.txt重要ページの案内AIが読みやすいMarkdownrobots.txtクロール許可・拒否User-agent別に制御sitemap.xmlURL一覧と更新日検索エンジン向け発見補助AI検索・LLM・エージェント読める / 許可される / 意味が分かる状態を作る本文・FAQ・構造化データが最終的な信頼の土台
llms.txtは「何を読んでほしいか」を伝えるファイルであり、クロール制御やランキング保証ではない。

02.robots.txt・sitemap.xml・構造化データとの違い

AI検索時代のテクニカルSEOでは、複数の機械可読ファイルを混同しないことが重要です。llms.txtは「読み方の案内」、robots.txtは「アクセス制御」、sitemap.xmlは「URL発見」、構造化データは「ページ内エンティティの意味づけ」です。

仕組み主な役割AI SEOでの位置づけ
llms.txt重要ページ・サイト概要をMarkdownで案内するAIが読み始める入口を整える補助ファイル
robots.txtUser-agent別にクロール許可・拒否を伝えるAIクローラーを許可するか、学習用botを拒否するかを分ける
sitemap.xmlURL一覧・更新日を検索エンジンに伝える新規・更新ページの発見補助。Google検索SEOの基本
構造化データArticle、Organization、FAQなどページ内容を意味づけるリッチリザルトやエンティティ理解の補助

03.llms.txtを導入する価値と限界

llms.txtの最大の価値は、AI検索のためだけではありません。サイトの重要情報を短く、構造的に、機械にも人にも読める形へ整理する点にあります。これは、AIに引用されやすい記事設計、営業資料、社内ナレッジ、FAQ改善にも効きます。

  • AIに参照してほしい代表的URLを伝えられる
  • サービス名・会社名・編集方針ページなど、ブランドの基本情報を一箇所にまとめられる
  • 古いページや重複ページではなく、正規の説明ページへ誘導しやすくなる
  • サイト構造の棚卸しになり、SEOの内部リンク設計にも転用できる

ただし、llms.txtだけでAI OverviewやChatGPT検索に表示されるわけではありません。本文の品質、クロール可能性、出典、更新日、著者情報、外部からの言及がなければ、案内ファイルだけ整えても評価されにくいままです。

04.実装テンプレート

最初は完璧な仕様対応よりも、サイトの重要情報を過不足なく整理することを優先します。以下は企業サイト・BtoBサービスサイト向けの最小テンプレートです。

# Cryptul

> 株式会社クリプタルは、システム開発、グロースハック支援、メディア運営を行う企業です。

## Core pages

- [会社概要](https://cryptul.co.jp/about): 会社情報、代表者、事業内容
- [システム開発事業](https://cryptul.co.jp/dx): AIを活用したシステム開発・業務支援
- [グロースハック支援事業](https://cryptul.co.jp/growth/seo): SEO・コンテンツマーケティング支援
- [メディア事業](https://cryptul.co.jp/media): 自社メディアの企画・運営
- [お問い合わせ](https://cryptul.co.jp/inquiry): 相談・見積もり窓口

## Insights

- [お役立ち情報](https://cryptul.co.jp/insights): AI検索、SEO、GEO、LLMO、構造化データに関する記事
- [GEO・LLMO・AIOの違い](https://cryptul.co.jp/insights/articles/006-geo-llmo-aio-ai-search-optimization): AI検索最適化の基礎

## Policies

- このファイルはAIエージェント向けのサイト案内です。
- クロール許可・拒否は robots.txt を参照してください。
- 記事を引用する場合は、ページURLと公開日・更新日を確認してください。

ポイントは、URLを羅列しすぎないことです。全ページを並べるならsitemap.xmlで十分です。llms.txtでは、AIに最初に読んでほしい正規ページ、代表的な記事、利用上の注意を厳選します。

関連|自動生成という選択肢

Mintlifyとは|GitBook・Docusaurus・APIリファレンスツールとの違いと選び方

開発者向けドキュメントサイトであれば、Mintlifyのようにllms.txt/llms-full.txtをサイト単位で自動生成してくれるツールを使う選択肢もあります。

続きを読む

05.公開までの実装手順

図:llms.txt実装フロー
技術実装よりも、どのページをAIに優先して読ませたいかの編集判断が重要
1
棚卸し
重要URLと除外URLを決める
2
分類
サービス・記事・FAQ・資料に分ける
3
記述
Markdownで短く説明する
4
公開
/llms.txt に配置する
5
検証
200応答・文字化け・更新漏れを見る
手順作業内容確認ポイント
1. 重要URLを棚卸しサービス、会社情報、代表的な記事、FAQ、問い合わせを抽出古いLPや重複記事を混ぜない
2. Markdownで整理見出し、短い説明、URLの順で書くAIにも人にも読める自然文にする
3. /llms.txtに配置サイトルート直下で公開https://example.com/llms.txt が200で返る
4. robots.txtと整合AI検索用botを許可するか確認学習用botと検索用botを分けて判断する
5. 更新運用重要ページ追加時にllms.txtも更新最終更新日とURL切れを確認

06.AIクローラー設定との関係

llms.txtを公開しても、AI検索系クローラーをrobots.txtやCDNでブロックしていると、読まれない可能性があります。OpenAIのcrawler documentationでは、ChatGPT検索向けのOAI-SearchBot、学習用のGPTBot、ユーザー操作起点のChatGPT-Userが分けて説明されています。検索表示を考える場合と学習利用を考える場合で、許可・拒否を分けて設計します。

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Googlebot
Allow: /

Sitemap: https://example.com/sitemap.xml

上の例は「ChatGPT検索には表示されたいが、学習用クローラーは拒否したい」場合の考え方です。実際には、ビジネス方針、法務、コンテンツ権利、CDNのbot設定も含めて判断します。

関連記事

GEO・LLMO・AIOの違いとは?AI検索最適化とSEOの関係を整理

AI検索で引用・言及されるための基本設計と、SEOとの関係を整理しています。

続きを読む

07.運用チェックリスト

  • /llms.txtが200 OKで返る
  • 文字コードがUTF-8で、Markdownとして読める
  • 会社名・サービス名・代表的なURLが最新である
  • 全URLがcanonicalなURLで、リダイレクトや404がない
  • robots.txtで検索系AIクローラーを意図せず拒否していない
  • 構造化データのOrganization、WebSite、Articleと矛盾しない
  • 重要記事の追加・削除に合わせて更新する担当者が決まっている
AI検索時代の技術SEO

llms.txt・robots.txt・構造化データまで含めて、AIに読まれるサイトへ整備しませんか?

TANTOUでは、記事制作だけでなく、AI検索で参照されやすい情報設計・技術SEO・公開後の計測まで一気通貫で支援します。

TANTOUの詳細を見る

08.よくある質問(FAQ)

llms.txtはSEOに直接効果がありますか?

Google検索のランキング要因であるとは確認されていません。Googleは2026年5月の生成AI検索向け公式ガイドでも、AI Overviews・AI Modeに表示されるためにllms.txtのようなAI専用ファイルは不要だと明記しています。SEOやAI検索への直接効果を期待するより、AIや人間が重要ページを把握しやすくする情報整理として位置づけるのがおすすめです。

robots.txtとllms.txtはどちらを優先すべきですか?

役割が違います。クロールを許可・拒否するならrobots.txt、重要ページを案内するならllms.txtです。AI検索に読まれたいなら、まずrobots.txtやCDNでブロックしていないかを確認します。

llms-full.txtも必要ですか?

必須ではありません。まずはサイト概要と重要URLをまとめたllms.txtから始め、ドキュメントサイトやAPIリファレンスのように全文コンテキストを渡す価値が高い場合だけ追加を検討します。

どのページをllms.txtに載せるべきですか?

会社概要、サービス説明、料金、FAQ、導入事例、代表的な記事、編集方針ページ、問い合わせなど、AIに正しく理解してほしい正規ページを優先します。全URLの羅列はsitemap.xmlに任せます。

09.まとめ

llms.txtは、サイトの重要情報を整理するための補助ファイルです。ただし、robots.txtの代替でも、AI検索での表示保証でもなく、Googleは生成AI検索の必須要件ではないと明記しています。導入する場合も、本文品質、クロール可能性、構造化データ、E-E-A-T、外部からの言及と組み合わせて初めて意味を持ちます。

導入するなら、代表的なページを10〜30件程度に絞り、短い説明文を添えて/llms.txtに公開するところから始めます。AI検索での表示を保証する施策ではないため、サイトの情報整理という目的に価値を感じるかどうかで判断するのがおすすめです。

SEO・AI検索 基礎知識集

一覧に戻る →
この記事をシェア
澤田 翔太(Shota Sawada)
この記事を書いた人

澤田 翔太

株式会社クリプタル 代表取締役

1988年生まれ、慶應義塾大学卒。創業メンバーとして関わった株式会社セールスサポートを株式会社ネオマーケティング(東証STD 4196)に売却。株式会社クリプタルでも複数の事業立ち上げと売却を経験し、2022年9月には婚活・恋愛メディア「シッテク」「婚活会議」を株式会社ベビーカレンダー(東証GRT 7363)へ売却。現在はAI業務支援事業、TANTOU事業、グロースハック支援事業、メディア事業、SEOコンサルティング事業を手がける。