ChatGPTがあなたのdevtoolをおすすめしているか調べる方法（手動で、半日、ツール不要）

ChatGPTがあなたのdevtoolをおすすめしているかどうかは、何も購入せずに半日で確認できます。実際の購入者が入力しそうなプロンプトを約25件作り、それぞれをChatGPT、Perplexity、Geminiの新しいセッションで実行します。言及と引用をすべてスプレッドシートに記録し、言及率を算出してください。そうすれば、どのダッシュボードの試用版でも得られない3つのもの、つまり基準値、あなたの代わりに名前が挙がる相手の一覧、AIエンジンが根拠として引用する正確なページがわかります。

この作業にツールは必要ありません。意図的にそうしています。市場にあるどんなサブスクリプションでも利用できるチームを含め、まずはすべてのチームにこの方法から始めることを勧めています。

まず手作業で試す理由

手動テストなら、データ収集レイヤーを介さず、購入者が実際に見る内容をそのまま確認できます。多くのトラッキングツールは公式APIではなくUI自動化で回答を収集しているため（PeecのCPOが公に述べています）、ダッシュボードの数値は自分で調べた結果と異なる場合があります。AIの回答も変化します。Ahrefsの計測では、Google AI Overviewsは約2.15日ごとに回答を書き換え、連続する回答間で引用の45.5%が入れ替わりました。何も学べないダッシュボードの試用より、注意深く手動で一度調べるほうが有益です。

始める前に、正直に伝えておきたい注意点が2つあります。まず、手動テストも小さなサンプルです。25件のプロンプトを3つのエンジンで2回実行しても、わかるのは傾向を示す証拠であり、普遍的な法則ではありません。次に、数値は安定しませんが、それで問題ありません。1回目の目的は基準値を作ること、2回目（来月）の目的は傾向を見ることです。Ahrefsが測定したAI Overviewsにおける引用の入れ替わりは、単発の結果より再テストが重要である理由です。

UIスクレイピングが重要な理由：主要なトラッカーを比較するスレッドで、PeecのCPOが結果はWeb UIのスクレイピングから得られると認めたことにユーザーが言及しています。そのため、ログイン済みの購入者が見る内容とは回答が異なる場合があります（r/SEO_tools_reviews）。自分でプロンプトを実行すれば、何を測定したのか疑問の余地はありません。

ステップ1：15〜30件のプロンプトセットを作る

購入者の4つの意図に分けて、約25件のプロンプトを用意します。製品カテゴリを探す「発見」、製品同士を比べる「比較」、乗り換え先を探す「代替案」、タスクに関連する「実装」です。購入者が入力するような表現で書き、自社ツールの名前を出すのは、ブランド名を含む確認用の数件だけにします。意図ごとにファネルの異なる段階を測るため、件数よりも構成が重要です。

プロンプトを書く際の4つのルール：

1. 中立的な表現にします。「最適なfeature flagツールは？」なら実態を測れますが、「AcmeFlagsは良いツール？」では自分の偏りを測ることになります。
2. 自社ツールがある程度知られているなら表示されるはずのプロンプトを3〜5件、表示されない可能性が高いものを5〜8件含めます。成長の余地があるのは後者です。
3. 文言を正確に固定して、スプレッドシートに保存します。プロンプトが同一でなければ、再テストを比較する意味がありません。
4. P01からP25まで番号を付け、記録した各回答を対応する行に結び付けます。

ステップ2：適切な方法で実行する

各プロンプトは新しいセッションで、シークレットウィンドウまたはログアウト状態のプロフィールから、会話ごとに1つずつ実行します。ChatGPTだけでなく、ChatGPT、Perplexity、Geminiをテストしてください。エンジンによって引用率は大きく異なります。118,101件の回答を分析したある調査では、Perplexityは回答あたり平均21.87件を引用し、ChatGPTは7.92件でした（Qwairy、2025年第3四半期）。Writerが引用したMuck Rackの分析によると、ChatGPTが引用するドメインのうちPerplexityも引用するのは約11%にすぎません。Writerが引用した分析エンジンをまたいで比べると、意外な違いが見えてきます。

結果を左右する実務上のポイント：

• ChatGPTのモード（ログアウト状態の無料版か有料アカウント）を1つ選び、すべての実行で統一します。Geminiも同様です。
• 会話を誘導しないでください。システムプロンプトのような前置きや「あなたは専門家です」といった書き出しは不要です。購入者はそのように入力しません。
• 新しいチャットごとにプロンプトは1件だけにします。追加の質問をするとサンプルに影響します。
• 実行を2〜3日に分け、各エンジンで各プロンプトを2回ずつ実行します。回答は実行ごとに異なると考えてください。Ahrefsの入れ替わりデータによると、連続する2回の観測の間に引用の約半分が変わることがあります。
• Perplexityではデフォルトモードを使います。Deep Researchモードでは、購入者が尋ねるものとは別の質問に答えることになります。

計算は次のとおりです：25件のプロンプト × 3エンジン × 2回 = 150件の回答。丸一日ではなく、しっかりした午後1回と短い午前1回で終わります。

ステップ3：すべてスプレッドシートに記録する

回答1件につき1行にします。列は12個で十分です。そのうち「名前が挙がった競合」と「引用URL」の2つは、自社についての列より重要になることがわかるでしょう。回答で名前が挙がって引用がない場合は言及を記録します。自社の名前がなくてもドキュメントページが引用された場合は、それも記録してください。異なるシグナルなので、対処法も異なります。

最後にピボットテーブルや数式をいくつか使えば、重要な数値だけがわかります。エンジン別の言及率、カテゴリ別の言及率、各競合があなたの代わりに名前を挙げられる頻度です。

ステップ4：研究者のように読み解く

1回言及されたからといって何かが証明されるわけではありません。意味があるのは率です。調査結果の単位は「エンジンごとに25件中N件で名前が挙がった」です。同じセットでChatGPTが25件中3件（12%）であなたを挙げ、直接の競合が25件中15件（60%）で挙がったなら、それが発見です。それ以外のランキングや印象、たまたま得られた好回答は、実行を重ねて再現されるまではノイズです。

スプレッドシートの読み方：

• エンジン別、カテゴリ別に言及率を計算します。発見カテゴリの率は購入者がカテゴリを探し始めた段階での可視性を、比較カテゴリの率は検討対象としての強さを示します。一方では問題なく見えても、もう一方では見えないことがあります。
• 名前が挙がることと引用されることを区別しましょう。ChatGPTは回答あたり約7.92件の情報源を引用するのに対し、Perplexityは21.87件です（Qwairy）、2つのエンジンは異なる検索・取得の仕組みで動いています。引用なしで名前だけ挙がる場合、通常はWebを読んでいるのではなく、モデルが学習データを思い出していることを意味します。
• 「言及された競合」と「引用URL」の列を重点的に確認してください。特定のRedditスレッドやリスト記事から競合が繰り返し登場するなら、それらのページが情報取得上の不足箇所です。AIによる引用の約85%は、ブランドが所有していない情報源を指しています（Muck Rackの分析（Writer経由））。したがって、根拠がすべて自社サイトにしかないなら、想起率が低いのは不思議なことではなく、予想どおりの結果です。
• 説明が間違っている場合は、別の問題として扱います。たとえばオープンソースなのにChatGPTから「大企業専用」と説明されるなら、ポジショニングの問題です。まったく表示されない場合とは対処法が異なります。
• 意外な結果をもとに行動する前に、複数のエンジンで妥当性を確認します。1つのエンジンで1回だけ得られた結果は仮説にすぎません。

普遍的に通用する「良い」数値はなく、それを提示するベンダーは何かを売ろうとしています。公開された証拠がある唯一のベンチマークも、あくまで目安です。Ahrefsが17 million件のAI引用を分析したところ、引用URLはGoogleのオーガニック検索結果より約25.7%新しいことがわかりました。またChatGPTは新しいページを特に引用しやすい傾向があります。古い比較ページは、測定できるほど機会を損ないます。

2回目の午後：基準値を改善リストに変える

スプレッドシートの最後の2列は、そのままやることリストになります。繰り返し名前が挙がる競合のうち自社が含まれていないものと、AIエンジンが何度も引用するのに自社が載っていないページです。devtoolの場合、改善箇所はたいてい決まっています。すでに引用されている比較スレッドやリスト記事に掲載してもらいましょう。各ページが1つの質問に完全に答え、エンジンが一続きで引用できる文章になるようドキュメントを再構成します。競合名を含む誠実な比較ページを公開しましょう。比較の質問に直接答えるページはエンジンに評価されます。技術的な理由で取得を妨げないよう、llms.txtとAIクローラーのアクセスを許可します。本来上位に表示されるべき古いページも更新してください。

こうした改善方法は、このサイトの今後の記事で一つずつ詳しく取り上げます。

毎月繰り返す

毎月、まったく同じプロンプトセットを使い、同じスプレッドシートに記録します。1回目で基準値ができ、3回目には傾向が見えてきます。管理できるのはその傾向です。数値が動いたら根拠を確認できますし、動かなければ偶然をリリースの成果だと誤認せずに済みます。

テストで大きなギャップが見つかり、その解消を誰かに任せたいなら、それが私たちの仕事です。CiteGapは同じテストをより多くのエンジンとプロンプトで実行し、ギャップの原因を診断して、改善リストをお渡しするか実装します。サブスクリプションではなく、1回限りの支援です。まずは無料のlite auditから始めてください。スプレッドシートがあればお持ちください。診断をより早く、低コストで進められます。

無料のlite auditを受ける

出典

• AI Overviewの変動（平均継続期間2.15日、引用の45.5%が入れ替わり）：Ahrefs
• 1回答あたりの引用数（Perplexity 21.87、ChatGPT 7.92、118,101件の回答、2025年第3四半期）：Qwairy
• 獲得メディアの割合（AI引用の約85%）とエンジン間で引用元が重なる割合の低さ（ドメインの11%）、Writer経由のMuck Rack分析：writer.com
• 鮮度（引用URLは25.7%新しく、17 million件の引用を分析）：Ahrefs
• UIスクレイピングの認定とツール比較の背景：r/SEO_tools_reviews