一个下午就能查明 ChatGPT 是否会推荐你的开发工具,而且不用花钱。准备大约 25 条真实买家可能会输入的提示词,分别在 ChatGPT、Perplexity 和 Gemini 的全新会话中运行,在电子表格里记录每次提及和引用,再计算提及率。最终你会得到三样仪表盘试用版无法提供的东西:一个基准数字、一份列出哪些工具取代你被推荐的名单,以及 AI 引擎用作依据的具体页面。
整个过程不需要任何工具。这是有意为之。我们建议所有团队都从这种方法开始,包括那些买得起市面上任何订阅服务的团队。
为什么先手动测试
手动测试能让你准确看到买家看到的内容,中间没有数据采集层。大多数追踪工具通过界面自动化而非官方 API 收集答案(Peec 的 CPO 曾公开这样表示),所以仪表盘上的数字可能与你测出的结果不同。AI 的回答也会变化:Ahrefs 测得 Google AI Overviews 大约每 2.15 天就会改写一次,连续两次回答之间有 45.5% 的引用发生更替。认真手动跑一轮,胜过试用一个让你一无所获的仪表盘。
开始前先说明两点。第一,手动测试的样本量也不大:在 3 个引擎上跑两轮、每轮 25 条提示词,得到的是趋势性证据,不是什么普遍定律。第二,数字不会一直稳定,这很正常。第一轮的目的是建立基准,第二轮(下个月)的目的是观察趋势。Ahrefs 自己对AI Overviews 中引用内容的更替正说明了为什么重复测试比任何一次单独结果都重要。
为什么界面抓取很重要:在一篇比较主要追踪工具的讨论串中,用户提到 Peec 的 CPO 承认结果来自抓取网页界面,因此答案可能不同于已登录买家实际看到的内容(r/SEO_tools_reviews)。自己运行提示词,就能明确知道测量的是什么。
第 1 步:准备一组 15 到 30 条提示词
准备大约 25 条提示词,分为四种买家意图:发现(买家如何询问你的品类)、比较(正面对比)、替代方案(寻找替代品的查询)和实施(与具体任务相关的问题)。按照买家的表达方式来写,除了少数品牌专项检查外,不要提到自己的工具。意图类型的搭配比数量更重要,因为每种意图衡量的是漏斗中的不同环节。
| 类别 | 占比 | 示例(以功能开关工具为例) | 衡量内容 |
|---|---|---|---|
| 发现 | 40%, 大约 10 条提示词 | “best feature flag tools for startups”,“tools to manage feature releases” | 买家进入这个品类时,你是否会出现 |
| 比较 | 25%, 大约 6 条提示词 | “LaunchDarkly vs PostHog”,“Unleash vs Flagsmith” | 你能否经得住正面对比 |
| 替代方案 | 20%, 大约 5 条提示词 | “LaunchDarkly alternatives”,“open source alternative to LaunchDarkly” | 你是否进入了买家考虑更换工具时的候选名单 |
| 实施 | 15%, 大约 4 条提示词 | “how to roll out features safely in Next.js”,“best library for A/B testing a React app” | 提示词描述具体任务而非品类时,你是否会出现 |
编写提示词的四条规则:
- 措辞保持中立。“What's the best feature flag tool”测量的是实际情况;“Is AcmeFlags a good tool”测量的则是你自己的偏见。
- 加入 3 到 5 条提示词:如果你的工具已有一定知名度,它理应会出现;再加入 5 到 8 条它大概不会出现的提示词。增长机会就在第二组里。
- 固定准确措辞并保存到表格中。只有提示词完全相同,重复测试才有意义。
- 编号为 P01 到 P25,让每条记录的回答都能对应回一行。
第 2 步:正确运行测试
每条提示词都在全新会话中运行,使用无痕窗口或已退出登录的个人资料,每段对话只放一条提示词。测试 ChatGPT、Perplexity 和 Gemini,而不只是 ChatGPT:不同引擎的引用频率差异很大。在一项分析 118,101 个回答的研究中,Perplexity 平均每个回答有 21.87 条引用,而 ChatGPT 为 7.92(Qwairy, Q3 2025)。根据 Muck Rack 的分析,ChatGPT 引用的域名中,只有大约 11% 也被 Perplexity 引用(被 Writer 引用跨引擎测试最容易发现意料之外的结果。
会影响测试结果的实用细节:
- 选定一种 ChatGPT 模式(退出登录的免费版或你的付费账户),并在所有测试中保持一致。Gemini 也一样。
- 不要预先引导对话。不要使用系统提示词式的开场白,也不要用“you’re an expert”之类的开头。买家不会这么输入。
- 每个新聊天只输入一条提示词。追问会污染样本。
- 把测试分散在两三天内进行,每条提示词在每个引擎上运行两次。不同轮次的答案可能不同;Ahrefs 的引用更替数据显示,相邻两次观测之间大约一半的引用都可能发生变化。
- 在 Perplexity 上使用默认模式。深度研究模式回答的问题与买家实际提出的问题不同。
计算一下:25 条提示词 × 3 个引擎 × 2 轮 = 150 个回答。这需要一个完整的下午,再加上第二天早上一小段时间。
第 3 步:在电子表格中记录所有内容
每个回答占一行。12 列就够了,其中两列(提到的竞争对手、引用的 URL)最后会比你自己的列更重要。如果回答提到了你却没有引用,也要记录这次提及;如果它引用了你的文档页面却没有点名你,同样要记录。这是两种不同信号,需要采用不同的改进方式。
| 列 | 示例值 | 设置原因 |
|---|---|---|
| 日期 | 2026-10-21 | 追踪各轮测试之间的变化 |
| 引擎 | ChatGPT | 不同引擎的引用差异很大 |
| run | 1 或 2 | 检查同一引擎内的结果差异 |
| prompt_id | P07 | 对应到固定的提示词集合 |
| 类别 | comparison | 按意图类别分析差距,而不是只看整体比率 |
| 提示词(原文) | “launchdarkly vs posthog” | 确保结果可复现 |
| 是否提及 | Y / N | 核心指标 |
| 位置 | 第 1 位 / 第 2 至 3 位 / 排在后面 / 未提及 | 排序反映考虑优先级,而不只是是否出现 |
| 描述方式(一句话) | “开源,可自托管” | 显示产品定位是否符合用户意图 |
| 提到的竞争对手 | LaunchDarkly, Unleash, Flagsmith | 了解各 AI 引擎实际认为你在与谁竞争 |
| 引用的 URL | reddit.com/r/devops 讨论串、供应商文档 | AI 实际信任的信息检索层 |
| 引用来源类型 | docs / reddit / listicle / G2 / github | 告诉你该去哪里争取引用 |
在表格末尾建一个数据透视表或添加几条公式,就能得到最重要的数字:各引擎的提及率、各类别的提及率,以及每个竞争对手取代你被提到的频率。
第 4 步:像研究者一样解读结果
单次提及说明不了什么,提及率才有意义。分析单位是“每个引擎的 25 个回答中,有 N 个提到了你”。如果在同一组提示词中,ChatGPT 在 25 个回答里有 3 个提到你(12%),而直接竞争对手在 25 个回答里被提到 15 次(60%),这个差距就是发现。其他一切——排名、感觉、一次幸运的回答——在多轮测试中反复出现之前都只是噪声。
如何阅读表格:
- 按引擎和类别分别计算提及率。发现类的提及率反映你进入品类的可见度;比较类的提及率反映你进入候选名单的实力。一个工具可能在其中一类表现不错,在另一类却毫无存在感。
- 区分“被提及”和“被引用”。ChatGPT 平均每个回答引用约 7.92 个来源,而 Perplexity 为 21.87 个(Qwairy),因此两个引擎采用了不同的信息检索方式。只被点名却没有引用,通常意味着模型是在回忆训练数据,而不是在读取网页。
- 重点查看“提到的竞争对手”和“引用的 URL”两列。如果竞争对手总是通过特定 Reddit 讨论串或榜单文章出现,这些页面就是你在信息检索方面的缺口。AI 引用中大约 85% 指向品牌并不拥有的来源(Muck Rack 分析,经 Writer 转述),所以如果所有证据都只存在于你自己的网站上,那么被模型较少提及是意料之中的结果,而不是什么谜团。
- 把错误描述视为另一类问题。如果 ChatGPT 提到了你,却把你说成“仅面向企业”,而你的产品其实是开源的,那就是定位问题,解决方法也不同于提高出现率。
- 采取行动前,先在其他引擎中核实意外结果。单个引擎、单轮测试的结果只是一个假设。
不存在绝对的“优秀”数值,任何声称有这种标准的供应商都是在推销产品。唯一有公开证据支持的基准只能作为方向参考:Ahrefs 分析了 17 million 条 AI 引用,发现被引用的 URL 比 Google 的自然搜索结果大约新鲜 25.7%,而 ChatGPT 最容易引用最新页面。过时的对比页面会实实在在地降低你的胜算。
第二个下午:把基准转化为待办清单
表格最后两列已经是一份待办清单:你在哪些反复出现的竞争对手面前缺席,以及 AI 引擎总在引用哪些你尚未出现的页面。开发工具通常需要从相同几个方面着手改进。进入那些已经被引用的对比讨论串和榜单文章。重组文档,让每页都能完整回答一个问题,并让引擎可以整段提取。发布坦诚的竞品对比页面,直接回答比较类问题,因为引擎更青睐能正面回应这些提示词的页面。保持 llms.txt 和 AI 爬虫访问开放,避免技术问题阻碍信息检索。更新那些本应胜出的过时页面。
我们会在本站接下来的文章中详细介绍每一项改进。
每月重新测试
每月用完全相同的提示词集合重新测试,并记录到同一张表格中。第一轮是基准,第三轮形成趋势,而趋势才是你可以管理的依据。如果某个数字变了,你会想要看到凭据;如果没变,你就避免把偶然变化误认为是上线发布带来的效果。
如果几轮测试都显示差距很大,而你希望由别人来弥补,这正是我们提供的服务。CiteGap 会用更多引擎和提示词运行同样的测试,诊断差距的原因,并交付(或直接实施)改进清单,采用一次性合作而非订阅模式。先从免费的轻量审计开始,如果你已有电子表格,也可以带上,这样诊断会更快、成本更低。
来源
- AI Overview 内容变化(平均持续 2.15 天,45.5% 的引用发生更替):Ahrefs
- 每个回答的引用数(Perplexity 21.87、ChatGPT 7.92,共 118,101 个回答,Q3 2025):Qwairy
- 赢得的媒体来源占比(约 85% 的 AI 引用)与跨引擎引用重合度较低(域名占 11%);Muck Rack 分析,经 Writer 转述:writer.com
- 内容新鲜度(被引用的 URL 新 25.7%,分析了 17 million 条引用):Ahrefs
- 关于承认抓取网页界面及工具比较的讨论:r/SEO_tools_reviews