무언가를 구매하지 않고도 반나절이면 ChatGPT가 내 devtool을 추천하는지 확인할 수 있습니다. 실제 구매자가 입력할 법한 프롬프트 약 25개를 만들고, 각각을 ChatGPT, Perplexity, Gemini의 새 세션에서 실행하세요. 모든 언급과 인용을 스프레드시트에 기록하고 언급률을 계산하면 됩니다. 어떤 대시보드 체험판도 제공하지 않는 세 가지 결과, 즉 기준 수치, 나 대신 언급되는 제품 목록, AI 엔진이 근거로 인용하는 정확한 페이지를 얻게 됩니다.
이 과정에는 도구가 필요하지 않습니다. 의도한 방식입니다. 시중의 어떤 구독 서비스든 이용할 수 있는 팀을 포함해 모든 팀에 이 방법부터 시작하라고 권합니다.
먼저 수동으로 테스트해야 하는 이유
수동 테스트를 하면 수집 과정이 중간에 개입하지 않아 구매자가 실제로 보는 내용을 정확히 확인할 수 있습니다. 대부분의 추적 도구는 공식 API가 아니라 UI 자동화로 답변을 수집한다고 Peec의 CPO가 공개적으로 밝힌 바 있어, 대시보드 수치가 직접 확인한 결과와 다를 수 있습니다. AI 답변도 계속 바뀝니다. Ahrefs 측정에 따르면 Google AI Overviews는 약 2.15일마다 답변을 다시 작성했고, 연속된 응답 사이에서 인용의 45.5%가 바뀌었습니다. 아무것도 배우지 못하는 대시보드 체험보다 한 번 꼼꼼히 수동으로 점검하는 편이 낫습니다.
시작하기 전에 솔직히 짚고 넘어갈 점이 두 가지 있습니다. 첫째, 수동 테스트도 표본이 작습니다. 25개 프롬프트를 3개 엔진에서 2회 실행해도 경향을 보여주는 근거일 뿐, 자연법칙은 아닙니다. 둘째, 수치는 안정적이지 않을 텐데 괜찮습니다. 첫 번째 라운드의 목적은 기준치를 만드는 것이고, 두 번째 라운드(다음 달)의 목적은 추세를 확인하는 것입니다. Ahrefs가 측정한 AI Overviews의 인용 교체때문에 어떤 단일 결과보다 재실행이 중요합니다.
UI 스크래핑이 중요한 이유: 주요 트래커를 비교하는 대화에서 사용자들은 Peec의 CPO가 결과가 웹 UI 스크래핑을 통해 나온다고 인정했으며, 따라서 로그인한 구매자가 보는 내용과 답변이 다를 수 있다고 언급합니다 (r/SEO_tools_reviews). 직접 프롬프트를 실행하면 무엇을 측정했는지 의심할 여지가 없습니다.
1단계: 15~30개 프롬프트 세트 만들기
구매자의 네 가지 의도에 맞춰 약 25개의 프롬프트를 구성하세요. 카테고리 탐색, 제품 간 비교, 전환을 위한 대안 검색, 작업과 연관된 구현 질문입니다. 구매자가 실제로 입력할 법한 문장으로 작성하고, 브랜드 확인용 프롬프트 몇 개를 제외하면 내 도구 이름은 넣지 마세요. 각 의도는 퍼널의 서로 다른 부분을 측정하므로 개수보다 구성이 중요합니다.
| 카테고리 | 세트 내 비율 | 예시 (feature flag 도구 기준) | 측정 항목 |
|---|---|---|---|
| 탐색 | 40%, 약 10개 프롬프트 | "스타트업을 위한 최고의 feature flag 도구", "기능 출시 관리 도구" | 구매자가 이 카테고리를 찾기 시작할 때 나타나는지 |
| 비교 | 25%, 약 6개 프롬프트 | "LaunchDarkly vs PostHog", "Unleash vs Flagsmith" | 정면 비교에서 경쟁력을 유지하는지 |
| 대안 | 20%, 약 5개 프롬프트 | "LaunchDarkly 대안", "LaunchDarkly 오픈소스 대안" | 구매자가 전환을 고려할 때 후보군에 드는지 |
| 구현 | 15%, 약 4개 프롬프트 | "Next.js에서 안전하게 기능을 출시하는 방법", "React 앱 A/B 테스트에 가장 좋은 라이브러리" | 카테고리가 아닌 작업을 설명하는 프롬프트에서 나타나는지 |
프롬프트 작성 규칙 네 가지:
- 중립적으로 표현하세요. "최고의 feature flag 도구는?"는 실제 상황을 측정하지만, "AcmeFlags는 좋은 도구인가요?"는 내 편향을 측정합니다.
- 내 도구가 어느 정도 알려져 있다면 나와야 할 프롬프트 3~5개와, 나오지 않을 가능성이 높은 프롬프트 5~8개를 포함하세요. 성장은 두 번째 그룹에서 시작됩니다.
- 정확한 문구를 확정해 스프레드시트에 저장하세요. 프롬프트가 동일해야 재실행 결과를 비교할 수 있습니다.
- P01부터 P25까지 번호를 붙여 기록한 각 답변을 해당 행과 연결하세요.
2단계: 제대로 실행하기
각 프롬프트는 새 세션에서 시크릿 창이나 로그아웃된 프로필을 사용해 대화당 하나씩 실행하세요. ChatGPT만이 아니라 ChatGPT, Perplexity, Gemini를 테스트하세요. 엔진마다 인용률은 크게 다릅니다. 118,101개 답변을 분석한 한 연구에서 Perplexity는 답변당 평균 21.87건을 인용했고 ChatGPT는 7.92건이었습니다 (Qwairy, 2025년 3분기). Writer가 인용한 Muck Rack 분석에 따르면 ChatGPT가 인용한 도메인 중 Perplexity도 인용하는 도메인은 약 11%뿐입니다. Writer가 인용한엔진별로 비교할 때 예상 밖의 차이가 드러납니다.
결과를 바꿀 수 있는 실무 세부 사항:
- ChatGPT 모드(로그아웃한 무료 버전 또는 유료 계정) 하나를 선택해 모든 실행에서 일관되게 사용하세요. Gemini도 마찬가지입니다.
- 대화의 방향을 미리 유도하지 마세요. 시스템 프롬프트처럼 서두를 붙이거나 "당신은 전문가입니다"라고 시작하지 마세요. 구매자는 그렇게 입력하지 않습니다.
- 새 채팅 하나당 프롬프트 하나만 사용하세요. 후속 질문은 표본을 오염시킵니다.
- 실행을 이틀이나 사흘에 나누고 각 엔진에서 프롬프트마다 두 번씩 실행하세요. 실행마다 답변이 달라질 수 있습니다. Ahrefs의교체 데이터에 따르면 연속된 두 번의 관측 사이에 인용의 절반가량이 바뀔 수 있습니다.
- Perplexity에서는 기본 모드를 사용하세요. 심층 조사 모드는 구매자가 묻는 것과 다른 질문에 답합니다.
계산은 다음과 같습니다. 프롬프트 25개 × 엔진 3개 × 실행 2회 = 답변 150개. 오후 한 번을 꽉 채우고 짧은 오전 한 번을 더 쓰면 됩니다.
3단계: 모든 내용을 스프레드시트에 기록하기
답변 하나당 한 행을 사용하세요. 열은 12개면 충분하며, 그중 두 개(언급된 경쟁사, 인용된 URL)가 내 제품에 관한 열보다 더 중요하게 나타날 것입니다. 답변에서 이름은 언급됐지만 인용은 없다면 언급으로 기록하세요. 이름은 나오지 않고 문서 페이지만 인용됐다면 그것도 기록하세요. 서로 다른 신호이므로 해결 방법도 다릅니다.
| 열 | 예시 값 | 항목이 있는 이유 |
|---|---|---|
| 날짜 | 2026-10-21 | 라운드 간 변화를 추적 |
| 엔진 | ChatGPT | 엔진마다 다르고, 인용이 겹치는 비율도 낮음 |
| run | 1 또는 2 | 같은 엔진 내 변동 확인 |
| prompt_id | P07 | 확정된 프롬프트 세트와 연결 |
| 카테고리 | 비교 | 전체 비율 하나가 아닌 의도 카테고리별 격차 분석 |
| 프롬프트 (원문 그대로) | "launchdarkly vs posthog" | 재현성 |
| 언급 | Y / N | 핵심 지표 |
| 순위 | 1위 / 2~3위 / 뒤에 언급 / 언급되지 않음 | 순서는 단순한 등장 여부가 아닌 고려 수준을 나타냄 |
| 설명 방식 (한 줄) | "오픈소스, 자체 호스팅" | 포지셔닝이 의도와 일치하는지 보여줌 |
| 언급된 경쟁사 | LaunchDarkly, Unleash, Flagsmith | 각 AI 엔진에서 실제로 경쟁하는 제품 목록 |
| 인용된 URL | reddit.com/r/devops 스레드, 공급업체 문서 | AI가 실제로 신뢰하는 검색 및 검색 결과 계층 |
| 인용 출처 유형 | 문서 / reddit / 목록형 기사 / G2 / github | 어디에서 인용을 확보해야 하는지 알려줌 |
마지막에 피벗 테이블이나 수식 몇 개를 사용하면 중요한 수치만 뽑을 수 있습니다. 엔진별 언급률, 카테고리별 언급률, 각 경쟁사가 나 대신 언급되는 빈도입니다.
4단계: 연구자처럼 해석하기
한 번 언급된 것만으로는 아무것도 증명되지 않습니다. 의미 있는 것은 비율입니다. 조사 결과의 단위는 "엔진별 25개 답변 중 N개에서 언급"입니다. 같은 세트에서 ChatGPT가 나를 25개 중 3개(12%)에서 언급하고 직접 경쟁사를 25개 중 15개(60%)에서 언급했다면, 그 격차가 발견입니다. 순위, 느낌, 우연히 잘 나온 답변은 실행을 거듭해 재현되기 전까지는 모두 잡음입니다.
스프레드시트 읽는 법:
- 엔진별, 카테고리별 언급률을 계산하세요. 탐색 단계의 비율은 구매자가 카테고리를 찾기 시작할 때의 가시성을, 비교 단계의 비율은 고려 대상이 될 경쟁력을 보여줍니다. 한 지표에서는 괜찮아 보여도 다른 지표에서는 거의 보이지 않을 수 있습니다.
- 언급된 브랜드와 인용된 출처를 구분하세요. ChatGPT는 답변당 약 7.92개의 출처를 인용하는 반면, Perplexity는 21.87개를 인용합니다 (Qwairy), 두 엔진은 서로 다른 검색 방식을 사용합니다. 인용 없이 이름만 언급됐다면 보통 모델이 웹을 읽은 것이 아니라 학습 데이터를 기억해 답한 것입니다.
- "언급된 경쟁사"와 "인용된 URL" 열을 집중해서 살펴보세요. 특정 Reddit 스레드나 목록형 기사에서 경쟁사가 계속 등장한다면 해당 페이지가 검색 정보의 공백입니다. AI 인용의 약 85%는 브랜드가 소유하지 않은 출처를 가리킵니다 (Muck Rack 분석, Writer 제공), 따라서 근거가 모두 자사 사이트에만 있다면 AI가 잘 떠올리지 못하는 것은 수수께끼가 아니라 예상 가능한 결과입니다.
- 잘못된 설명은 별개의 문제로 다루세요. 오픈소스 제품인데 ChatGPT가 "대기업 전용"이라고 설명한다면 포지셔닝 실패이며, 아예 등장하지 않는 문제와는 해결 방법이 다릅니다.
- 의외의 결과에 따라 조치를 취하기 전에 여러 엔진에서 확인하세요. 한 엔진에서 한 번 실행한 결과는 가설일 뿐입니다.
모든 경우에 통하는 "좋은" 수치는 없으며, 그런 수치를 제시하는 업체는 무언가를 판매하는 중입니다. 공개된 근거가 있는 유일한 기준도 참고용일 뿐입니다. Ahrefs는 AI 인용 17 million건을 분석해 인용된 URL이 Google 자연 검색 결과보다 약 25.7% 더 최신이라고 밝혔습니다라고 밝혔습니다. ChatGPT는 최신 페이지를 가장 쉽게 인용하는 경향도 있습니다. 오래된 비교 페이지는 측정 가능한 수준으로 기회를 낮춥니다.
두 번째 오후: 기준치를 개선 목록으로 바꾸기
스프레드시트의 마지막 두 열은 이미 할 일 목록입니다. 반복해서 등장하는 경쟁사 중 내 제품이 빠진 곳과 AI 엔진이 계속 인용하지만 내가 없는 페이지입니다. devtool의 개선 작업은 대개 몇 가지 영역에 집중됩니다. 이미 인용되는 비교 스레드와 목록형 기사에 포함되도록 하세요. 각 페이지가 하나의 질문에 완전히 답하고 엔진이 통째로 가져갈 수 있는 문단으로 문서를 재구성하세요. 경쟁사 이름을 포함한 정직한 비교 페이지를 게시하세요. 엔진은 비교 프롬프트에 직접 답하는 페이지를 높이 평가합니다. 기술적 문제가 검색을 막지 않도록 llms.txt와 AI 크롤러 접근을 허용하세요. 좋은 성과를 내야 할 오래된 페이지도 새로 업데이트하세요.
이러한 개선 방법은 앞으로 이 사이트에 게시할 글에서 하나씩 자세히 다루겠습니다.
매달 다시 실행하기
매달 똑같은 프롬프트 세트를 실행해 같은 스프레드시트에 기록하세요. 첫 번째 라운드는 기준치, 세 번째 라운드는 추세를 보여주며 관리할 수 있는 것은 바로 그 추세입니다. 수치가 바뀌면 근거를 확인할 수 있고, 바뀌지 않았다면 우연을 출시 효과로 착각하지 않을 수 있습니다.
테스트 결과 큰 격차가 드러나고 다른 사람에게 개선을 맡기고 싶다면, 그게 바로 저희가 하는 일입니다. CiteGap은 더 많은 엔진과 프롬프트에서 같은 테스트를 진행하고 격차의 원인을 진단한 뒤 개선 목록을 전달하거나 직접 구현합니다. 구독이 아닌 일회성 작업입니다. 무료 lite audit부터 시작하고, 스프레드시트가 있다면 가져오세요. 진단을 더 빠르고 저렴하게 진행할 수 있습니다.
출처
- AI Overview 변경(평균 지속 시간 2.15일, 인용의 45.5% 교체): Ahrefs
- 답변당 인용 수 (Perplexity 21.87, ChatGPT 7.92, 답변 118,101개, 2025년 3분기): Qwairy
- 획득 미디어 비중(AI 인용의 약 85%)과 엔진 간 낮은 인용 중복률(도메인의 11%), Writer를 통한 Muck Rack 분석: writer.com
- 최신성(인용된 URL이 25.7% 더 최신, 인용 17 million건 분석): Ahrefs
- UI 스크래핑 인정 및 도구 비교 관련 맥락: r/SEO_tools_reviews