ChatGPT 웹 앱에 질문하고 같은 질문을 API로 보내면, 서로 다른 두 세트의 추천을 받는 경우가 많습니다. 2026년 통제 실험은 접근 면 간 격차가 평범한 실행 간 노이즈의 1.5~3.6배에 이른다고 측정했습니다. 측정 면을 명시하지 않는 가시성 점수는 다른 어떤 점수와도 비교할 수 없습니다.
무엇이 측정 면에 해당하는가
같은 모델도 여러 제품을 통해 사용자에게 도달하며, 경로 하나하나가 별개의 측정 면입니다. Petra Labs는 GPT-5.2에 대해 셋을 구분합니다. 로그인한 유료 ChatGPT, 로그아웃한 무료 ChatGPT, 그리고 Responses API입니다. 이들은 같은 모델 이름 아래에서도 시스템 프롬프트, 검색 백엔드, 지리적 신호, 샘플링 설정이 다를 수 있습니다.
웹 인터페이스에는 API 호출에서는 결코 볼 수 없는 층이 추가됩니다. 2026년 10월에 동일 모델 비교를 공개한 독일 개발자 Nikolai Fischer가 열거하면 이렇습니다. chatgpt.com은 OpenAI가 공개하지 않는 시스템 프롬프트를 구동하고, 웹 검색 여부를 스스로 판단하며, 사용자의 위치, 채팅 기록, 저장된 메모리를 알고 있습니다. API는 더 알맹이만 남은 상태입니다. API에서 웹 검색은 개발자가 직접 켜야 하는 도구이고, 많은 프롬프트 추적 도구가 비용 절감 때문에 이를 끄므로 모델은 학습 메모리만으로 답합니다. 모델 정체성도 면의 일부입니다. ChatGPT 앱은 모델 이름 대신 thinking 레벨을 표시하고, 그 탓에 Fischer의 첫 API 라운드는 잘못된 모델을 벤치마크했습니다.
통제 실험이 밝힌 것
통제 실험은 면 하나만 남기고 모두 고정한 채 비교했습니다. 답변 엔진 최적화 대행사 Petra Labs는 2026년 2월 26일, 웹 검색을 강제하고 개인화를 끊은 조건에서 동일한 제품 리서치 프롬프트를 GPT-5.2의 세 면 각각에 300회씩 제출해 총 900회 시행을 만들었습니다. 각 면의 시행을 반으로 나눴을 때 노이즈 바닥은 브랜드 가시성 기준 RMSE 4.5~7.1%였습니다. 서로 다른 면의 전체 샘플 간 차이는 10.8~16.1%였고, 면 효과는 무작위성의 1.5~3.6배에 달했습니다. Blizzard는 로그인 시행의 30%와 API 시행의 62.3%에 등장해 32포인트의 흔들림을 보였습니다. Renoun은 채팅 시행의 15~18%에 나타난 반면 API에서는 단 한 번도 나오지 않았습니다. 로그인 ChatGPT와 API에서 추천 상위 5개 브랜드가 겹친 비율은 25%였습니다. Petra는 최적화 서비스를 판매하며, 시행 수와 방법은 공개돼 있습니다.
Fischer의 실험은 chatgpt.com과 claude.ai(데스크톱), 그리고 양사의 API를 통해 구매자 스타일 질문 29개를 양쪽 모두 같은 모델(GPT-6 Sol과 Opus 5.5)로 진행했습니다. 318개 답변에서 ChatGPT 웹 답변끼리는 브랜드의 54%(Jaccard 유사도)를 공유했고, 웹 답변과 API 답변은 28%, API 답변끼리는 34%를 공유했습니다. API는 자기 자신보다 웹과 더 덜 일치했습니다. 이는 노이즈가 아니라 체계적 차이의 특징입니다. Claude의 경우 면을 넘나든 수치는 21%로 같은 면 기준선 33%에 비교됐습니다. 이 격차는 소프트웨어 질문(38%)과 국제 질문(42%)에서는 감내할 수준이었지만 지역 서비스 업체에서는 무너졌습니다. ChatGPT 15%, Claude 12%입니다. 웹 ChatGPT는 답변당 평균 471단어와 7.4개 브랜드였고, API를 통한 같은 모델은 약 151단어와 3.7개 브랜드였습니다. Fischer는 프롬프트 트래커를 판매하지 않지만 관련 SEO 도구를 개발 중임을 공개하고 있어 완전한 중립자도 아닙니다. 그는 자기 한계를 분명히 밝힙니다. 한 사람, 하루, 한 지역, 데스크톱만, 29개 프롬프트.
벤더 연구가 더하는 것
추적 벤더들도 자체 비교를 진행했습니다. 인터페이스 기반 추적을 판매하는 Promptwatch는 2026년 8월 테스트에서 인터페이스 실행과 API 실행이 소스의 25.6%를 공유했고, 인터페이스가 찾은 소스의 70%는 API 결과에 전혀 나오지 않았다고 보고했습니다. 스크레이핑 기반 트래커를 판매하는 Surfer는 자체 스크레이핑 대 API 비교를 진행했습니다. ChatGPT에서는 브랜드 24%, 소스 4%가 겹쳤고, Perplexity에서는 API가 답변당 약 7개 소스를 반환한 반면 스크레이핑 결과는 10개였습니다. Promptwatch의 총정리는 2026년 4월 연구도 소개합니다. 퍼널 하단 프롬프트 35개를 세 가지 구성으로 10일간 돌린 결과, ChatGPT 인터페이스는 845개의 고유 브랜드를, 검색 없는 API는 135개를, 검색 있는 API는 580개를 표면화했습니다.
이 모든 것에는 벤더 연구라는 라벨을 붙여야 합니다. Promptwatch가 직접 말합니다. 인용한 연구들은 인터페이스 기반 추적을 판매하는 벤더들이 내놓은 것이니 그 점을 염두에 두고 읽으라고요. 세 회사가 한 방향으로 수렴하는 것 역시 증거이지만, 인용할 숫자는 위의 통제 실험 것입니다.
면을 고정해도 대상은 흐른다
면을 하나 골라 고정해도, 측정 대상은 움직입니다. ChatGPT 유료 플랜의 기본 모델은 2026년 10월 7일부터 GPT-6 Sol이지만, 앱은 모델 이름을 표시하지 않습니다. 여섯 엔진이 답변을 실시간 검색에 grounding하는 비율을 엔진당 약 2,500개 프롬프트로 측정하는 Cloro는 Gemini의 grounding 비율이 2026년 7월의 41.1%에서 8월에는 70.7%로 움직이는 것을 관측했습니다. 같은 기간 ChatGPT는 7월 98.4%에서 10월 97.6%로 이동했습니다. 답변 행동은 상수가 아니라 움직이는 모수입니다.
광고는 두 번째 가변 요소이며, 일부 면에만 존재합니다. OpenAI는 2026년 2월 9일부터 미국의 Free와 Go 플랜에 로그인한 성인 사용자를 대상으로 ChatGPT 답변 안에 라벨 광고 표시를 시작했습니다. 2026년 5월 20일 Google Marketing Live에서 Google은 AI Mode 안의 광고 형식을 발표했습니다. 목록형 답변 안의 스폰서 항목을 포함해 현재 미국에서 테스트 중입니다. Promptwatch의 FAQ는 측정상 귀결을 분명히 말합니다. 광고, 쇼핑 카드, 이미지 캐러셀, 로컬 패널은 인터페이스에만 존재하므로 API 응답에는 담길 수 없다고요. API 기반 트래커는 무료층 구매자가 실제로 보는 것을 놓치고, 스폰서를 오가닉 인용과 구분하지 않는 인터페이스 기반 카운터는 획득 가시성을 과대 표시합니다.
모든 가시성 점수에 던져야 할 다섯 질문
두 점수를 비교하기 전에도, 숫자 하나를 예산 회의에 들고 가기 전에도, 면 질문을 맨 앞에 두십시오. 도구를 평가한다면 모든 벤더에게 목록 맨 위에 놓여야 할 항목입니다(당사의 devtool 도구 비교).
첫째, 어떤 면이 측정됐는가. 로그인 웹인가, 로그아웃 웹인가, API인가. 그리고 웹 검색이 강제로 켜져 있었는가.
둘째, 어떤 모델 버전이고 어떤 날짜인가. Fischer가 폐기한 첫 API 라운드는 여기가 얼마나 쉽게 틀어지는지 보여줍니다.
셋째, 프롬프트 수와 프롬프트당 실행 횟수는 몇인가. Petra의 면 내 노이즈 바닥은 4.5~7.1%이므로, 작은 표본으로는 실제 5포인트 개선과 우연을 구별할 수 없습니다.
넷째, 스폰서 항목을 오가닉 인용과 함께 세는가, 따로 세는가.
다섯째, 벤더를 전혀 언급하지 않는 답변은 어떻게 처리되는가. Promptwatch는 언급 없는 응답을 0점으로 처리하고 방법을 공개합니다. 모든 벤더가 그러는 것은 아닙니다.
Fischer의 겹침 수치는 소프트웨어 질문(38%)과 영어 국제 세트(42%)에서 가장 높았습니다. 지역 서비스 업체에서는 면들이 일곱 브랜드 중 하나 정도만 일치했습니다. 면을 구매자가 있는 곳에 맞추고, 고정하고, 매달 다시 실행하십시오(수동 방법은 도구 없이 반나절이면 가능합니다). 번거로움을 감수할 상업적 이유는 변하지 않습니다. 구매자는 답변 안에서 이름이 언급된 브랜드 가운데 고릅니다.
우리가 하는 일
우리는 이 테스트의 더 큰 버전을 업으로 합니다. 이 사이트의 운영 팀인 CiteGap은 구매자가 쓰는 엔진 전체에 구매자 질문 30개를 던지고, 귀사 제품이 빠진 이유를 파악해 수정 목록을 전달합니다. 일회성 프로젝트로 진행되며, 지속 모니터링은 월간 구독으로 이용할 수 있습니다. 우리가 전달하는 모든 숫자에는 방법이 따라붙습니다. 질문, 엔진, 날짜입니다. 무료 스캔은 홈페이지를 즉시 점검하고 각 결과를 페이지에 표시합니다.
자주 묻는 질문
왜 ChatGPT는 웹과 API에서 서로 다른 답을 주는가?
웹 앱은 OpenAI가 공개하지 않는 시스템 프롬프트를 구동하고, 웹 검색 여부를 스스로 판단하며, 사용자의 위치, 채팅 기록, 저장된 메모리를 사용합니다. API에는 개발자가 추가하지 않는 한 이런 층이 없고, 많은 추적 도구는 비용 절감 때문에 웹 검색을 끈 채로 둡니다. 29개 질문에 걸친 동일 모델 비교에서 ChatGPT 웹 답변과 API 답변이 공유한 브랜드는 28%였고, 두 웹 답변 간 공유는 54%였습니다.
AI 가시성 점수는 얼마나 정확한가?
측정된 특정 면에 대해서만 정확하고, 그 이상은 아닙니다. Petra Labs의 900회 시행 실험은 접근 면을 넘나들 때 브랜드 가시성이 같은 면 안의 반복 실행 차이보다 1.5~3.6배 더 크게 달라진다는 것을 발견했습니다. 점수는 특정 엔진의 한 조각을 특정 날짜 묶음으로 측정한 것으로 취급하고, 엔진 전체의 측정으로 취급하지 마십시오.
서로 다른 두 도구의 AI 가시성 점수를 비교할 수 있는가?
직접 비교할 수는 없습니다. 도구들은 서로 다른 면에서 데이터를 수집하고, 다른 공식으로 점수를 매기며, 다른 프롬프트 집합을 다룹니다. Promptwatch 보고에 따르면 고객들은 같은 브랜드에 대해 도구 간 5~15%의 격차를 자주 봅니다. 각 벤더에게 면, 모델 버전, 채점 방법을 물어보고, 소수점 값이 아니라 추세의 방향을 비교하십시오.
ChatGPT API는 사용자가 보는 광고를 반환하는가?
아닙니다. 광고, 쇼핑 카드, 이미지 캐러셀, 로컬 패널은 인터페이스에만 존재하므로 API 응답에는 담길 수 없습니다. ChatGPT는 2026년 2월 9일부터 미국의 Free와 Go 플랜에 로그인한 성인 사용자에게 라벨 광고를 표시해 왔습니다.
AI 엔진은 시간이 지나면 답변 행동을 바꾸는가?
바꿉니다. 그것도 추적에 의미 있는 시간 규모에서입니다. Cloro의 측정으로 Gemini의 grounding 비율은 2026년 7월에 41.1%, 8월에 70.7%였습니다. ChatGPT 유료 플랜의 기본 모델은 2026년 10월 7일 GPT-6 Sol로 바뀌었습니다. 신뢰할 수 있는 추세에 필요한 최소한은 고정된 면에서의 월간 재실행입니다.
출처
- Petra Labs, 900회 시행 접근 면 실험, 2026년 2월 26일(최대 32.3포인트 브랜드 흔들림, 로그인 대 API 상위 5개 겹침 25%): petralabs.com
- Petra Labs, 반분 노이즈 분석(면 내 RMSE 4.5~7.1%, 면 간 10.8~16.1%): petralabs.com
- Nikolai Fischer, 동일 모델 웹 대 API 비교, 2026년 10월 16일(29개 프롬프트, 318개 답변, ChatGPT Jaccard 54/28/34%, Claude 21% 대 33%): nikofischer.com
- Promptwatch, UI 대 API 추적 테스트, 2026년 8월(공유 소스 25.6%, 인터페이스 소스의 70%는 API 결과에 부재, 도구 간 격차 5~15%): promptwatch.com
- Surfer, 스크레이핑 대 API 연구(ChatGPT 브랜드 겹침 24%, 소스 겹침 4%, Perplexity 7 대 10 소스): surfer.ai
- Cloro, 엔진별 grounding 비율(Gemini 2026년 7월~8월 사이 41.1%에서 70.7%, ChatGPT 7월 98.4%, 10월 97.6%): cloro.dev
- ppc.io, ChatGPT 광고 타임라인(미국 롤아웃은 2026년 2월 9일 시작, Free와 Go 플랜 로그인 성인 대상): ppc.io
- Search Engine Land, Google Marketing Live 2026(AI Mode 광고 형식, 미국 테스트 중, 2026년 5월 20일): searchengineland.com