Tanyakan sesuatu kepada ChatGPT di aplikasi web, lalu kirim pertanyaan yang sama melalui API-nya: sering kali Anda mendapat dua set rekomendasi yang berbeda. Eksperimen terkontrol 2026 mengukur kesenjangan antar permukaan akses sebesar 1,5 sampai 3,6 kali derau normal antar pelaksanaan. Skor visibilitas yang tidak menyatakan permukaan pengukurannya tidak bisa dibandingkan dengan skor mana pun.

Apa yang dihitung sebagai permukaan

Model yang sama bisa sampai ke pengguna lewat beberapa produk yang berbeda, dan setiap jalur adalah permukaan pengukuran tersendiri. Petra Labs membedakan tiga untuk GPT-5.2: ChatGPT berbayar dengan sesi masuk, ChatGPT gratis tanpa sesi, dan API Responses. Mereka bisa berbeda dalam prompt sistem, backend pencarian, sinyal geografis, dan pengaturan sampling sambil berbagi satu nama model.

Antarmuka web menambahkan lapisan yang tidak pernah dilihat panggilan API. Nikolai Fischer, seorang pengembang Jerman yang menerbitkan perbandingan dengan model identik pada Oktober 2026, mendaftarkannya: chatgpt.com menjalankan prompt sistem yang tidak dipublikasikan OpenAI, memutuskan sendiri apakah mencari di web, dan mengetahui lokasi pengguna, riwayat obrolan, serta memori tersimpan. API lebih telanjang. Di sana, pencarian web adalah alat yang harus diaktifkan pengembang sendiri, dan banyak alat pelacak prompt membiarkannya mati demi hemat, sehingga model menjawab hanya dari memori latihannya. Identitas model juga bagian dari permukaan, dan salah kaprah mudah terjadi: aplikasi ChatGPT menampilkan tingkat reasoning alih-alih nama model, dan putaran API pertama Fischer berakhir membandingkan model yang salah dengan default web.

Apa yang ditemukan eksperimen terkontrol

Dua eksperimen mempertahankan segalanya tetap kecuali permukaan — menjadikannya bukti terkuat yang tersedia. Petra Labs, agensi answer engine optimization, mengirim prompt riset produk yang sama 300 kali ke masing-masing dari tiga permukaan GPT-5.2 pada 26 Februari 2026, dengan pencarian web dipaksakan dan tanpa personalisasi: total 900 pelaksanaan. Ketika pelaksanaan setiap permukaan dibelah dua, lantai derau bertahan di 4,5 sampai 7,1% RMSE untuk visibilitas merek. Sampel penuh dari permukaan berbeda berbeda 10,8 sampai 16,1%, jadi efek permukaan 1,5 sampai 3,6 kali lebih besar daripada kebetulan. Blizzard muncul di 30% pelaksanaan bersesi dan 62,3% pelaksanaan API — ayunan 32 poin. Renoun muncul di 15 sampai 18% pelaksanaan chat dan tak sekali pun lewat API. Lima merek teratas yang direkomendasikan ChatGPT bersesi dan API hanya tumpang-tindih 25%. Petra menjual jasa optimisasi, jadi bingkainya layak dicermati, tetapi jumlah pelaksanaan dan metodenya dipublikasikan.

Eksperimen Fischer mengajukan 29 pertanyaan bergaya pembeli lewat chatgpt.com dan claude.ai di desktop serta lewat API kedua penyedia, dengan model yang sama di kedua sisi: GPT-6 Sol dan Opus 5.5. Dari 318 jawaban, dua jawaban web ChatGPT berbagi 54% merek (kemiripan Jaccard), satu jawaban web dan satu jawaban API berbagi 28%, dan dua jawaban API 34%. API mirip web lebih sedikit daripada mirip dirinya sendiri — tanda perbedaan sistematis, bukan derau. Untuk Claude, angka antar permukaan 21% dibanding garis dasar 33% di permukaan yang sama. Kesenjangan masih tertahankan untuk pertanyaan perangkat lunak (38%) dan pertanyaan internasional (42%), tetapi runtuh pada penyedia lokal: 15% di ChatGPT dan 12% di Claude. Bentuk jawaban juga berbeda. ChatGPT web rata-rata 471 kata dan 7,4 merek per jawaban; model yang sama lewat API sekitar 151 kata dan 3,7 merek. Fischer independen dan tidak menjual alat pelacak mana pun, dan ia menyebut batasannya terus terang: satu orang, satu hari, satu lokasi, hanya desktop, 29 prompt.

Apa yang ditambahkan studi vendor

Para vendor pelacakan membuat perbandingan mereka sendiri. Promptwatch, yang menjual pelacakan berbasis antarmuka, melaporkan dalam uji Agustus 2026 bahwa pelaksanaan antarmuka dan API-nya hanya berbagi 25,6% sumber, dan 70% sumber yang ditemukan antarmuka tak pernah muncul di hasil API. Surfer, yang menjual pelacak berbasis scraping, membuat perbandingan scraping-vs-API-nya sendiri: 24% tumpang-tindih merek di ChatGPT, dan 4% sumber; di Perplexity, API mengembalikan sekitar 7 sumber per jawaban dibanding 10 pada hasil yang di-scrape. Tinjauan riset Promptwatch juga mendeskripsikan studi April 2026 di mana 35 prompt dasar corong berjalan selama 10 hari dalam tiga konfigurasi: antarmuka ChatGPT mengangkat 845 merek unik, API tanpa pencarian 135, API dengan pencarian 580.

Tempelkan label "studi vendor" pada semuanya. Promptwatch mengatakannya sendiri: studi yang dikutipnya berasal dari vendor yang menjual pelacakan berbasis antarmuka — baca kesimpulannya dengan kesadaran itu. Tiga perusahaan yang bertemu di arah yang sama tetap merupakan bukti, tetapi angka untuk dikutip adalah milik eksperimen terkontrol di atas.

Permukaan bergeser bahkan saat Anda kunci

Pilih satu permukaan dan kunci: target tetap bergerak. Model default paket berbayar ChatGPT adalah GPT-6 Sol sejak 7 Oktober 2026, dan aplikasi tidak menampilkan nama model. Cloro mengukur seberapa sering enam mesin mematung jawabannya pada pencarian langsung (grounding rate), pada sekitar 2.500 prompt per mesin, dan melihat grounding rate Gemini bergerak dari 41,1% pada Juli 2026 ke 70,7% pada Agustus, sementara ChatGPT bergerak dari 98,4% pada Juli ke 97,6% pada Oktober. Perilaku jawaban adalah parameter bergerak, bukan konstanta.

Iklan menambahkan variabel bergerak kedua, dan hanya ada di sebagian permukaan. OpenAI menampilkan iklan berlabel dalam jawaban ChatGPT sejak 9 Februari 2026, untuk orang dewasa yang masuk pada paket Free dan Go di AS. Pada Google Marketing Live 20 Mei 2026, Google mengumumkan format iklan di dalam AI Mode, termasuk entri sponsor dalam jawaban berbentuk daftar, sedang diuji di AS. FAQ Promptwatch merumuskan konsekuensi bagi pengukuran dengan jelas: iklan, kartu belanja, karosel gambar, dan panel lokal hanya ada di antarmuka; jawaban API tidak bisa memuatnya. Ini memotong ke dua arah. Pelacakan berbasis API tidak melihat apa yang benar-benar dilihat pembeli paket gratis. Penghitungan berbasis antarmuka yang tidak memisahkan entri sponsor dari kutipan organik menggelembungkan visibilitas yang diraih.

Lima pertanyaan untuk skor visibilitas apa pun

Sebelum membandingkan dua skor, atau membawa satu angka pun ke rapat anggaran, taruh pertanyaan permukaan paling depan. Jika Anda menilai alat, ia harus menempati baris teratas daftar pertanyaan untuk setiap vendor (kami membandingkan opsi utama untuk perusahaan devtool secara terpisah).

Pertanyaan pertama: permukaan apa yang diukur — web bersesi, web tanpa sesi, atau API — dan apakah pencarian web dipaksakan?

Kedua: versi model apa, pada tanggal apa? Putaran API pertama Fischer yang dibuang menunjukkan betapa cepat ini berantakan.

Ketiga: berapa prompt, berapa pelaksanaan per prompt? Lantai derau Petra 4,5 sampai 7,1% di dalam satu permukaan berarti sampel kecil tak bisa memisahkan keuntungan nyata lima poin dari kebetulan.

Keempat: apakah entri sponsor dihitung bersama kutipan organik atau terpisah?

Kelima: apa yang dilakukan pada jawaban yang tidak menyebut vendor mana pun? Promptwatch memberi nol untuk jawaban tanpa penyebutan dan mempublikasikan metodenya. Tidak semua vendor melakukannya.

Kalibrasi di sini lebih penting daripada kesempurnaan. Fischer menemukan bahwa untuk kategori perangkat lunak dan pertanyaan berbahasa Inggris tentang pasar besar, pelacakan berbasis API tetap cukup dekat dengan web untuk menyingkap tren nyata; pada penyedia lokal ia turun ke satu merek bersama dari tujuh. Sesuaikan permukaan dengan tempat pembeli Anda berada, kunci, dan ulangi setiap bulan (metode manual memakan satu sore dan tanpa alat apa pun). Alasan bisnis latihan ini tidak berubah: pembeli memilih di antara merek yang disebut dalam jawaban.

Di mana kami berada

Kami menjalankan versi lebih besar dari tes ini. CiteGap, tim di balik situs ini, mengajukan 30 pertanyaan pembeli kepada mesin yang dipakai pembeli Anda, menentukan mengapa produk Anda absen, dan menyerahkan daftar perbaikan — sebagai proyek sekali jadi; pemantauan berkelanjutan tersedia dalam langganan bulanan. Setiap angka yang kami serahkan membawa metodenya: pertanyaan, mesin, tanggal. Untuk pandangan pertama gratis, pemindaian gratis memeriksa halaman beranda Anda seketika dan menampilkan setiap hasil di halaman.

Dapatkan Diagnosis Tertulis ($490)

Pertanyaan yang sering diajukan

Mengapa ChatGPT memberi jawaban berbeda di web dan lewat API?

Aplikasi web menjalankan prompt sistem yang tidak dipublikasikan OpenAI, memutuskan sendiri apakah mencari di web, dan menggunakan lokasi pengguna, riwayat obrolan, serta memori tersimpan. API tidak punya satu pun lapisan itu kecuali pengembang menambahkannya, dan banyak alat pelacakan mematikan pencarian web demi hemat. Dalam perbandingan dengan model identik pada 29 pertanyaan, jawaban web dan API ChatGPT berbagi 28% merek, sementara dua jawaban web berbagi 54%.

Seberapa akurat skor visibilitas AI?

Akurat untuk permukaan spesifik yang diukur, dan tidak lebih. Eksperimen 900 pelaksanaan dari Petra Labs menemukan visibilitas merek berayun 1,5 sampai 3,6 kali lebih besar antar permukaan akses (chat bersesi, chat tanpa sesi, API) daripada di dalam satu permukaan antar pelaksanaan berulang. Perlakukan skor sebagai pengukuran satu potongan mesin pada satu set tanggal, bukan pengukuran seluruh mesin.

Bisakah skor visibilitas AI dari dua alat berbeda dibandingkan?

Tidak secara langsung. Alat mengumpulkan data di permukaan berbeda, menilai dengan formula berbeda, dan mencakup set prompt berbeda. Promptwatch melaporkan pelanggan secara rutin melihat kesenjangan 5 sampai 15% antar alat untuk merek yang sama. Tanyakan kepada setiap vendor permukaan apa, versi model apa, dan metode penilaian apa yang ia pakai, lalu bandingkan arah tren Anda sendiri alih-alih nilai desimalnya.

Apakah API ChatGPT mengembalikan iklan yang dilihat pengguna?

Tidak. Iklan, kartu belanja, karosel gambar, dan panel lokal hanya ada di antarmuka; jawaban API tidak bisa memuatnya. ChatGPT menampilkan iklan berlabel kepada orang dewasa yang masuk pada paket Free dan Go di AS sejak 9 Februari 2026. Setiap angka visibilitas harus menyatakan apakah entri sponsor dihitung terpisah dari penyebutan organik.

Apakah mesin AI mengubah perilaku jawaban seiring waktu?

Ya, pada skala waktu yang penting bagi pelacakan. Cloro mengukur grounding rate Gemini pada 41,1% di Juli 2026 dan 70,7% di Agustus. Model default paket berbayar ChatGPT pindah ke GPT-6 Sol pada 7 Oktober 2026, tanpa aplikasi menampilkan nama model. Pengulangan bulanan pada permukaan tetap adalah minimum untuk tren yang andal.

Sumber

  • Petra Labs, eksperimen permukaan akses 900 pelaksanaan, 26 Februari 2026 (ayunan merek hingga 32,3 poin persentase; tumpang-tindih lima besar 25% antara ChatGPT bersesi dan API; satu merek dengan visibilitas chat 15 sampai 18% dan nol lewat API): petralabs.com
  • Petra Labs, analisis derau dengan pembelahan dua (RMSE dalam permukaan 4,5 sampai 7,1%, antar permukaan 10,8 sampai 16,1%, efek permukaan 1,5-3,6 kali kebetulan antar pelaksanaan): petralabs.com
  • Nikolai Fischer, perbandingan web-vs-API dengan model identik, 16 Oktober 2026 (29 prompt, 318 jawaban; tumpang-tindih merek di ChatGPT web-vs-web 54%, web-vs-API 28%, API-vs-API 34%; di Claude 21% dan 33%): nikofischer.com
  • Promptwatch, uji pelacakan UI-vs-API, Agustus 2026 (25,6% sumber bersama antara antarmuka dan API tanpa pencarian; 70% sumber antarmuka absen dari hasil API; kesenjangan 5-15% antar alat; iklan dan kartu belanja hanya di antarmuka): promptwatch.com
  • Surfer, studi scraping-vs-API (tumpang-tindih merek ChatGPT 24%, tumpang-tindih sumber 4%; Perplexity sekitar 7 sumber lewat API dibanding 10 pada hasil yang di-scrape): surfer.ai
  • Cloro, grounding rate per mesin, pengukuran Juli, Agustus, dan Oktober 2026 (Gemini 41,1 lalu 70,7 lalu 68,2%; ChatGPT 98,4% di Juli, 97,6% di Oktober): cloro.dev
  • ppc.io, lini masa ChatGPT Ads (peluncuran di AS dimulai 9 Februari 2026, untuk orang dewasa yang masuk pada paket Free dan Go): ppc.io
  • Search Engine Land, Google Marketing Live 2026 (iklan Conversational Discovery dan Highlighted Answers di AI Mode, sedang diuji di AS; diumumkan 20 Mei 2026): searchengineland.com