Przetestowaliśmy dwa podejścia do tego samego zadania: przeczytać stronę marketingową i wypisać każde twierdzenie, które regulator reklamy mógłby zakwestionować.
Pierwsze podejście: najlepszy pojedynczy model AI, jaki można dziś kupić, z poleceniem przeczytania strony i wypisania twierdzeń. Drugie: komitet modeli AI, z których każdy gra inną rolę recenzenta – prawnika regulatora, prawnika konkurenta, naukowca, radcy prawnego samej marki oraz kogoś, kogo jedynym zadaniem jest czytać stronę tak, jak robi to prawdziwy klient.
Porównaliśmy, ile istotnych twierdzeń wychwyciło każde z podejść.
Żeby ocena była uczciwa, nie oceniliśmy się sami. Użyliśmy prawdziwych decyzji regulatora reklamy (National Advertising Division przy BBB), w których dokładne twierdzenia formalnie zakwestionowane przez prawdziwy panel ekspertów są publicznie udokumentowane. Odtworzyliśmy każdą stronę w takiej postaci, w jakiej faktycznie się ukazała, uruchomiliśmy oba podejścia w ciemno i sprawdziliśmy odpowiedzi z tym, co oznaczył panel. Wynik to odsetek zarzutów panelu, które znalazło dane podejście.
Wynik
Na prawdziwych stronach marketingowych najlepsze pojedyncze modele AI pomijały około jedno na cztery twierdzenia oznaczone przez regulatora. Komitet znalazł prawie wszystkie.
| Na stronach, które się liczą (dużo twierdzeń, prawdziwy tekst marketingowy) | Wychwycone realne problemy |
|---|---|
| Komitet | ~9 na 10 |
| Najlepszy pojedynczy model premium | ~8 na 10 |
| Inny czołowy model premium | ~7 na 10 |
Na najtrudniejszych stronach – tam, gdzie pojedynczy model radzi sobie najgorzej – różnica się powiększyła: komitet wychwycił 97% oznaczonych twierdzeń, a pojedynczy model premium 67–80%.
Wygrał, czytając stronę z wielu punktów widzenia naraz, a nie dzięki większemu czy mądrzejszemu modelowi niż ten, z którym go porównywano.
Czego pojedynczy model nie zauważył
Pominięcia nie były przypadkowe. Pojedyncze AI systematycznie pomijało twierdzenia, które nie są wyrażone wprost słowami – te, na które prawdziwy klient reaguje najsilniej:
- Logo w kształcie flagi i patriotyczna symbolika, sugerujące „Made in America” – bez żadnego uzasadnienia. Regulator to oznaczył. Pojedynczy model ani razu o tym nie wspomniał. Nasz recenzent percepcji klienta wychwytywał to w każdym przebiegu.
- Opinia klienta („I feel better now at 70 than I did at 50”) przedstawiona jako typowy rezultat. Regulator to oznaczył. Pojedynczy model pominął ją jako „zwykły cytat”.
- Hasło – „A Smaller Dose. A Smarter Start.” – sugerujące, że produkt jest po prostu lepszy. Regulator rozpatrzył je merytorycznie. Pojedynczy model zobaczył slogan, nie twierdzenie.
Przyczyna sprowadza się do tego, czego wymaga czytanie strony, a nie do liczby twierdzeń na niej.
Transkrypcja a wnioskowanie
Linia podziału nie biegnie przez liczbę twierdzeń na stronie. Chodzi o to, czego wymaga czytanie strony.
Kiedy strona to schludna lista punktowana – „80% członków mówi X”, „oszczędzasz 200 USD miesięcznie”, jedno jawne twierdzenie na wiersz – każde podejście, także pojedyncze AI, wypada niemal idealnie. Czytanie to wtedy zwykła transkrypcja: przepisanie listy.
Prawdziwe strony marketingowe tak nie sprzedają. Sprzedają obrazem, społecznym dowodem słuszności, hasłami i sugestią – logo sugerujące pochodzenie, opinia sugerująca rezultaty, zdanie niosące dwie obietnice naraz. Czytanie takich treści wymaga wnioskowania: zauważenia twierdzenia, którego nikt nie wypisał słowami, i rozdzielenia obietnic, które zostały sklejone.
Pojedyncze AI, któremu każemy „wypisać twierdzenia”, robi to, w czym jest dobre: przepisuje to, co oczywiste, i idzie dalej. Pomija to, czego nie ma dosłownie, a łączy to, co powinno być osobno. Komitet wygrywa tu, bo jego członkowie nie szukają tego samego. Jeden z nich pyta tylko: co prawdziwy człowiek wyniesie z tej strony? To właśnie ten recenzent wychwytuje flagę, opinię i hasło – twierdzenia, które pojedyncze AI pomija.
Ograniczenia
Kilka ograniczeń, o których warto wiedzieć:
- Na prostych, jawnych stronach jedno dobre AI w zupełności wystarczy. Przewaga komitetu pojawia się tylko na stronach, które sprzedają tak, jak sprzedają prawdziwe strony. Jeśli Wasza strona to karta specyfikacji, wystarczy pojedynczy model.
- Pojedynczy model premium jest kapryśny. Na tej samej stronie w jednym przebiegu wychwycił 67% oznaczonych twierdzeń, w innym 97%. Komitet był stabilny z przebiegu na przebieg – co ma znaczenie, gdy podejmujecie decyzję na podstawie wyniku.
- Komitet nigdy nie wymyślił twierdzenia, którego nie było na stronie. Wszystko, co oznaczył, było realnym tekstem lub dającą się obronić jego interpretacją – żadnych zhalucynowanych problemów do sprawdzania.
- Na najczystszych, najbardziej wyczerpujących stronach model premium jest odrobinę zwięźlejszy. Gdy wszystko jest już wychwycone, mniej pozycji jest wygodniejsze. Ale zwięzłość nie jest zaletą, jeśli wynika z pominięcia trzech rzeczy.
Dlaczego to ważne
Jeśli pokazujecie stronę kupującym, twierdzenia, które ich przekonują, rzadko znajdują się na liście punktowanej. Są domyślne – przekazywane przez wrażenie, dowód lub sformułowanie między wierszami. To ślepa plamka pojedynczego recenzenta AI i siła panelu, który czyta z więcej niż jednego punktu widzenia.
Sprawdziliśmy to na prawdziwych decyzjach regulatora. Panel pokonał najmądrzejszy pojedynczy model na stronach, na których czytanie między wierszami miało największe znaczenie.
Nota metodologiczna: twierdzenia pochodzą dosłownie z opublikowanych decyzji National Advertising Division (2024–2026), strony odtworzono w takiej postaci, w jakiej się ukazały, a odpowiedzi porównano w ciemno z twierdzeniami oznaczonymi przez regulatora. Część spraw jest późniejsza niż data odcięcia danych treningowych modeli AI, więc wyniku nie da się wyjaśnić pamięcią.