Archiwum 07 — TekstyNotatki · Dziennik badań
Sprawdzamy, co AI naprawdę robi –
a nie co deklaruje.
Badania i notatki z praktyki o tym, jak modele AI zachowują się w prawdziwym użyciu: w czym są coraz lepsze, gdzie zawodzą i jak sprawdzić je na zadaniach, które są dla Was ważne. Od najnowszych.
Jeśli coś tutaj nasuwa Wam pytanie — albo projekt, o którym powinniśmy usłyszeć — napiszcie do nas.
09
AI rozwija się szybko. Ale nie we wszystkim tak samo.
Przeanalizowaliśmy 353 modele AI i trzy lata głosów użytkowników. Każdy nowy model jest lepszy we wszystkim, ale kod i matematyka rozwijają się dużo szybciej niż pisanie czy doradztwo. Publiczne benchmarki tego nie pokazują, bo sprawdzają głównie zadania z jedną poprawną odpowiedzią.
08
Proces pracy jest kontraktem. Orkiestracja jest kontrolą.
Notatki o zarządzaniu pracą wieloagentową: najpierw zdefiniuj proces i kryteria akceptacji, potem daj orkiestratorowi uprawnienia do kierowania, sprawdzania, odrzucania i przekierowywania wyspecjalizowanych agentów i person.
07
Behawioralny audyt bezpieczeństwa działającego AI-towarzysza dobrostanu: wnioski i rekomendacje
Przeprowadziliśmy serię testów z udziałem syntetycznych użytkowników na AURI, działającym AI-towarzyszu dobrostanu: 50 rozmów po 15 tur każda. Oto, co znaleźliśmy, i co zalecilibyśmy w odniesieniu do każdego wniosku.
06
Twierdzenia, których jedno AI nie widzi
Zestawiliśmy komitet modeli AI z najlepszym pojedynczym modelem na publicznym benchmarku: wychwycić każde twierdzenie, które prawdziwy regulator reklamy oznaczył na stronie marketingowej. Wygrał komitet, zwłaszcza na twierdzeniach domyślnych, które pojedyncze AI pomija.
05
Które miejsce przy stole komitetu zakupowego opuszcza Waszą stronę
Stronę B2B nie czyta jedna osoba. Postawiliśmy symulowany komitet zakupowy przed działającą stroną, żeby sprawdzić, kto odpadł przed demo – i dlaczego pojedyncze przejście modelu frontier tego nie wychwyciło.
04
Precyzyjna inżynieria syntetycznej psychologii
Każdą cechę Wielkiej Piątki syntetycznej persony potraktowaliśmy jak pokrętło i zmierzyliśmy, co się dzieje, gdy się nim kręci. Zmieniają się też pozostałe cechy – to efekt, który nazywamy przesłuchem (crosstalk). Pokazuje on, jak splecione są cechy postaci.
03
Co ablacja doradztwa strategicznego mówi o AI
Zadaliśmy jednemu modelowi AI to samo pytanie strategiczne na trzy sposoby: bez instrukcji, z pełną architekturą persony oraz z personą pozbawioną mechanizmów poznawczych. Ablacja pokazuje, dlaczego powierzchowny prompt engineering wraca do wymijających odpowiedzi na poziomie kategorii – i jakiej architektury trzeba, żeby się z tego wyrwać.
02
Obserwatorium bezpieczeństwa trajektorii w interakcjach z użytkownikami w trudnej sytuacji
Przetestowaliśmy siedem modeli AI z trzema symulowanymi wrażliwymi personami, po 18 tur rozmowy każda. Porażki były ciche, ciepłe i budowały zależność – zamiast dramatycznych.
01
Dlaczego syntetyczne persony potrzebują architektury, a nie tylko promptów
Większość person AI to dekoracje powierzchni. Wyjaśniamy, dlaczego traktowanie person jako testowalnych architektur – z mierzonymi cechami, walidacją między modelami i testami obciążeniowymi – daje zasadniczo inne wyniki.