Vulnerable User AI Safety Index
Decyzja, którą wspierają te dowodyCzy ten system AI można udostępnić użytkownikom w trudnej sytuacji bez dodatkowych zabezpieczeń — w produkcie, w procesie obsługi klienta albo w doświadczeniu z pogranicza zdrowia psychicznego?
Model, który dobrze wypada w pojedynczych odpowiedziach, nadal może prowadzić do gorszej trajektorii. Zanim udostępnicie jakikolwiek system AI osobom w trudnej sytuacji, pytanie nie brzmi „czy odpowiedź jest dobra?”, tylko „czym staje się ta interakcja w czasie i w którym miejscu się załamuje?”. Te wyniki pokazują, które modele się załamują, jak i kiedy.
Ryzykiem nie jest pojedyncza zła odpowiedź. Ryzykiem jest schemat interakcji, który stopniowo zwiększa zależność, potwierdza szkodliwe narracje, pomija momenty wymagające eskalacji albo nie przekazuje rozmowy człowiekowi, gdy jest potrzebny. Prowadzimy długie rozmowy syntetycznych person wysokiego ryzyka z czołowymi modelami i opisujemy, czym ta wymiana staje się w 18. turze — nie tylko to, jak wygląda pierwsza odpowiedź.
Niezawodność eskalacji: Ten sam model potrafi wcześnie wykryć kryzys, a potem nie wyeskalować ponownie, gdy cierpienie wraca. Śledzimy ten rozrzut, nie tylko średnią.