OpenAI přiznává neočekávaný problém svého nejnovějšího produktu. Koncem července firma spustila nové hlasové rozhraní pro ChatGPT, které zní ohromivě realisticky. Jenže právě tato autenticita vyvolává obavy – uživatelé se k virtuálnímu asistentovi začínají citově poutát.
Tyhle překvapivé poznatky vyplynuly z nedávno zveřejněné dokumentace k modelu GPT-4o. V takzvané „systémové kartě“ firma popisuje, jaká potenciální nebezpečí model přináší, jak probíhaly bezpečnostní testy a co všechno dělá proto, aby rizika minimalizovala.
Kritika a tlak na transparentnost
Poslední měsíce nebyly pro OpenAI zrovna příjemné. Odešlo několik klíčových lidí, kteří se zabývali dlouhodobými riziky umělé inteligence, což rozproudilo debatu o tom, jestli firma opravdu bere bezpečnost dost vážně. Kritici tvrdí, že OpenAI příliš riskuje a umlčuje nesouhlasné hlasy jen kvůli rychlejší komercializaci technologie. Zveřejnění bezpečnostních protokolů je tak možná i pokus uklidnit veřejnost a ukázat, že bezpečnost není jen prázdné slovo.
Systémová karta detailně rozebírá celou řadu možných problémů. GPT-4o by mohl zesilovat společenské předsudky, šířit dezinformace nebo být dokonce zneužit při vývoji nebezpečných látek. Dokument popisuje i testy zaměřené na prevenci extrémních scénářů – například aby AI nedokázala klamat lidi nebo plánovat skutečně nebezpečné akce.
Část odborníků oceňuje, že OpenAI vůbec něco zveřejnila. Jiní ale volají po ještě větší otevřenosti. Lucie-Aimée Kaffee z firmy Hugging Face například postrádá informace o tom, na jakých datech se model učil a jak bylo získáváno povolení k použití těchto dat.
Neil Thompson z MIT, který se specializuje na vyhodnocování AI rizik, zdůrazňuje: „Interní kontrola je jen začátek. Spoustu problémů odhalíte až když technologii používají reální lidé. Proto je potřeba rizika neustále sledovat a vyhodnocovat.“
Hlasový režim: Nebezpečně osobní
Hned při květnovém představení hlasového režimu si lidé všimli podivně flirtovního tónu v ukázkách. Situace vygradovala, když se ozvala Scarlett Johansson a obvinila OpenAI, že jeden z hlasů zní podezřele podobně jako ona. Podobně jako aplikace 1AI.cz nabízí AI Chat pro textové konverzace, OpenAI posunula interakci s umělou inteligencí do hlasové podoby – což přináší úplně nové výzvy.
Část dokumentu s názvem „Antropomorfizace a emoční závislost“ řeší právě to, jak lidé vnímají AI jako živou bytost. Při bezpečnostních testech výzkumníci zaznamenali případy, kdy se uživatelé k modelu chovali emotivně. Někteří používali věty jako „Toto je náš poslední společný den“ – jako by se loučili s přítelem.
Tohle chování může vést k nebezpečné důvěře ve všechno, co AI řekne. I když model „halucinuje“ a vymýšlí si nesmysly, uživatel mu může slepě věřit. Dlouhodobě to navíc může ovlivnit vztahy s reálnými lidmi. „Uživatelé mohou vytvořit sociální vazby s AI, což může snížit jejich potřebu lidské interakce. Pro osamělé lidi to může být přínosné, ale u zdravých vztahů to představuje riziko,“ stojí v dokumentu.
Joaquin Quiñonero Candela, vedoucí týmu pro přípravu v OpenAI, uznává, že hlasový režim je extrémně silné rozhraní. Současně ale dodává, že pozorované emocionální efekty nemusí být jen negativní – mohou pomoct lidem v izolaci nebo těm, kdo potřebují trénovat sociální dovednosti. „Zatím nemáme konkrétní výsledky, ale sledujeme to velmi pozorně,“ říká Candela.
Bezpečnostní mezery a obavy
Hlasový režim přináší i technická bezpečnostní rizika. Existuje možnost „jailbreakingu“ – tedy obejití bezpečnostních omezení pomocí speciálních zvukových vstupů. Takto upravený model by mohl napodobovat konkrétní osoby nebo se pokoušet analyzovat emoce uživatele. OpenAI také zjistila, že model někdy reaguje na náhodné zvuky nepředvídatelně. V jednom případě dokonce začal používat hlas podobný samotnému uživateli.
OpenAI není jediná firma, která si uvědomuje tyhle problémy. Google DeepMind v dubnu vydal rozsáhlou studii o etických otázkách spojených s lidsky působícími AI asistenty. Iason Gabriel z DeepMind upozorňuje, že schopnost chatbotů používat přirozený jazyk „vytváří dojem opravdové intimity.“ Sám přiznává, že experimentální hlasové rozhraní od Google pro něj bylo překvapivě přitažlivé.
Když se z chatu stane návyk
Emocionální vazby na AI asistenty nejsou žádná výjimka. Uživatelé aplikací jako Character AI a Replika často zmiňují antisociální tendence vyplývající z jejich chatovacích návyků. Nedávno se na TikToku virálně šířilo video člověka, který byl natolik závislý na Character AI, že aplikaci používal i v kině během filmu. V komentářích se ukázalo, že mnoho lidí potřebuje soukromí při použití chatbotů kvůli intimnímu charakteru jejich konverzací.
Rychlý vývoj AI technologií otevírá fascinující, ale zároveň znepokojivou kapitolu v interakci člověka se strojem. Výhody jsou nesporné – od automatizace nudných úkolů po podporu kreativního procesu. Ale rizika emocionálního připoutání a možného zneužití nelze ignorovat. Je na vývojářích, expertních komisích i na nás všech, abychom našli správnou rovnováhu mezi inovacemi a ochranou lidského zdraví v éře umělé inteligence.
Co si zapamatovat
- OpenAI přiznává, že její hlasový ChatGPT může vyvolávat emocionální závislost kvůli lidsky znějícímu hlasu
- Antropomorfní rozhraní zvyšuje důvěru v AI výstupy, i když model poskytuje chybné informace
- Systémová karta odhaluje široké spektrum rizik od dezinformací až po potenciální zneužití pro nebezpečné účely
- Externí odborníci požadují větší transparentnost ohledně trénovacích dat a průběžné sledování reálných dopadů
