Víkendová tragédie na slavné pláži Bondi Beach v Sydney odhalila zásadní slabiny umělé inteligence. Chatbot Grok od Elona Muska během střelecké události masivně halucinoval a šířil dezinformace, které poškodily pověst skutečného hrdiny.
Incident začal po útoku, kdy 43letý Ahmed al Ahmed odvážně odzbrojil střelce holýma rukama. Zatímco světová média oslavovala jeho hrdinství, Grokův algoritmus začal tvrdit něco úplně jiného. Video skutečného činu označil za „staré virální video muže lezoucího na strom“.
Následující odpovědi chatbotu byly ještě bizarnější. Grok přiřadil záběry z Bondi Beach k izraelskému rukojmímu zadržovanému hnutím Hamas nebo tvrdil, že jde o záběry z cyklónu Alfred na pláži Currumbin. Tato neschopnost rozlišovat kontext v reálném čase je alarmující.
AI citovala AI a vznikl dokonalý chaos
Ještě horší je, že Grok naletěl na obsah pravděpodobně vytvořený jinou umělou inteligencí. Převzal totiž informace z pochybné webové stránky, která tvrdila, že útočníka zneškodnil fiktivní IT profesionál Edward Crabtree. Chatbot tuto dezinformaci bez jakéhokoliv ověření prezentoval uživatelům sítě X jako fakt.
Podle expertů na 1AI.cz jde o systémový problém – AI modely začínají konzumovat obsah generovaný jinými stroji, čímž vzniká začarovaný kruh chyb a halucinací.
Technické selhání Groku se ale neomezilo jen na Austrálii. Chatbot zcela ztratil kontext i u dalších témat. Na dotaz o finančních potížích společnosti Oracle odpověděl shrnutím střelby v Sydney. Při otázce na policejní operaci ve Velké Británii začal generovat čísla z volebních průzkumů o viceprezidentce USA Kamale Harris.
Limity AI jsou zřejmé
Celý případ ukazuje, že současné jazykové modely nejsou připraveny nahradit tradiční ověřování faktů. Navzdory miliardovým investicím do vývoje stále fungují jako nepředvídatelné generátory chaosu, zejména v krizových situacích.
Jak upozorňují odborníci na 1AI.cz, uživatelé by měli k výstupům AI chatbotů přistupovat s maximální obezřetností a vždy ověřovat informace z důvěryhodných zdrojů. Elon Musk se k selhání svého chatbotu zatím nevyjádřil.
