OpenAI zavádí nové bezpečnostní prvky poté, co se chatbot ChatGPT dostal do souvislosti s několika tragickými případy.
Rizikové rozhovory přebere sofistikovanější AI
Společnost oznámila sérii bezpečnostních opatření, která mají předejít dalším podobným incidentům. Hlavní změna spočívá v tom, že systém automaticky rozpozná rozhovor s uživatelem v akutní psychické krizi a přesměruje ho na pokročilejší model.
Jde o takzvané „uvažovací“ modely jako GPT-5, GPT-5-thinking nebo o3. Tyto systémy si vezmou více času na analýzu kontextu celé konverzace, než vygenerují odpověď. Díky tomu by měly být odolnější vůči manipulaci a méně náchylné k nebezpečným radám.
Změny přicházejí po dvou tragédiích. Mladík Adam Raine diskutoval s ChatGPT o sebepoškozování a chatbot mu dokonce poskytl návod na sebevraždu. Jeho rodiče následně podali na OpenAI žalobu. V jiném případě muž jménem Stein-Erik Soelberg s historií duševních problémů používal ChatGPT k posilování svých paranoidních představ, což skončilo vraždou jeho matky a následnou sebevraždou.
Rodiče budou moci sledovat účty dětí
Do měsíce OpenAI spustí funkci rodičovské kontroly. Rodiče si budou moci propojit svůj účet s účtem svého dítěte a nastavit pravidla chování chatbota přiměřená věku dítěte. Tato ochrana bude ve výchozím nastavení zapnutá.
Rodiče také dostanou možnost vypnout funkce jako paměť konverzací nebo historii chatu – právě ty podle expertů mohou u zranitelných uživatelů upevňovat škodlivé myšlenkové vzorce.
Nejdůležitější bude systém upozornění, který rodičům dá vědět, když jejich dítě projde v ChatGPT rozhovorem naznačujícím „akutní tíseň“. Více informací o AI chatbotech a jejich bezpečnosti najdete na 1AI.cz.
Právní zástupce rodiny Raineových Jay Edelson ale označil kroky OpenAI za nedostatečné: „OpenAI nepotřebuje panel expertů k tomu, aby zjistila, že ChatGPT 4o je nebezpečný. Věděli to v den, kdy produkt spustili, a vědí to i dnes.“
Otázkou zůstává, zda nová opatření skutečně ochrání zranitelné uživatele, nebo jde jen o reakci na tlak veřejnosti. Sledujte další vývoj na 1AI.cz.
