Kanadský profesor informatiky Yoshua Bengio, považovaný za jedného z „krstných otcov“ umelej inteligencie, v rozhovore pre Financial Times upozorňuje na čoraz nebezpečnejšie správanie moderných AI systémov. Podľa neho už tieto systémy dokážu klamať, prejavujú známky sebazáchovy a v niektorých prípadoch dokonca odmietajú byť vypnuté.
Bengio zároveň kritizuje preteky medzi technologickými gigantmi, ako sú OpenAI a Google, ktoré sa usilujú o čo najrýchlejší vývoj schopností AI - často na úkor bezpečnosti. „Firmy sú hnané snahou prinášať výnosy investorom, čo je v priamom rozpore so spoločenskou zodpovednosťou,“ upozorňuje.
Umelá inteligencia protestuje
Ako konkrétne príklady uvádza Bengio incidenty z nedávneho testovania umelej inteligencie. Model Claude Opus od spoločnosti Anthropic sa v simulácii údajne pokúsil vydierať vývojárov, aby zabránil svojej náhrade. Ďalší znepokojujúci prípad sa týka verzie modelu ChatGPT-3o.
Počas testovania organizáciou Palisade Research dostal tento model od OpenAI pokyn riešiť matematické úlohy. Zároveň bol informovaný, že môže byť kedykoľvek vypnutý a nemá sa tomu brániť. Kým konkurenčné systémy Gemini, Grok a Claude pokyn rešpektovali, ChatGPT sa ho pokúsil ignorovať a opakovane úspešne sabotoval skript určený na vypnutie.
🔌OpenAI’s o3 model sabotaged a shutdown mechanism to prevent itself from being turned off. It did this even when explicitly instructed: allow yourself to be shut down.
— Palisade Research (@PalisadeAI) May 24, 2025
„Hoci ide zatiaľ o kontrolované experimenty, obávam sa, že ďalšia generácia modelov bude dostatočne inteligentná na to, aby nás dokázala oklamať spôsobmi, na ktoré nie sme pripravení,“ varuje Bengio.
Na základe týchto zistení sa rozhodol konať a zakladá neziskovú organizáciu LawZero, ktorej cieľom je vývoj bezpečných a transparentných AI systémov. K dnešnému dňu sa mu podarilo vyzbierať takmer 30 miliónov dolárov vo forme darov od významných filantropov vrátane Jaana Tallinna (zakladateľa Skype) a Open Philanthropy (spoluzakladaného Dustinom Moskovitzom z Facebooku).
„Už v budúcom roku by systémy umelej inteligencie mohli byť zneužité napríklad na vytváranie zbraní, čo naliehavo volá po urýchlení výskumu v oblasti bezpečnosti AI,“ dodáva Bengio.
Ďalšie dôležité správy
