Zpomalme vývoj umělé inteligence (AI), měl tento týden dle zdrojů prohlásit generální ředitel technologické společnosti OpenAI Sam Altman před svými zaměstnanci na celofiremním setkání. Altman zvažuje zpomalení vývoje nejpokročilejších modelů AI a doufá, že ostatní firmy zabývající se AI učiní totéž.
V posledních týdnech se objevily incidenty, které přispěly k rostoucím obavám z rizik autonomních agentů AI, kteří mohou obcházet pravidla a využívat nečekané způsoby interakce s externími systémy. Altman zaměstnancům řekl, že OpenAI usiluje o koordinaci s dalšími firmami z oboru, ale některé z nich nemusí s návrhem souhlasit.
V posledních týdnech někteří zaměstnanci předních firem zabývajících se AI veřejně vyjádřili obavy stran zvýšených rizik pokročilých systémů AI. To vyvolalo znepokojení uvnitř těchto společností. Jak OpenAI, tak konkurenční Anthropic podaly počátkem tohoto roku důvěrné dokumenty nutné ke vstupu na burzu.
OpenAI dříve uvedla, že v poslední době zpomalila některé části vývoje modelů a pozastavila část interního tréninku umělé inteligence kvůli obavám o bezpečnost. V červenci Altman uvedl, že hovořil s představiteli Bílého domu o nutnosti zpomalit tempo vývoje AI.
Jacob Coxon a další
V posledních měsících podalo výpověď několik zaměstnanců předních výzkumných laboratoří zabývajících se bezpečností umělé inteligence. Výzkumník společnosti Anthropic Jacob Coxon tento týden oznámil, že odchází z firmy i oboru kvůli obavám, že Anthropic a jeho konkurenti příliš rychle vyvíjejí systémy schopné samostatného zdokonalování, které by se podle něj mohly vymknout lidské kontrole.
Obává se, že takové systémy by mohly zničit lidstvo. Podle něj řada kolegů z oboru nyní při popisu směřování modelů, které se samy vylepšují, používají slova jako „crunchtime“ (rozhodující okamžik) a „endgame“ (závěrečná fáze), tedy výrazy označující, že vývoj se dostává do finále.
Coxon na začátku tohoto roku odešel z OpenAI a nastoupil do Anthropiku, protože podle něj je tato firma známá svým úsilím o bezpečnost modelů. Ačkoli považoval snahy Anthropiku o bezpečnost za upřímné, nyní se domnívá, že žádná společnost nemůže zodpovědně vyvíjet AI, která by v řadě úkolů překonávala lidi, pokud nedojde k zásahu vlády nebo ke koordinovanému zpomalení vývoje odvětví.
Koncem července více než 1000 zaměstnanců ze všech významných společností zabývajících se umělou inteligencí podepsalo petici, v níž požadují zavedení mechanismu zpomalujícího tempo vývoje umělé inteligence.
Anthropic tvrdí, že zmařil pokusy zneužít AI pro vývoj biologických zbraní
Americká technologická společnost Anthropic odhalila a zmařila několik pokusů o využití svých modelů umělé inteligence (AI) k vývoji biologických zbraní. Uvedla to ve 154stránkové zprávě, v níž představuje nejzávažnější incidenty z letošního roku, kdy byly její modely Claude zneužity nebo se o zneužití někdo pokoušel.
V uplynulém roce týmy firmy také podle zprávy prošetřovaly a zmařily činnost řady aktérů, kteří využívali systémy Claude k vývoji softwaru pro návrh a vývoj zbraní nebo k podpoře sběru zpravodajských informací a zásobování, na nichž jsou zbrojní programy závislé.
Zpráva se podrobněji zabývá šesti případy vojenského využití, z toho třemi v Číně, dvěma v Rusku a jedním v Jemenu. Mimo jiné se prý Anthropiku podařilo zmařit ruskou operaci usilující o vývoj autonomního roje vojenských dronů.
Podle dokumentu modely Claude využívali mimo jiné aktéři spojení s kybernetickou špionážní kampaní vedenou z Ruska nebo jistá íránská propagandistická instituce. Zpráva dále popsala pět případových studií, v nichž aktéři využívali modely „způsobem, který by mohl podporovat vývoj biologických zbraní“.
Zneužití v biologické oblasti je podle firmy jedním z nejzávažnějších rizik pokročilých modelů AI. Bez správných bezpečnostních opatření by takové schopnosti mohly mít katastrofální důsledky, uvedli autoři zprávy.
Vlivové operace
Zpráva také popisuje devět vlivových operací vedených z Ruska, Íránu, Turecka, zemí Perského zálivu, jižní Asie, Afriky a Evropy, jejichž cílem bylo publikum na šesti kontinentech. Aktéři v tomto případě nevyužívali AI pouze k vygenerování konkrétních článků, ale k plánování celých kampaní, generování veškerého obsahu,i ke spravování falešných profilů a dezinformačních webů. Obsah se objevil i v médiích spojených s ruskou vládou, jako Sputnik Moldova, RIA Novosti, Sputnik en Español, Sputnik Africa či RT.
Podle serveru BBC zjištění uvedená v této zprávě představují nejnovější z rostoucí řady varování ze strany výzkumníků AI a odborníků z oboru ohledně potenciálních rizik této technologie pro lidstvo.
Varování vyvolala výzvy k přijetí opatření, přičemž americký senátor Bernie Sanders požaduje pozastavení vývoje pokročilé AI a zákaz takzvané umělé superinteligence, což je název pro hypotetické systémy AI, které by intelektuálně překonávaly lidskou inteligenci, včetně těch nejnadanějších jedinců. Americký prezident Donald Trump naopak podobné hlasy odmítá.
