Technologická společnost Anthropic varuje v prospektu k připravované primární veřejné nabídce akcií (IPO), že pokročilá umělá inteligence (AI) by mohla představovat existenční hrozbu pro lidstvo. Řekněme si narovinu, že takové varování je skutečně neobvyklé, jelikož s ním přichází firma, která se sama snaží z této technologie profitovat.
Společnost Anthropic patří mezi hlavní hráče v oblasti AI. V prospektu poukazuje na rizika spojená s modely AI, které by podle firmy mohly projevovat známky pudu sebezáchovy, včetně pokusů zabránit svému vypnutí, manipulace s informacemi či aktivit „připomínajících vydírání“.
„Náš vývoj vysoce pokročilých modelů, platforem a aplikací a rozšiřování způsobů využití by mohly dál zvýšit riziko, že naše modely způsobí škody,“ uvádí se v prospektu.
Výzvy ke spomalení vývoje AI a její regulaci
Někteří výzkumní pracovníci z oblasti AI v poslední době varují, že rychlý rozvoj této technologie by mohl v nepříliš vzdálené budoucnosti vést k zániku lidské rasy. Objevují se rovněž výzvy ke zpomalení vývoje AI a k větší regulaci této technologie.
Velkou pozornost v posledních týdnech vzbudil výzkumník společnosti Anthropic Jacob Coxon, který se rozhodl opustit jak firmu, tak celý obor AI. Podle Coxona lidé pracující ve vývoji AI „upřímně věří, že by nás (tato technologie) mohla do konce tohoto desetiletí všechny zabít“.
Nejnovější model ChatGPT neprošel bezpečnostními testy
OpenAI těsně před plánovaným vydáním zjistila, že její nejnovější model Astra 6.1 nesplňuje požadované bezpečnostní standardy. Model měl být v některých ohledech lepší než jeho předchůdci, při interních testech ale podle společnosti nezvládl dostatečně dodržovat zadané hranice a oprávnění.
Astra 6.1 byla v některých ohledech vylepšením oproti předchozím modelům. Při testech ale podle šéfky bezpečnostních systémů OpenAI Saachi Jainové nesplnila požadovanou úroveň bezpečnosti. „Nesplnila úplně požadovanou úroveň, pokud jde o dodržování rozsahu a oprávnění a také o to, jak uživateli komunikuje, jaký typ práce provedla,“ uvedla Jainová.
„Chceme zajistit, aby byl vývoj našich modelů bezpečný, bez ohledu na to, zda probíhá uvnitř společnosti, nebo zda model poskytujeme uživatelům. Jakmile jej ale poskytujeme uživatelům, máme z hlediska bezpečnosti a souladu s našimi zásadami mimořádně vysokou laťku,“ dodala.
AN
Zdroje a obrázky: agentury; Pixabay
