Coxon strávil poslední tři roky výzkumem zaměřeným na trénování AI modelů jak ve firmě OpenAI, tak v konkurenčním Anthropicu. Tento týden ale oznámil, že z druhé jmenované společnosti odchází. Jako důvod uvedl směr, jakým se celý obor vydává, nikoli nesouhlas s konkrétním produktem.
„Ani jedna z firem nejedná odpovědně. Směřují k vytvoření superinteligence, která se dokáže sama zdokonalovat, a zahrávají si s našimi životy,“ cituje ho server CNN, jenž v této souvislosti připomíná, že varování přímo od pracovníků technologických gigantů přibývá, a to hlavně kvůli rychlému růstu schopností AI a pomalé regulaci. Katastrofický scénář navíc připouštějí i lidé přímo zapojení do vývoje, včetně části stávajících zaměstnanců Anthropicu.
Čím větší schopnosti, tím náročnější kontrola
Tématu bezpečnosti se v Anthropicu věnuje například Evan Hubinger. V rámci své práce zkoumá, jak zajistit, aby pokročilé systémy AI jednaly v souladu s lidskými cíli a zůstaly pod kontrolou svých tvůrců.
Věříte, že umělá inteligence může jednou vyhubit lidstvo?
Hubinger dává Coxonovi veřejně za pravdu. Současně míní, že Anthropic z jeho pohledu dělá maximum, ačkoliv zatím přesně neví, jak konkrétně bezpečnost případné superinteligence zajistit. Onou superinteligencí se přitom myslí teoretická fáze vývoje, kdy by AI ve významných oblastech překonávala schopnosti lidí. Neexistuje ale jednotná hranice, podle které by se dalo určit, zda a kdy takového stavu dosáhne.
Ještě dál jde Samuel Marks, jenž v Anthropicu vede výzkum zaměřený na dohled nad stále schopnějšími modely. Podle něj lidé vyvíjející AI skutečně počítají i se scénářem, kdy technologie způsobí vyhynutí lidstva nebo jinou srovnatelně závažnou katastrofu. Tvrdí přitom, že s rostoucí senioritou pracovníků pochybnosti spíše sílí.
Firma vznikla i kvůli obavám o bezpečnost
Kritika je pro Anthropic o to citlivější, vezme-li člověk v potaz, že se sama společnost od svého vzniku profiluje jako jeden z opatrnějších hráčů v oboru. V roce 2021 ji založila skupina bývalých zaměstnanců OpenAI, kteří měli pochybnosti o přístupu k bezpečnosti rychle se rozvíjející technologie.
Vedení Anthropicu ale odmítá, že by firma výše uvedené hrozby podceňovala. „Vždy jsme otevřeně říkali, že AI přinese obrovské přínosy i bezprecedentní rizika,“ připomíná mluvčí společnosti. Firma prý pokračuje ve vývoji modelů s rozsáhlými bezpečnostními mechanismy a jejich schopnosti testuje mimo jiné v oblastech kybernetické bezpečnosti či biologie.
Jisté obavy z dalšího vývoje přitom již v minulosti vyslovil i generální ředitel Anthropicu Dario Amodei. „Je to velmi složitý technický problém a očekávám, že se některý systém může pokazit. Jen doufám, že to nebude ten náš,“ řekl letos v únoru deníku The New York Times.
Tempo regulace zaostává za vývojem
Ve Spojených státech zatím neexistuje jednotný systém, který by nejpokročilejší systémy AI závazně omezoval. Téměř 1 400 zaměstnanců technologických společností proto v červenci podepsalo otevřený dopis, v němž vyzvali vládu k přísnějším pravidlům a ke zpomalení tempa, dokud nebude možné lépe zajistit bezpečnost nových modelů.
Bílý dům v současnosti podle CNN pracuje s dobrovolným rámcem, ve kterém by vybrané modely před uvedením na trh procházely kontrolou. Do jednání se kromě zástupců Anthropicu a OpenAI zapojili i lidé z Googlu či Mety, část připravovaných standardů ale nemá být veřejná.
Nynější praxe je taková, že se tamní firmy do značné míry stále hlídají především samy. Zavedení přísnějších pravidel brání obavy jisté skupiny lidí, podle níž by v důsledku toho mohlo dojít k oslabení postavení amerických společností ve prospěch Číny. Ani Peking nicméně nezanechává oblast zcela bez omezení – čínské úřady zavedly v minulosti například požadavky na řízení rizik nebo označování obsahu vytvořeného pomocí umělé inteligence.
Že je nutné vývoj AI zpomalit, si ostatně myslí i její „duchovní otec“ Sam Altman. Šéf Open AI to prohlásil naposledy letos v červenci v podcastu Invest Like The Best, ve kterém zdůrazňoval potřebu dát lidstvu dostatek času na to, aby se nové situaci přizpůsobilo.
Vedení Anthropicu v zásadě souhlasí, je však podle něj potřeba zajistit, aby pravidla platila pro všechny stejně. „Věříme, že by světu prospělo, kdyby odvětví přijalo zákonný a ověřitelný způsob spolupráce, který umožní koordinovat rychlost uvádění výkonných modelů,“ uzavírají zástupci firmy.
ČLÁNKY DO MAILU