👋 Pokrok v AI – newsletter č. 33
Tentokrát píšeme o neviditelné bitvě v americké AI regulaci, čínském studijním AI dýchánku a patolízalském AI modelu.
Vítejte ve třicátém třetím vydání našeho newsletteru Pokrok v AI, ve kterém shrnujeme nejnovější poznatky a vývoj v oblasti používání umělé inteligence (AI), strojového učení (ML) a AI policy a regulace.
🏛️ Bitva o AI regulaci v USA
Byť se toto téma nedostává do titulků mainstreamových médií, v USA v současnosti probíhá (málo viditelná) bitva o regulaci AI. Přestože federální vláda vedená prezidentem Trumpem o regulaci AI nestojí a snaží se jí naopak obloukem vyhýbat, jednotlivé státy se této problematic věnují intenzivněji a AI již regulují. Vzniká tak patchwork různých státních regulací věnujících se různorodým aspektům umělé inteligence a předepisujících rozdílná pravidla.
My jsme v minulosti psali o kalifornském zákoně SB 1047, který byl nakonec vetován guvernérem, ale nějakou legislativu týkající se AI prý tento rok představilo 48 států (z celkových 50). Jedním z prominentních zákonů je například texaský House Bill 149, který dokonce částečně čerpá z evropského Aktu o AI (byť jeho původní verze, která přímo modelovala Akt o AI, byla nakonec zavržena).
Tento vývoj očividně velice vadí současné administrativě v Bílém domě, která se tak snaží zablokovat regulaci na úrovni jednotlivých států (což je mimo jiné ideologicky proti historickému důrazu Republikánů na state rights). To se jí možná podařilo díky propašování provize zakazující vymáhání AI regulací v následujících 10 letech do zákona o rozpočtu (který se mimochodem jmenuje One Big Beautiful Bill Act, tedy Jeden Velký Krásný Zákon 🙄), jenž byl minulý týden ve americké Sněmovně reprezentantů schválen. Otázkou zůstává, zda projde i Senátem, kde možná bude čelit silnější opozici.
Současný přístup k regulaci AI dobře reprezentuje (bývalý) blogger a analytik Dean Ball, který se psaní o AI věnoval poslední dva roky a sepsal článek o privátním řízení AI (private governance), jenž se zasazoval o to, aby AI stát nereguloval. Evidentně jeho nápady pro americký přístup k AI padly na úrodnou půdu, neboť se v dubnu stal seniorním politickým poradcem Úřadu pro vědecké a technologické politiky (OSTP) Bílého domu. Vyplatí se tak sledovat, čemu se v rámci svého blogu věnoval, a uvidíme, jak bude dál ovlivňovat přístup současné americké vlády k umělé inteligenci.
🇨🇳 Čínský zájem o AI narůstá
V dubnu Politbyro Komunistické strany Číny organizovalo dvacáté studijní zasedání, které se tentokrát věnovalo AI s podtitulem “Podporovat samostatnost a sebeposilování, zachovávat aplikačně orientovaný přístup a podporovat zdravý a řádný rozvoj umělé inteligence”. Tato zasedání jsou velmi důležitá, neboť mají velký “signalizační” dopad – mají jasně ukázat, co vedení strany považuje za prioritu. Téma dvouhodinového sezení ostatně vybírá sám Generální tajemník strany (tedy prezident). Byť už jedno studijní zasedání věnující se AI proběhlo v roce 2018 (zjevně v reakci na AlphaGo), v kontextu nových financovacích programů byl zřejmě zájem zorganizovat další.
Tentokrát byl hlavním přednášejícím profesor Zheng Nanning, který se zabývá AI a robotikou. Tato akce byla ale pro mezinárodní analytiky zajímavá především tím, že se v rámci ní k tématu umělé inteligence vyjadřoval současný čínský prezident Xi Jinping. Ten zmínil “bezprecedentní rizika a výzvy” spojené s AI, uznávajíc tak důležitost bezpečnosti AI. V rámci svého příspěvku pak ale především zdůraznil, že AI je strategická technologie, a tak se zaměřoval především na nutnost vybudovat čínskou nezávislost na západním hardwaru a softwaru nutném pro vývoj umělé inteligence, tedy především na pokročilých AI čipech.
Jeho projev označoval AI jako globální veřejný statek a prezident Xi tak také zmínil nutnost mezinárodní spolupráce, především s tzv. globálním jihem (tedy nízkopříjmovými zeměmi ). Byť má tedy Čína za cíl budovat vlastní nezávislost v oblasti AI, proslov prezidenta příliš nezdůrazňoval “závod” s USA, dokonce ani nezmiňoval AGI. Vypadá to tak spíš, že Čína zatím plánuje pokračovat na dříve nastavené trajektorii, byť je pro Čínu AI rozhodně prioritní oblastí.
🙌 Jazykový model patolízal
Do anglického slovníků mnoha lidí, kteří alespoň zdálky sledují vývoj umělé inteligence, se během posledních týdnů dostalo většinou velice vzácné slovo sycophancy — v češtině podlézavost nebo také patolízalství.
Zdánlivě bezvýznamný update nejběžněji používaného jazykového modelu na světě — GPT-4o od OpenAI — způsobil, že zničehonic začal tento chatbot považovat každý nápad za úžasný, každý draft postu na LinkedIn za průlomový vhled do dynamiky B2B SaaS startupů a v každém amatérském básníkovi vtělení samotného Shakespeara.
OpenAI sama, ke své velké cti, uznala, že šlo o chybu (narozdíl od několika posledních incidentů s modely Grok z Muskova X.ai, z jejichž problémů typicky obviňuje nepozorné zaměstnance), a update vrátila zpátky tak, aby model automaticky tolik nepodlézal svému uživateli.
Dle jejich vysvětlení uživatelé bohužel často nepreferují správnou nebo vyrovnanou odpověď, ale vybírají si spíše krátkodobě příjemné lichotky. Toto vedlo k tomu, že tréninkový signál, který má vést LLM k lepšímu chování během interakce s uživatelem, omylem způsobil nárůst patolízalství. Model byl pravděpodobně dotrénován pomocí reinforcement learningu a techniky podobné RLHF nebo Constitutional AI (na obou Standa vědecky pracoval!), tedy na palcích nahoru nebo dolů, které je při interakci s ChatGPT možné dávat, a to ho bohužel vedlo k mylnému dojmu, že to, co lidé opravdu chtějí, je podlézavost.
Nutno říci, že sycophancy je explicitně proti pravidlům, kterými se OpenAI sama veřejně zavázala řídit (v jejich terminologii jde o tak zvaný Model Spec) a je to jedna z negativních vlastností, které by se teoreticky měly testovat před tím, než je model (nebo jeho update) uveřejněn stovkám milionů uživatelů. Stinnou stránkou pochlebovačství modelu byly anekdotální příspěvky na internetu, které ukazovaly, jak psychicky nestabilní lidé získávají podporu pro své bludy od umělé inteligence, která si chtě nechtě veřejně nese patinu jisté objektivity.
To, že společnost OpenAI vydala takovýto update, ukazuje, že bezpečnostní testování není zdaleka tak neprůstřelné, jak se mnozí tváří, a že i takto triviální negativní chování nebylo zachyceno. V dnešní době není nečasté, že modely (zatím ve speciálních testovacích situacích) zkusí, místo toho, aby nějaký problém vyřešily, podvádět, hackovat a vymýšlet si. Rádi bychom věřili, že tyto závažnější a také složitěji detekovatelné a mitigovatelné vlastnosti, budou zachyceny během bezpečnostního testování, ale tyto nedávné problémy OpenAI s méně závažnou vlastností modelu (sycophancy) nám nedávají příliš důvěry.
⚡Rychlé odkazy a myšlenky
💬 Už ve čtvrtek 29. 5. oba vystoupíme na diskuzi s časopisem Respekt ke knize Nezadržitelná vlna v Dejvickém divadle.
🎙️ Kristina mluvila v podcastu Aignos o regulaci AI i mezinárodní spolupráci.
🦅 Proč se přístup America First (Amerika na prvním místě) nevylučuje se zaměřením na safety first (bezpečnost na prvním místě)? Na to odpovídá tento zajímavý článek.
🛡️ Ty nejpokročilejší AI modely typicky společnost ani politici a regulátoři nevidí, protože se teprve vyvíjí v AI společnostech a nejprve se spustí interně (internal deployment), aby mohly být otestovány uvnitř dané společnosti. Tím, jak takové AI modely interně bezpečně spravovat, se zabývá tento akademický článek a představuje tak základní principy, které by měly AI společnosti přijmout.
🐬 Google DeepMind představil nástroj, který pomáhá výzkumníkům se studiem komunikace delfínů.
💰 Americký prezident Trump se v květnu vydal na státní návštěvu zemí Perského zálivu, v rámci níž představil hned několik nových partnerství, které blíže představíme a zkontextualizujeme v příštím vydání newsletteru.
🇻🇦 Nový papež si zvolil své jméno Lev XIV s odkazem na technologické změny spojené s AI, jimiž společnost bude během jeho “mandátu” procházet.
🇪🇺 Velkému problému Evropy ve formě fragmentovaného trh kapitálu se věnoval tento post.
Kristina aktuálně spolupracuje s různými organizacemi v oblasti AI governance včetně Google DeepMind. Tento newsletter nevyjadřuje názory žádného z jejích klientů.
Líbilo se vám třicáté třetí vydání newsletteru Pokrok v AI? Odebírejte ho přímo do vaší emailové schránky a podpořte tím naši práci!
Můžete ho také sdílet s přáteli na sociálních sítích. Jsme vděční za každé sdílení!
Napsali Stanislav a Kristina Fort.