👋 Pokrok v AI — newsletter č. 10
Dnešní AI nálož: kyberbezpečnost v časech AI, čtvrt miliardy pro matematickou AI olympiádu, Sam Altman je zpátky, AI generuje video a objevuje stovky tisíc nových materiálů.
Vítejte v desátém vydání našeho newsletteru Pokrok v AI, ve kterém shrnujeme nejnovější poznatky a vývoj v oblasti používání umělé inteligence (AI), strojového učení (ML) a AI policy a regulace.
🗡️ Konec palácového dramatu v OpenAI
V posledním vydání jsme se krátce věnovali sesazení Sama Altmana z pozice CEO OpenAI, ale v té chvíli ještě nebylo zcela jisté, jak se celá situace vyvine. Nyní už víme, že po odvolání a oznámení svého “nástupu” do Microsoft se Sam Altman znovu vrátil do čela OpenAI a spolu s ním se znovu stal prezidentem OpenAI i Greg Brockman. Stejná ale nezůstala dozorčí rada OpenAI, která byla rozpuštěna a do níž se přidali noví členové: Bret Taylor a Larry Summers. Nepřekvapivě tak z OpenAI zmizeli na AI bezpečnost orientovaní předchozí členové rady (a také všechny ženy – Helen Toner a Tasha McCauley).
Rádi bychom vám dali k převratu a proti-převratu více informací, ale bohužel je, i přes přehršel spekulací, v podstatě nemožné zjistit, co se reálně stalo. Některé z nich ale stojí za to zmínit. OpenAI, stejně jako jejich největší konkurent Anthropic, stojí na podivném pomezí mezi zisk-generující firmou a neziskovou organizací. Jejich dozorčí rady, ideály, praktické chování a zájmy investorů, kteří do nich vložili miliardy dolarů, jsou tudíž skoro určitě ve vzájemném sporu. Uvidíme, co to pro jejich další fungování bude znamenat, když se posouvají od výzkumu ke komercializaci.
🎥 Generování videa z textu začalo fungovat
Startup Pika, představil svůj generátor videí a oznámil $55 milionů v investicích. Po loňském obrovském pokroku v generování obrázků z textu se zdá, že vidíme podobně rychlý pokrok v generování videí. Pika byl založen dvěma ženami: CEO Demi Guo a CTO Chenlin Meng, které obě byly studentkami doktorátu z umělé inteligence na Stanfordu, ze kterého (jak už je docela běžné) odešly, aby založily startup na AI generovaná videa. Jedním z jejich investorů je například Nat Friedman, kterého jsme zmiňovali již v 7. čísle našeho newsletteru v kontextu jeho Vesuvské výzvy na rozluštění zuhelnatělých papyrů ze starého Říma.
Stability AI (ve které Standa dříve pracoval na jazykových modelech) vydala před několika dny také svůj vlastní generátor videí Stable Video Diffusion, který umí generovat několika sekundové klipy z obrázků. Stejně jako Stable Diffusion je i její video verze k dispozici všem ve formě natrénovaných modelů a jejich vah pro výzkumné účely.
Na poli AI generovaných videí se to ale s novými a úspěšnými hráči hemží. Minulý měsíc známý, dobře kapitalizovaný a v New Yorku (překvapivě ne v SF) sídlící startup Runway ukázal světu novou verzi svého modelu Gen-2, který je schopen generovat video na základě textu, obrázků nebo i jiného videa. Valuace Runway vystoupala již před půl rokem nad pomyslnou hranici $1 miliardy.
🇨🇳 Čínské AI dilema: zabít či nechat žít?
Regulaci AI v Číně jsme zmiňovali v jednom z prvních vydání našeho newsletteru. Prozatím byl čínský přístup k této technologii spíš opatrný a její regulace je pro čínský režim potřebná i čistě z ideologických důvodů. Přesto se ale AI vývoji Čína intenzivně věnuje a má podobně velké ambice jako Spojené státy či Velká Británie. Zároveň si ale zachovává pevnou kontrolu nad vývojem AI systémů a v Číně tak byl nedávno zablokován přístup k platformě Hugging Face, která umožňuje vytváření a spolupráci na open source AI modelech.
Zablokování Hugging Face je spojeno se zveřejněním základních bezpečnostních podmínek, které byly představeny na začátku října a které potvrzují přísnou interpretaci předchozích legislativ týkajících se AI. Všechny základní modely tak musí být schváleny státními autoritami a pro trénování modelů nesmí být použita data, která jsou blokována na čínském internetu (například obsah Wikipedie, který je jinak k trénování často používán). Tato striktní pravidla už nyní vedou k tomu, že stavění AI modelů se mohou věnovat spíš velké společnosti, které mají zdroje na to, aby všechny podmínky splnily. Aktuální regulace taky může snížit čínskou konkurenceschopnost v této oblasti, neboť se s ní snižuje rozšiřování AI mezi čínskou populaci a tím pádem i růst čínských firem.
💎 DeepMind objevuje stovky tisíc nových materiálů
Společnost Google DeepMind publikovala v prestižním časopise Nature nový výzkumný projekt jménem GNoME (Graph Networks for Materials Exploration) — AI nástroj, který automatizuje část materiálového výzkumu. Podle článku GNoME objevil 2,2 milionu nových krystalických materiálů a díky své schopnosti predikovat jejich stabilitu dokázal DeepMind veřejně představit 381 tisíc (🤯) nových stabilních krystalických struktur, u kterých doufá, že pomohou zrychlit tempo objevů v materiálové vědě. Konkrétně energetická infrastruktura je oblastí, ve které by materiálové průlomy mohly výrazně pomoci s řešením klimatické krize (například pomocí levnějších baterií, které by se rychleji nabíjely a měly větší hustotu energie), a kterou DeepMind ve svém blog postu několikrát zmiňuje.
Společnost DeepMind je unikátní svým brzkým zaměřením na AGI, které je dnes už méně výjimečné (například OpenAI a Anthropic mají podobnou misi), ale zároveň velice širokým a extrémně úspěšným použitím AI ve fundamentálních vědeckých otázkách. Podařilo se jí tak v podstatě vyřešit problém skládání proteinů (protein folding), který byl největší otázkou strukturální biologie dlouhá desetiletí. Osobně si myslíme, že za AlphaFold jednou (brzy) dostane Demis Hassabis/DeepMind Nobelovu cenu. Další z projektů, ve kterých DeepMind používá pokrok v AI ve fundamentální vědě je například jejich výzkum kontroly jaderné fúze pomocí strojového učení nebo extrémně přesné a rychlé předpovědi počasí.
🤖 Kyberbezpečnost v časech AI
Rychlý rozvoj AI přináší mnoho hrozeb, které se určitě projeví v oblasti kyberbezpečnosti i ochrany soukromí. Jednoduchý útok může vypadat třeba tak, že útočník věrně napodobí hlas vašeho příbuzného a přemluví vás, abyste rychle poslali peníze na jím kontrolovaný účet. Můžeme ale očekávat i mnohem sofistikovanější útoky cílené na velké firmy i státní instituce. Použití AI systémů tak může vést také k nebezpečné manipulaci a převzetí kontroly třeba nad elektrárnami na cizím území a katastrofám s tím spojenými.
Tomu se snaží zabránit americký úřad pro kyberbezpečnost a bezpečnost infrastruktury (Cybersecurity and Infrastructure Security Agency – CISA), který vydal nový plán pro zlepšení americké kyberbezpečnosti v časech AI. Součástí tohoto plánu je pět hlavních priorit: zodpovědné používání AI uvnitř úřadu pro podpoření jejich mise, zabezpečení AI systémů, ochrana kritické infrastuktury před AI útoky, spolupráce na tomto tématu s klíčovými partnery a rozvoj AI expertízy mezi jejich zaměstnanci.
Tématu AI a kyberbezpečnosti se aktuálně začíná více věnovat i český Národní úřad pro kybernetickou a informační bezpečnost (NÚKIB). Ten spolu s institucemi z dalších 17 států podpořil vydání dokumentu Pravidla pro vývoj bezpečných AI systémů (Guidelines for secure AI system development), který zveřejnilo britské Národní centrum pro kyberbezpečnost (National Cyber Security Centre). Tento dokument má za cíl zdůraznit možné s AI systémy spojené kybernetické hrozby a poskytnout doporučení pro poskytovatele AI systémů, jak se jim vyhnout. Dobrá práce 👏!
🚗 Cruise přichází o CEO-zakladatele
Kyle Vogt, CEO a spoluzakladatel společnosti Cruise, která vyvíjí samořídící auta a kterou nyní většinově vlastní General Motors, oznámil odchod z pozice generálního ředitele. Toto oznámení přichází po odebrání licence provozovat robo-taxi službu v San Franciscu po kolizi s chodcem. Tu sice automobil Cruise nezpůsobil (chodec byl na něj odražen po kolizi s vozidlem pod kontrolou lidského řidiče), ale vozidlo následně táhlo chodce pod autem při automatickém odstavování ke krajnici.
Kyle dělal bakaláře na MIT a již během studia se účastnil DARPA Grand Challenge — soutěže autonomních vozidel od obranně-výzkumné organizace DARPA, která stála na počátku mnoha z dnešních společností v prostoru autonomního řízení.
🇬🇧 (Ne)regulace po anglicku
V tomto newsletteru jsme se už několikrát zmiňovali o britských ambicích vést světové debaty o regulaci AI. Byť se Británie tomuto tématu ráda věnuje na mezinárodních fórech, aktuální britská vláda vedená Konzervativci se regulaci AI spíš vyhýbá a v krátkodobém horizontu žádné zákony omezující tyto technologie neplánuje. Hlavním důvodem je snaha dát prostor inovacím a vytvářet tak nový AI ekosystém na vlastní půdě. Její “pro-inovační přístup” je založený na úzké spolupráci s AI firmami a vládní prioritou je aktuálně především podporovat jejich růst.
Tento přístup má ale své kritiky. Absence jasně definované regulace může některé investory spíše odradit kvůli obavám z netransparentnosti a bezpečnosti. Podle některých tak nejasně definované hrací pole může způsobit odliv AI investic do zemí, kde je regulace jasně nastavena. Další nejistotou jsou blížící se britské volby (v roce 2024), při nichž pravděpodobně dojde ke změně vlády. Přístup Labouristické strany k AI regulaci je prakticky opačný. Již v červnu tohoto roku lídr Labouristické strany Keir Starmer prohlásil, že silnější regulace AI je nutná. Očekává se tedy, že po vzoru Evropské unie a Spojených států se Británie pod vedením Labouristů vydá cestou omezování AI. Tento vývoj budeme rozhodně dále sledovat a zaznamenávat i pro vás.
🏆 10 milionů dolarů za zlatou medaili na matematické olympiádě
Společnost XTX Markets, která obchoduje na burze pomocí algoritmů, založila Matematickou olympiádu umělé inteligence (Artificial Intelligence Mathematical Olympiad Prize, AI-MO Prize) a do cen vložila celkem $10 milionů (222 milionů korun). Tato cena má za cíl stimulovat vývoj umělých inteligencí, které umí přemýšlet matematicky a jejím konečným cílem je veřejně dostupná AI, která získá zlatou medaili na Mezinárodní matematické olympiádě (International Mathematical Olympiad, IMO).
Mezinárodní matematická olympiáda (IMO) je elitní středoškolská soutěž v matematice, na kterou se z každé země kvalifikuje několik studentů a studentek, kteří jsou v rámci místních kol soutěže nejúspěšnější. Je obecně vnímána jako extrémně obtížná a empiricky se zdá, že úspěch na IMO dobře koreluje s úspěchem v reálném výzkumu. IMO například vyhráli: Grigori Perelman, který dokázal Poincarého větu (jeden ze sedmi takzvaných Problémů tisíciletí), Terence Tao, jeden z nejlepších matematiků světa a nositel Fieldsovy medaile (~Nobelova cena za matematiku) nebo Maryam Mirzakhani, první žena, která vyhrála Fieldsovu medaily. Uvidíme, kdy zlatou medaily na IMO poprvé získá AI. Osobně si myslíme, že to nebude za moc dlouho.
⚡Rychlé odkazy a myšlenky
🇪🇺 Poslední (letošní?) trialog k Aktu o AI by měl probíhat 6. prosince a je pravděpodobné, že právě na něm se dohodne jeho finální znění.
🎂 ChatGPT oslavil 1. narozeniny
🏛️ Na základě příspěvku od Politico přidáváme malou AI-generovanou grafiku shrnující hlavní dilemata v AI politice (kterou jsme museli trochu poupravit, protože stále nezvládá správný přepis textů do obrázku).
🧬 Standův kariérní update: Po práci na modelu Claude v Anthropicu a vedení výzkumu a vývoje velkých jazykových modelů ve Stability AI přijal Standa nabídku stát se seniorním AI výzkumníkem ve společnosti Google DeepMind. Jeho práce má za cíl zajistit, aby (nejen) jazykové modely, jako je například Gemini, byly bezpečné, robustní a nehalucinovaly.
💵 Moc děkujeme našim platícím předplatitelům a předplatitelkám. Pokud chcete finančně podpořit naši práci, můžete přejít z Free na Paid subscription.
Líbilo se vám desáté vydání newsletteru Pokrok v AI? Odebírejte ho přímo do vaší emailové schránky a podpořte tím naši práci!
Můžete ho také sdílet s přáteli na sociálních sítích.
Napsali Stanislav a Kristina Fort.
“Jejich dozorčí rady, ideály, praktické chování a zájmy investorů, kteří do nich vložili miliardy dolarů, jsou tudíž skoro určitě ve vzájemném sporu. Uvidíme, co to pro jejich další fungování bude znamenat, když se posouvají od výzkumu ke komercializaci.”
Je k tomu nějaká evidence? Tohle bude hodně zajímavé.