👋 Pokrok v AI — newsletter č. 13
AlphaGeometry má zlatou medaili z matematické olympiády, Gemini Pro se zlepšilo v žebříčcích, jazykové modely nepředstavují velká biologická rizika a Meta bude mít GPUs v hodnotě letadlové lodě.
Vítejte ve třináctém vydání našeho newsletteru Pokrok v AI, ve kterém shrnujeme nejnovější poznatky a vývoj v oblasti používání umělé inteligence (AI), strojového učení (ML) a AI policy a regulace.
🥇 AlphaGeometry “získává” zlatou medaili na Matematické olympiádě
Výzkumná společnost Google DeepMind publikovala nový vědecký článek v prestižním akademickém časopise Nature, ve kterém představuje svůj nový AI systém jménem AlphaGeometry. Podobně jako jejich předchozí průlomy, například systém AlphaGo, který v roce 2016 porazil světového šampiona Lee Sedola v jedné z nejobtížnějších deskových her světa jménem Go, nebo AlphaFold, který dokázal jako první systém na světě predikovat 3D strukturu proteinů z jejich genetického kódu, tak nový systém AlphaGeometry přináší převrat v použití AI v matematickém přemýšlení.
AlphaGeometry je schopen řešit velice komplikované geometrické problémy na úrovni Mezinárodní matematické olympiády (International Mathematical Olympiad, IMO) a to s výsledky porovnatelnými se zlatými medailisty z této soutěže. IMO je jedna z nejobtížnějších a zároveň nejprestižnějších středoškolských soutěží na světě a její vítězi se často v budoucnosti stávají úspěšnými profesionálními matematiky, kteří celý obor tlačí kupředu. Na rozdíl od psaní poezie ale v matematických úlohách existuje způsob, jak ověřit správnost výsledku — pro jazykové modely proto bývá matematický přemýšlení paradoxně obtížnější než emocionální nebo intuitivní způsob uvažování.
V testu 30 geometrických problémů z Mezinárodních matematických olympiád systém AlphaGeometry úspěšně vyřešil 25 problémů v rámci standardního časového limitu. Pro porovnání, předchozí nejlepší AI systém byl schopen správně vyřešit problémů pouze 10 a průměrný zlatý medailista správně vyřeší 25,9 problémů.
Systém AlphaGeometry je další skvělou ukázkou kombinace kreativní AI, která slouží jako rychlý, kreativní a intuitivní “Systém 1”, a přesného ověřovacího systému, který slouží jako metaforický “Systém 2” z knihy Myšlení, rychlé a pomalé od Daniela Kahnemana. Dohromady jde o takzvaný neuro-symbolický systém, který využívá jak neuronové sítě, tak klasické symbolické přístupy.
Další zajímavostí je, že systém AlphaGeometry byl trénován na 100 % syntetických (počítačem vygenerovaných) datech a to konkrétně na 100 milionech unikátních ukázkách geometrických problémů a jejich řešení. Jde o trend, který vidíme i v jiných oblastech, ale trénink zcela bez lidských dat je stále výjimečný.
🏋🏽 Bard s Gemini Pro poráží i (skoro všechny verze) GPT-4
Model Gemini Pro — druhá nejlepší AI (podle inteligence) z rodiny velkých jazykových modelů Gemini od Google DeepMind — který by měl být výkonem ekvivalentní ChatGPT-3.5, poráží podle preferencí uživatelů v realistickém testu LMSys Arena Leaderboard nejen ChatGPT-3.5, ale dokonce i všechny verze GPT-4 (kromě GPT-4 Turbo). I od GPT-4 Turbo se ale skóre Gemini Pro liší jen o málo a vzhledem k tomu, jak rychle se model v minulosti zlepšoval, je možné, že ho brzo i porazí. (Do porovnávání modelů se můžete zapojit i vy a to zde.)
Zajímavé je, že Gemini Pro není, na rozdíl od GPT-4, největším z veřejných modelů své mateřské společnosti. Gemini Ultra, který ve standardních testech, jako je MMLU, GPT-4 poráží, bude pravděpodobně ještě lepší.
Další velkou výhodou Gemini Pro proti ChatGPT-3.5 by mohla být i cena. Jeden milion znaků si od Gemini Pro člověk pořídí za $0,25 (asi 6 Kč), což je při přibližně 4 znacích na token asi $1 (asi 23 Kč). GPT-4 stojí za milion tokenů $30 (přibližně 670 Kč), tedy 30-krát více. A to už je dost velký rozdíl!
Zdá se, že po pomalejším rozjezdu začíná Google (společně s DeepMind) ukazovat své silné stránky na poli generativní umělé inteligence — extrémně dobrý výzkum, skvělou infrastrukturu, na Nvidii nezávislý hardware (takzvané Tensor Processing Units, TPUs) a velké zkušenosti s provozováním služeb pro miliardy zákazníků. Je možné, že pokud budou základní AI modely nakonec spíše komoditou, mohou být tyto faktory tím hlavním, co o vítězi pomyslného AI závodu rozhodne.
Deset měsíců po tom, co virální esej We Have No Moat, And Neither Does OpenAI sebevědomě tvrdila, že Google ani OpenAI nemají žádnou kompetitivní výhodu (“moat” — přímo přeloženo jako příkop, ve smyslu něčeho, co by je chránilo před agresivní konkurencí) proti open source se minimálně podle preferencí uživatelů zdá, že jak Google, OpenAI, tak i Anthropic se zatím drží v popředí. Největší konkurencí je podle našich predikcí Mistral — uvidíme, jak to nakonec dopadne.
🏫 Způsobí AI revoluci na školách?
Od zpřístupnění ChatGPT se velká část veřejné debaty věnuje tomu, jak AI ovlivní různé oblasti lidského života a vzdělávání není výjimkou. Zatímco někteří tvrdí, že AI vzdělávání “zničí”, další vidí potenciál AI zlepšit systém vzdělávání a přizpůsobit ho tak společenskému a technologickému vývoji. O možnostech využívání AI (nejen) ve výuce dobře pravidelně píše například americký profesor Ethan Mollick a osvětě se v Česku věnuje například organizace AI dětem.
V Česku byla AI ve vzdělávání citována kvůli rušení bakalářských prací na Fakultě podnikohospodářské VŠE. Rušení doma psaných prací ale nemusí být nutně tím pravým řešením, a proto je dobré, že v Česku loni vznikla platforma pro diskuzi o využívání AI ve vzdělávání pod vedením Univerzity Karlovy a prg.AI. To, že AI ve vzdělávání neznamená nutně jen plagiátorství, dokazuje také fakt, že společnost OpenAI uzavřela první partnerství s univerzitou – Arizona State University (která má, i přes svou neznámost u nás, 5 Nobelových cen a podle QS World Rankings je na 179. místě na světě v porovnání s místem 248. pro Univerzitu Karlovu v Praze). V únoru univerzita plánuje otevřít výzvu pro studenty i akademické pracovníky, aby navrhli cesty k tomu, jak používat AI pro úspěch studentů ve vzdělávání. Ukazuje tak, že AI nemusí být pro školy jen strašákem, ale i příležitostí k zlepšování výuky i výzkumu.
🔓 Open foundation modely jako budoucnost AI
Mark Zuckerberg, zakladatel a CEO společnosti Meta, přišel v lednu s poněkud překvapivým oznámením — chce prý postavit obecnou umělou inteligenci (AGI) a zpřístupnit ji veřejně (pravděpodobně na principu open foundation model = otevřený základní model). Společnost Meta od začátku svoje AI snahy zakládala na přístupnosti, což podporuje i její hlavní vědec a držitel Turingovy ceny Yann LeCun. Působila ale méně ambiciózní než společnosti jako OpenAI nebo DeepMind, které mají stavbu AGI stanoveno jako svůj dlouhodobý cíl. Teď se to však mění a Zuckerberg prohlásil, že obecná inteligence je potřebná pro jejich budoucí produkty (jako například původně silně propagovaný Metaverse, kvůli němuž firma změnila jméno z Facebook na Meta). Proto se teď soustředí na akumulaci talentu i výpočetního výkonu (prý bude do konce roku vlastnit 340 000 H100 GPUs = vysoce výkonných a moderních čipů od společnosti Nvidia a celkem 600 000 GPUs). To jsou obrovská čísla. Při přibližně $30k na jednu H100 činí celková náklady přibližně $10B, což je asi 230 miliard korun nebo také cena letadlové lodě.
Open foundation modely jsou zajímavou součástí AI ekosystému. Jak nad nimi zajistit potřebnou kontrolu se řešilo například i v kontextu evropského Aktu o AI — podle posledních informací by otevřené základní modely trénované na méně než 1025 FLOPs (míře vynaložených výpočetních prostředků) měly být zproštěny přísnější regulace. Open foundation modely se taky nedají hodit do jednoho pytle, protože hodně záleží na úrovní jejich zveřejnění. Některé společnosti zveřejňují informace o jejich vahách, např. Meta o svém modelu Llama 2. Jiné zpřístupňují veřejně váhy, data i zdrojový kód (např. velký kolaborativní projekt, který vytvořil model BLOOM).
Podle nedávno publikovaného brífinku Stanfordské univerzity, který považuje za otevřené základní modely oba zmíněné případy, jsou open foundation modely užitečné v tom, že pomáhají distribuovat moc nad touto technologií, katalyzují inovace a zaručují transparentnost, což ale může být také zneužito a zvyšovat tak rizika spojená například s kyberbezpečností. Přílišná regulační zátěž může ale rozvoj open foundation modelů výrazně ztížit, protože za nimi často nestojí velké a bohaté společnosti (čest výjimkám jako Meta). Proto výzkumníci vyzívají k přesnější formulaci regulace týkající se open foundation modelů i více výzkumu, který prokáže reálná mezná rizika open foundation modelů.
☣️ Biologické hrozby dnešních jazykových modelů
Jedna z obav kolem obecné umělé inteligence (AGI) je, že její proliferace umožní lidem se špatnými úmysly vytvořit biologické zbraně za relativně nízkou cenu, ale s velkým negativním dopadem na svět. RAND Corporation, neziskovka a think tank, který je slavný svým matematickým a herně-teoretickým přístupem k jaderné válce a jehož zprávy ovlivňují od konce druhé světové války přístup Spojených států amerických ke globálním konfliktům, vydal nový report The Operational Risks of AI in Large-Scale Biological Attacks (v překladu Operační rizika umělé inteligence pro biologické útoky). Jejich závěr je, že dnešní veřejně dostupné systémy, jako je například GPT-4, nedávají potenciálnímu útočníkovy výhodu proti obyčejnému použití vyhledávače, jako je Google.
🪶 Off-topic koutek poezie
Standovi se líbí obskurní báseň z roku 1969 od sci-fi autora Raye Bradburyho z jeho novely “Night Call, Collect" z knihy "I Sing The Body Electric", ve které popisuje emergentní “inteligenci” telefonních drátů, která se strašidelně (i když hodně metaforicky) přibližuje jazykovým modelům.
Suppose and then suppose and then suppose
That wires on the far-slung telephone black poles
Sopped up the billion-flooded words they heard
Each night all night and saved the sense
And meaning of it all.…..
To such Creation
Such dumb brute lost Electric Beast,
What is your wise reply?
Verše “Sopped up the billion-flooded words they heard” a “Each night all night and saved the sense” “And meaning of it all.” se dost přibližují tréninku jazykového modelu.
⚡Rychlé odkazy a myšlenky
🔮 Časopis TIME shrnuje přístupy k předpovědím příchodu AGI
🗳️ Rok 2024 má být supervolební, OpenAI tak zveřejnila článek o svém přístupu k volbám, v němž se zavazuje například k zavedení kryptografického označování obrázků generovaných DALL·E 3.
🏔️ AI vládla diskuzím na Světovém ekonomickém fóru (WEF) ve švýcarském Davosu. Zápis z jedné z debat na toto téma si můžete přečíst zde.
🇪🇺 EU založí svůj Úřad pro AI (AI Office), který bude napomáhat k monitorování a vymáhání AI regulace, především v oblasti AI pro obecné účely (general-purpose AI).
🌐 Standa napsal blog post o podivném aspektu geometrie ve vysokých rozměrech, který po vydání trendoval na Hacker News (=big deal mezi tech lidmi, co programují).
Líbilo se vám třinácté vydání newsletteru Pokrok v AI? Odebírejte ho přímo do vaší emailové schránky a podpořte tím naši práci!
Můžete ho také sdílet s přáteli na sociálních sítích.
Napsali Stanislav a Kristina Fort.