👋 Pokrok v AI — newsletter č. 11
Poslední letošní vydání našeho newsletteru přináší: Gemini Ultra, který poráží lidské experty a GPT-4, MoE model od Mistral, finální verzi EU Aktu o AI, spojení COP28 a AI a mnohem víc.
Vítejte v jedenáctém vydání našeho newsletteru Pokrok v AI, ve kterém shrnujeme nejnovější poznatky a vývoj v oblasti používání umělé inteligence (AI), strojového učení (ML) a AI policy a regulace.
🧬 Gemini je venku a je podobně chytrý jako GPT-4
Google DeepMind veřejně oznámil rodinu svých multi-modálních velkých jazykových modelů Gemini, které byly trénovány na textu, obrázcích, videu, audiu a programovacím kódu. Gemini přichází ve 3 velikostech: Nano, který se vejde na mobilní telefon, Pro (podobné ChatGPT / GPT-3.5, tedy verzi od OpenAI, která je zdarma) a Ultra, který je ve schopnostech o trochu lepší než předchozí nejlepší model, GPT-4 od OpenAI.
Podle nás je to obrovský úspěch — ve zkratce to znamená, že Google je teď teprve druhou společností, která má model ve schopnostech ekvivalentní GPT-4 z OpenAI (Claude-2 od Anthropicu je hodně podobný, ale o trochu méně schopný než Gemini Ultra nebo GPT-4). I přes sebevědomé proklamace některých influencerů je teď očividné, že Google can ship. Pro Google taktéž mluví další z fundamentálních faktorů: v podstatě neomezený rozpočet (kolem sto miliard dolarů), největší koncentrace talentovaných výzkumníků a výzkumnic na světě, skvělá infrastruktura, vlastní datová centra a dokonce vlastní typ AI akcelerátoru jménem TPU, na kterém se dá trénovat levně a efektivně a který byl dokonce AI spolu-navržen.
Na jednom z nejobtížnějších textových datasetů jménem MMLU (Massive Multitask Language Understanding) je největší model z rodiny Gemini, Gemini Ultra, prvním veřejně oznámeným modelem, který dosáhl výsledku přes 90 %. Lidští experti na MMLU získali skóre 89,8 % a Gemini Ultra je tedy prvním AI modelem v historii, který na jednom z nejpopulárnějších testů znalostí a schopností řešit problémy získal skóre vyšší než oni. AI forecasting komunita považuje překročení výsledků lidských expertů na MMLU za jeden ze signálů obecné (umělé) inteligence. Pro porovnání, GPT-4 mělo ve svém akademickém článku oznámené skóre 86,4%, ale za trochu jiných podmínek než Gemini Ultra. Za podmínek obdobných ale pořád Gemini Ultra vyhrává.
V dalších datasetech Gemini Ultra také nad GPT-4 vítězí, i když typicky jen o malý kousek. Pro některé bylo trochu zklamáním, že nový model z DeepMind nebyl podobným krokem napřed jako například GPT-4 vůči GPT-3. My si ale myslíme, že vůbec získat výsledky podobné GPT-4, natož ho trochu překonat, stálo obrovské úsilí a ukazuje, že Google ví, jak stavět a trénovat obří AI modely. Kde Gemini Ultra výrazně dominuje jsou multi-modální datasety. Překvapivě také výrazně lépe přepisuje audio na text než slavný OpenAI model Whisper.
Chatbot Bard by měl být v USA připojen automaticky (a zdarma!) na Gemini Ultra, tedy ten nejchytřejší model. V Evropě bohužel ještě ne, ale snad se brzy dočkáme.
🇪🇺 EU AI Akt konečně dojednán
Po téměř 36 hodinách intenzivního jednání (a dvou a půl letech od prvního představení) byla na začátku prosince dohodnuta finální (byť stále trochu provizorní) podoba Aktu o umělé inteligenci (nebo také AI Aktu). Evropská unie má tak první právně závaznou komplexní regulaci této technologie na světě! Přestože pravděpodobně dojde k dolazování technických detailů, jedná se o mimořádný úspěch, který má potenciál ovlivňovat regulaci AI za hranicemi EU.
Akt o AI vychází z tzv. na rizicích založeného přístupu (risk-based approach), který zvyšuje přísnost pravidel podle závažnosti rizika. Použití AI k některým úkonům, jako například rozeznávání emocí na pracovišti či ve vzdělávacích institucích, kognitivní manipulaci chování či sociálnímu kreditnímu systému (social scoring), je přímo zakázáno. Některé úkony, které chtěla část vyjednávajících stran zakázat, nakonec byly povoleny bezpečnostním složkám, které by tak měly moci používat například vzdálenou biometrickou identifikaci (remote biometric identification) k zabránění teroristickým útokům.
Přes neshody v posledních týdnech nakonec došlo i na regulaci základní modelů (foundational models), které musí splňovat podmínky týkající se transparentnosti. Aby ale byl Akt o AI dostatečně pro-inovační, bude podpořen vznik AI regulačních sandboxů (zmiňovali jsme již v devátém vydání newsletteru), které by měly umožnit testování modelů v reálných podmínkách (s určitými bezpečnostními zárukami). Na dodržování pravidel představených v AI Aktu by měl také dohlížet nově vytvořený Úřad pro AI (AI Office), který bude spadat pod Evropskou komisi. Vzhledem k tomu, že ale zatím nebylo zveřejněno nejnověji dojednané znění Aktu o AI (očekává se v lednu), tak si na detaily ještě budeme muset počkat. A celý AI Akt bude pravděpodobně uplatňován až od roku 2026, takže vývoj kolem něj ještě určitě sledovat budeme…
🧮 DeepMind řeší novou matematiku
DeepMind publikoval vědecký článek, ve kterém představuje využití velkého jazykového modelu k novým, originálním objevům v matematice. Pomocí průzkumu a postupného mutování matematických funkcí napsaných v programovacím jazyce udělali autoři nejspíše první objev v otevřeném problému v matematice pomocí velkých jazykových modelů. Výsledky byly publikované v asi nejprestižnějším vědeckém časopise Nature v článku Mathematical discoveries from program search with large language models (v překladu přibližně Matematické objevy pomocí hledání v prostoru programů pomocí velkých jazykových modelů).
Metoda, kterou tým nazval FunSearch, kombinuje kreativitu velkých jazykových modelů, které ale mohou halucinovat a vymýšlet si, s rigidním evaluátorem jejich řešení, který umí poskytnout informace o správnosti. Postupnými iteracemi mezi kreativním jazykovým modelem a rigidním, ale přesným evaluátorem, našel tým nová řešení otevřeného matematického problému.
Jde zatím o první krok — problémy, které umí tento postup řešit, musí být hodně specifické — ale je úžasné, jak široké je využití velkých jazykových modelů a že jsme už teď na prahu doby, kdy mohou dělat, společně s dalšími komponentami, objevy ve fundamentální vědě a matematice.
🌱 AI klimatickým vyzyvatelem či výzvou?
Na konci listopadu probíhal v Dubaji (!) klimatický (!!) summit COP28, na kterém se mimo vyjednávání o všemožných aspektech klimatické změny řešila také umělá inteligence. V rámci snah o zapojování technologií do boje s klimatickými výzvami byla vyhlášena AI Innovation Grand Challenge, jejímž cílem je najít na AI založená řešení pro klimatickou změnu. AI se aktuálně dá využívat třeba k předpovídání počasí, což může pomoci s adaptací na klimatickou změnu, nebo nalézání nových materiálů (jak jsme zmiňovali v minulém čísle newsletteru) využitelných k efektivnějšímu ukládání energie.
Kromě potenciálu pro řešení klimatické krize ale AI přináší i svoje výzvy. Fungování AI systémů je extrémně energeticky náročné (podobně jako počítačová infrastruktura obecně), což není příliš kompatibilní se snahou spotřebu energie snižovat v rámci odstupování od neobnovitelných zdrojů. Podle studie vědců z univerzity Carnegie Melon a společnosti Hugging Face tak vygenerování jednoho obrázku spotřebuje obdobné množství energie jako plné nabití baterie telefonu. To ale závisí přímo na tom, jak velké emise vyprodukuje výroba elektrické energie v zemi, kde jsou servery, na kterých AI model běží, umístěny. Například ve Francii je díky jaderné energetice běžné generovat 1 kWh elektrické energie při emisích pod 50 g CO2, zatímco tato hodnota třeba v Německu typicky nepadá pod 300 g CO2 kvůli velkému podílu spalování zemního plynu. Zůstává tak otázkou, zda bude AI pro řešení klimatické krize pozitivní či negativní. Je ale možné, že její reálné hlavní dopady nebudou snadno přímočaře odhadnutelné.
🇫🇷 Mixtral 8x7B je lepší než LLaMA 70B za cenu 12B modelu
Francouzský startup Mistral (odhadovaná valuace dnes již kolem 50 miliard Kč) publikoval svůj nový model Mixtral 8x7B. Jeho specialitou je, že narozdíl od jiných velkých jazykových modelů používá architekturu zvanou Mixture of Experts (dobrý, přístupný blog post o ní je dostupný zde). To znamená, že místo jedné, velké, tzv. monolitické neuronové sítě je model tvořen routerem, který posílá signály jedné z osmi menších neuronových sítí, kterým se říká experti, a jejichž provoz je díky jejich menší velikosti levnější a rychlejší.
Mistral je jeden z mála dobrých open-source modelů typu Mixture of Experts a s osmi experty, každým o velikosti 7B parametrů, má při testech lepší výsledky než LLaMA s monolitickou architekturou a 70B parametry a dokonce i než GPT-3.5. Jeho použití odpovídá ale ceně malého 12B modelu. Dobrá evropská práce! Jsme rádi, že v rámci EU také posouváme hranice (zatím sice jen open-source) AI modelů.
Pokud jsou spekulace pravdivé (skoro určitě jsou), tak GPT-4 má taktéž Mixture of Expert architekturu. Jeho “experti” mají ale 220B parametrů každý (to je více, než celé GPT-3 a 30x více, než model od Mistralu) a je jich také osm. Architekturu GPT-4 vyzradil George Hotz, slavný americký inženýr pracující na samořídících autech.
⚡Rychlé odkazy a myšlenky
⛪ Papež František vyzval ke globální a právně závazné regulaci umělé inteligence. Snaží se tak zabránit technologickým diktaturám.
⚛️ Scott Aaronson, génius a expert na kvantovou informatiku, napsal dobrý blog post s retrospektivou toho, proč se tolik spletl ohledně rychlostí vývoje AI.
🙌 Společnosti IBM a Meta založili Alianci pro AI (AI Alliance), která má za cíl spojovat přes 50 společností a akademických institucí, podporovat jejich otevřenou spolupráci a přinášet otevřené (open-source) inovace.
🧬 Tým z DeepMind zveřejnil výzkumný článek, který se zabývá rozlišováním mezi různými úrovněmi potenciální budoucí obecné umělé inteligence (AGI) na základě jejích výkonů, obecnosti a autonomie.
🧮 Conwayova Game of Life, slavný celulární automat, je omniperiodický. Ukazuje to nový článek, která je vyvrcholením několik dekád trvajícího výzkumu. Skvělé video o Game of Life s jejím autorem od matematického kanálu Numberphile můžete najít zde.
🥇 Byť je Akt o AI důležitým milníkem na cestě k regulaci AI, někteří uživatelé X jeho význam vnímají trochu jinak…
🧠 Terence Tao, matematická legenda, nejmladší vítěz Mezinárodní matematické olympiády a nositel Fieldsovy medaile, se veřejně učí jazyk Lean, ve kterém dokáží počítače ověřit matematické důkazy, a podle svého blog postu si myslí, že do roku 2026 budou velké jazykové modely schopny pracovat bok po boku nejlepších matematiků a matematiček světa.
🎄 Toto je poslední vydání našeho newsletteru v letošním roce. Přejeme Vám radostné a pokojné prožití vánočních svátků a těšíme se na viděnou ve Vašich e-mailových schránkách na začátku ledna 2024!
Líbilo se vám jedenácté vydání newsletteru Pokrok v AI? Odebírejte ho přímo do vaší emailové schránky a podpořte tím naši práci!
Můžete ho také sdílet s přáteli na sociálních sítích.
Napsali Stanislav a Kristina Fort.