👋 Pokrok v AI — newsletter č. 1
První vydání newsletteru informující o nejnovějším vývoji ve vytváření a používání umělé inteligence a strojového učení.
Vítejte v prvním vydání mého newsletteru Pokrok v AI, ve kterém budu shrnovat nejnovější poznatky a vývoj z oblasti používání umělé inteligence (AI) a strojového učení (ML).
Velký jazykový model Flan-PaLM o 2 roky napřed
Velký jazykový model z Googlu Flan-PaLM předběhl o rok až dva předpovědi expertních forecasterů (lidí předvídajících budoucí vývoj) na úlohách z 57 obtížných datasetů. Základem modelu Flan-PaLM je velký jazykový model PaLM o 540 miliardách trénovatelných parametrů, který byl finetunován (trénován na menším množství specializovanejších dat, typicky probíhá po prvotním masivním pretrainingu na všech datech) na 1800 úlohách ve formě instrukcí. Výsledný nový model překonal předpovědi expertních forecasterů z letošního léta pro výkony umělých inteligencí jak na rok 2023, tak i 2024 na obtížném datasetu MMLU obsahujícím 57 různých oborů sahajících od matematiky, přes americkou historii, až po počítačovou vědu. Tento výsledek je součástí studie zkoumající vliv delšího finetuningu. Klíčem k úspěchu se zdají být větší modely (jako vždy), více úloh k tréninku (jejichž benefit však výrazně klesal s jejich stoupajícím počtem), takzvaný chain-of-through finetuning a sebe-konzistence. Tento výsledek je další ukázkou toho, jak překotně rychlý je vývoj velkých jazykových modelů – i expertní forcasteři, kteří o jeho tempu dobře ví a studují ho, typicky výrazně podhodnocují, jaké výkony můžeme v nejbližší budoucnosti očekávat. Zajímavým detailem je, že model získal přibližně 90 % v části "profesionální medicína", která se převážně skládá z otázek United States Medical Licensing Examination – zkušebního programu pro udělování profesních licencí doktorům ve Spojených státech.
Meta si vzala na mušku Mezinárodní matematickou olympiádu (IMO)
Meta AI (dříve Facebook AI Research) vydala nový vědecký článek, ve kterém představuje významný pokrok v kombinaci matematiky a umělé inteligence. Postavila neuronový dokazovač teorémů (theorem prover), který vyřešil 10 IMO problémů – 5x více, než předchozí AI systémy. Výzkumníci v OpenAI se v minulosti také pustili do problémů z mezinárodní matematické olympiády a vyřešili pouze dva. Forecastingový portál Metaculus sbírá předpovědi měsíce, kdy umělá inteligence poprvé vyhraje zlatou medaili na Mezinárodní matematické olympiádě (IMO). Úlohy z mezinárodní matematické olympiády jsou obecně považovány za extrémně obtížné a zlatí medailisté se často stávají profesionálními matematiky posouvajícími hranice lidských znalostí. Ke dnešnímu dni je mediánová predikce k jaru roku 2027, což je velký posun směrem k ještě rychlejšímu vývoji AI i na těch nejtěžších problémech.
Google naučil velký jazykový model matematiku
Velký jazykový model (large language model, LLM) Minerva z Googlu se naučil řešit matematické úlohy a dosáhl nového rekordního skóre na obtížném datasetu MATH, který obsahuje problémy z matematických soutěží. Tento výsledek jde proti časté intuici, že jazykové modely jsou sice dobré v triviálním doplňování jazykových vzorců chování, ale že nebudou schopny pracovat s logickými, přesnými matematickými problémy. Klíčem k úspěchu byl takzvaný “step-by-step reasoning” v přirozeném, lidském jazyce, při kterém vede AI monolog sama se sebou a promýšlí řešení problému před tím než odpoví. Autoři vyzkoušeli model na Polské národní matematické zkoušce (Poland’s National Math Exam) z roku 2022, na které získal nadprůměrný výsledek, a na britské GCSE Higher Mathematics zkoušce, v níž vyřešil správně 80 % úloh. Expertní předpovědi forecasterů nečekaly takto dobré výsledky do roku 2025.
Ukázka úlohy z datasetu MATH:
Rychlejší maticové násobení z DeepMind
DeepMind našel pomocí AI nový matematický algoritmus pro rychlejší násobení matic – jednu z klíčových operací, na které jsou dnešní AI systémy postavené. Tento výsledek je dalším z řady indikací, že umělá inteligence může být schopna efektivně zlepšovat fundamentální části procesů, které umožňují její vlastní trénink a použití. Další ukázkou je například použití AI na zlepšení Google TPUs, které se používají k akceleraci AI modelů. Maticové násobení dvou čtvercových matic o velikosti N krát N vyžaduje naivně N^3 operací násobení. Takzvaný Strassen algorithm z roku 1969 dokáže snížit mocninu počtu násobení z 3 na ~2.81. AlphaTensor z DeepMind automaticky objevil několik algoritmů, které se staly nejrychlejšími na světě pro několik konkrétních velikostí matic.
Nový jazykový model z Meta se zaměřením na vědu
Meta AI publikovala nový jazykový model Galactica se 120 miliardami parametrů, který je zaměřený na vědu. Model trénoval na velkém množství vědeckého textu, jako jsou například učebnice, vědecké články, znalostní databáze, encyklopedie a referenční manuály. Dělá vše co můžeme čekat od jazykového modelu podobné velikosti jako je GPT-3, navíc k tomu ale zná hodně věcí o chemii, proteinech, umí citovat zdroje nebo psát dokumenty v LaTeXu (jazyk pro sázení vědeckých prací, který je extrémně populární ve STEM oborech). Model stále trpí vážnými problémy jako jsou halucinace (tj. vymýšlení si pravděpodobně znějících faktů), ale jde o působivý krok směrem k použití AI v přístupu k vědeckým znalostem a open-source hnutí v umělé inteligenci.
Update 18. listopadu 2022: Meta AI stáhla demo modelu Galactica z veřejné webové stránky po té, co velké množství uživatelů bylo schopno získat zavádějící a často i chybné odpovědi na relativně jednoduché otázky.
State of AI Report 2022
Letošní edice každoroční detailní zprávy State of AI předpovídá alespoň 3 biliony dolarů (přes 70 bilionů korun) v celkové hodnotě společností, které budou používat nebo vytvářet SaaS (software as a service) AI. Tento report přichází v době velkých kol financování pro AI společnosti, ale také horšího ekonomického výhledu pro technologický sektor jako celek. Report vypichuje rostoucí velikost podoboru bezpečnosti umělé inteligence (AI safety), rozevírající se nůžky mezi akademií a průmyslovým výzkumem (ve prospěch průmyslu) a rostoucí zaměření na velikost modelů, dat a výpočetního výkonu, které se občas částečně charakterizuje jako “scale is all you need”.
Rychlé odkazy
The Bitter Lesson (Richard Sutton). Dnes již “klasická” esej (dle AI času – vyšla v roce 2019 a rychle rozdmýchala silné emoce) od jednoho ze zakladatelů reinforcement learningu, profesora Richarda Suttona. Její hlavní tezí je, že výpočetní výkon a obecné metody, které jsou jeho růst schopny efektivně využívat, vždy porazí komplikovaná, “chytrá” řešení a že tohle je příběh, který se proplétá celou historií umělé inteligence minulé půl století.
Dokument o DeepMind AlphaGo je zdarma ke zhlédnutí na Youtube. Tento velmi pozitivně hodnocený film přístupně ukazuje cestu systému AlphaGo od začátku v kancelářích DeepMind v Londýně až k jeho vítězství nad světovým šampiónem Lee Sedolem v roce 2016. Vítězství AI systému v deskové hře Go, která je pro počítače považována za výrazně těžší než například šachy, signalizovalo začátek revoluce hlubokých neuronových sítí v AI.
Společnost Stability AI, tvůrce generativní AI Stable Diffusion, vybrala od investorů přes 100 milionů dolarů na stavbu open-source AI.
Líbilo se vám první vydání newsletteru Pokrok v AI? Odebírejte ho přímo do vaší emailové schránky a podpořte tím mojí práci!
Můžete ho také sdílet s přáteli na sociálních sítích.
Napsal Stanislav Fort, editovala Kristina Šůsová.