👋 Pokrok v AI – newsletter č. 17
Dnes píšeme o odrazech AI v aktuálním geopolitickém kontextu, nových modelech Llama 3 od společnosti Meta a rostoucích investicích do AI.
Vítejte v sedmnáctém vydání našeho newsletteru Pokrok v AI, ve kterém shrnujeme nejnovější poznatky a vývoj v oblasti používání umělé inteligence (AI), strojového učení (ML) a AI policy a regulace.
🌐 Proplétání AI s geopolitickou realitou
AI se už delší dobu stává pevnou součástí naší geopolitické reality a jak již bylo v předchozích vydáních zmiňováno, integrace AI do vojenských technologií je toho součástí. To ale nyní vyvolalo kritiku v kontextu konfliktu mezi Izraelem a Palestinou, v rámci něhož prý Izrael používá systém Lavender, který má automaticky identifikovat obyvatele Gazy podezřelé ze spolupráce s hnutím Hamas a vyhodnocovat je jako “cíle”.
Tento systém podle deníku Guardian v jednu chvíli automaticky označil až 37 000 palestinských mužů jako potenciální “cíle”, což bylo možné především díky tomu, že prý mnohem rychleji zpracovával získávaná data a přicházel s doporučeními, na které objekty cílit další bombardování. Podle izraelské armády je systém Lavender standardním nástrojem a armáda AI k identifikaci cílů nepoužívá, ale vnitřní zdroje z izraelské armády tvrdí, že předpovědi systému Lavender mají přesnost kolem 90 % a návrhy cílů připravené tímto systémem už nebyly lidmi dále přezkoumávány, ale jen schvalovány. Lidský dohled na rozhodování systému Lavender tak podle nich byl velmi limitovaný (těžko ale říct, jak důvěryhodné tyto zdroje jsou).
Vojenský průmysl a výzkum historicky intenzivně přispíval k technologickému pokroku a využívání AI v ozbrojených konfliktech se tak pravděpodobně nevyhneme. Otázkou zůstává, jestli přibude tlak na to, aby byl do rozhodování smysluplně zapojen člověk (tzn. aby jen slepě neschvaloval doporučení AI systémů) a jak přesně se tato technologie bude používat. Některé technologie, který by sice technicky byly možné, jsou zakázány a prakticky se nepoužívají. Například Protocol on Blinding Laser Weapons zakazuje zbraně jejichž cílem je permanentně člověka oslepit.
💰Kdo přihodí víc aneb investice do AI stále rostou
V minulém vydání jsme zmiňovali plánované investice do AI od Saudské Arábie a Spojených arabských emirátů, ale oznámení investic stále přibývá. Nově například přišla Kanada se zprávou, že bude investovat 2 miliardy dolarů do nového fondu pro přístup k AI výpočetnímu výkonu (AI Compute Access Fund), který by měl podpořit výzkumníky i průmysl. Svoje plánované investice do AI oznámil i Singapur, který se chce kromě přístupu k výpočetnímu výkonu (375 milionů dolarů) zaměřit i na podporu talentu skrze stipendia pro studenty věnující se AI (15 milionů dolarů).
Do AI samozřejmě neinvestují jen státy ale i mnoho soukromých subjektů. Microsoft se (poměrně překvapivě) stává čím dál větším hráčem, neboť po pohlcení startupu Inflection do své nově vytvořené AI divize nyní získal minoritní podíl i ve francouzském startupu Mistral. Poskytuje jim také mimo jiné svoji cloudovou platformu Azure. Kromě toho dál rozvíjí spolupráci s OpenAI na novém “superpočítači Stargate”. Amazon zase oznámil investici dalších 2,75 miliard dolarů do startupu Anthropic. Google DeepMind samozřejmě benefituje z toho, že není závislý na externích poskytovatelích cloudových řešení, neboť používá vlastní Google Cloud. Vzhledem k závislosti AI společností na cloudových platformách se pravděpodobně postavení aktuálních technologických gigantů jen tak nezmění a jejich masivní vliv na vývoj AI bude pokračovat. Toto unikátní postavení cloudových platforem v AI dodavatelském řetězci má slibný potenciál pro regulaci AI, více si můžete přečíst v tomto zajímavém článku.
🦙🦙🦙 Meta představuje rodinu modelů Llama 3
Společnost Meta představila třetí generaci své rodiny jazykových modelů s otevřenými vahami jménem Llama. Původní Llama vyšla v únoru 2023 a rychle se stala standardem mezi otevřenými jazykovými modely. Llama 2 následovala v červenci 2023 a nyní, necelý rok poté, jsme se dočkali třetí verze.
Ta přichází ve 3 velikostech, ze kterých byly zatím uveřejněny dvě: 8B a 70B. Podle prvních zpráv se zdá, že Meta se do toho opravdu opřela a vytvořila zatím nejlepší otevřené jazykové modely ve svých kategoriích. Největší z rodiny Llama 3 o velikosti 405B se prý zatím stále trénuje. Až bude uveřejněn, půjde o pravděpodobně výrazně nejlepší open source jazykový model na světě. Pokud jde o čistou velikost, je tento model 3x větší než původní GPT-3. Podle dohadů má GPT-4 architekturu mixture-of-experts s 8 experty o 200B parametrech v každém. Kdyby byly najednou aktivní vždy 2 experti, jak to dělá model Mixtral od francouzského startupu Mistral, měla by pak největší monolitická Llama 3 podobnou velikost jako aktivní část GPT-4. Uvidíme, jaké budou její konečné výsledky, ale v podcastu Dwarkeshe Patela (který hodně doporučujeme) řekl Mark Zuckerberg následující:
Hopefully, sometime later in the year we'll get to roll out the 405B. For where it is right now in training, it is already at around 85 MMLU and we expect that it's going to have leading benchmarks on a bunch of the benchmarks.
Volný překlad: Doufáme, že později letos uveřejníme 405B model. Už teď má během tréninku výsledek 85 % na MMLU a očekáváme, že bude mít jedny z nejlepších výsledků na mnoha testech.
Výsledek 85 % na datasetu MMLU je opravdu hodně a to obzvlášť pro model, který ještě ani nedotrénoval! GPT-4 se podle původního článku pohybovalo kolem 86 %, zatímco Gemini Pro (což je verze, se kterou většina lidí interaguje, protože největší Ultra není ještě široce k dispozici) má pouze 82% (což je stejné jako Llama 3 70B).
8B verze Llama 3 je také podobně dobrá jako 70B verze Llama 2, což je obrovský pokrok z generaci na generaci. Velký faktorem jsou nejspíše data. Meta trénovala na 15T tokenech, což je o hodně víc než by byl optimální počet pro její velikost podle Chinchilla škálovacích “zákonů”. Ty říkají, že aby člověk získal nejlepší výkon při daném množství zdrojů (peněz) na trénink, měl by trénovat přibližně na 20 tokenech na každý parametr. 70B parametrů by tedy znamenalo 1.4T tokenů, což je 10x méně, než kolik jich Llama 3 70B nakonec viděla. Znamená to tedy, že na svou velikost je tento jazykový model chytřejší, než je typické. Jeho menší velikost ale také znamená, že se bude o to jednodušeji a hlavně levněji používat. Zdá se, že Meta je zpátky v souboji titánů v AI!
⚡Rychlé odkazy a myšlenky
🇪🇺 S finalizací evropského Aktu o AI roste zájem o to, kdo povede jím vytvořený Úřad pro AI, který bude tuto klíčovou legislativu implementovat. Europoslanci ale kritizují nedostatek transparentnosti v náborových procesech i málo informací o tom, jak si úřad zajistí konkurenceschopnost v kontextu velké poptávky po odbornících na AI.
🗳️ V rámci letošního “supervolebního” roku monitoruje organizace Rest of World používání AI v předvolebních kampaních i s volbami jinak spojeném obsahu. Upozorňuje tím na AI generovaný obsah ovlivňující předvolební vývoj třeba v Mexiku, Pákistánu či Indonésii. Co si o AI, dezinformacích a volbách myslí voliči zaznamenal server Politico.
🇬🇧 V minulosti jsme informovali o tom, že Británie zatím žádnou AI regulaci nezvažuje. To se ale podle Financial Times mění a britské úřady začínají pracovat na regulaci především kvůli obavám z nových hrozeb spojených s AI. O dalším vývoji vás budeme informovat!
🔬Tým ze Stanford University vydal svůj AI Index Report pro rok 2024. Má přes 500 stran a mapuje aktuální stav AI v různých oblastech. Mezi jeho hlavní závěry patří, že v AI aktuálně vedou Spojené státy (oproti Číně, EU a UK) a průmysl (oproti akademii).
Líbilo se vám sedmnácté vydání newsletteru Pokrok v AI? Odebírejte ho přímo do vaší emailové schránky a podpořte tím naši práci!
Můžete ho také sdílet s přáteli na sociálních sítích.
Napsali Stanislav a Kristina Fort.
Některé technologie, který by sice technicky byly možné
je asi typo ve 3. slově.