👋 Pokrok v AI — newsletter č. 5
Páté vydání newsletteru Pokrok v AI je tady: DALL·E 3 umí psát, autorská práva pro AI umělce, AI drony poráží člověka, GPT-4 opravuje vlastní chyby a AI v USA v područí velkých firem a apokalypsy.
Vítejte ve pátém vydání našeho newsletteru Pokrok v AI, ve kterém shrnujeme nejnovější poznatky a vývoj v oblasti používání umělé inteligence (AI), strojového učení (ML) a AI policy a regulace.
🎨 DALL·E 3 je venku!
Nová verze text-to-image systému DALL·E od OpenAI — DALL·E 3 — je venku a podle prvních ukázek vypadá jako zatím nejlepší AI generátor obrázků na světě! Je (teda spíše pro většinu lidí v rámci měsíců bude) zároveň zapojený přímo do ChatGPT a GPT-4, takže by měl být schopen generovat dobré výsledky i bez komplexních spletitých promptů a z více lidsky-znějících popisů kýženého obrázku. Jedna z věcí, kterou by měl systém zvládat lépe než konkurence, je přesné zobrazení textu v rámci vygenerovaného obrázku, jako například v této ukázce:
V porovnání třeba se slavným (a masivně vydělávajícím!) startupem Midjourney jsou výsledky, které jsem zatím viděl, výrazně lepší ze systému DALL·E. Porovnání obou systémů na promptu, které si OpenAI vybrala k marketingu (takže to možná není porovnání zcela férové) je DALL·E-3 výrazně lepší jak v kvalitě obrazu samotného, tak v zobrazení textu v rámci finálního výtvoru:
©️ Kdo může být autorem?
Častou otázkou vynořující se v oblasti regulace (obzvlášť generativní) AI jsou autorská práva. Firmy vlastnící autorská práva k různým dílům lobují za posílení autorských práv v legislativě věnující se regulaci AI. Zároveň ale vyvstává otázka, zda může být AI model autorem uměleckého díla. Přestože například obraz Théâtre D'opéra Spatial vyhrál přes rokem uměleckou soutěž, americký Úřad pro autorská práva (Copyright Office) odmítl registrovat toto dílo tak, aby k němu měl použitý AI model autorská práva. Podle amerických soudů se totiž autorská práva mohou vztahovat jen na díla vytvořená lidmi.
Byť by se toto téma mohlo zdát zcela nové, autorská práva se řešila už v souvislosti s fotografiemi. Náš substackový kolega Timothy B. Lee se mu věnoval a zmínil, že i u fotografií soudy argumentovaly, že snímky, které jsou pouhou mechanickou reprodukcí scény bez umělecké intence, si nezasluhují autorská práva. Vytvoření komplexního kvalitního uměleckého díla za využití AI ale vyžaduje notnou dávku kreativity a trpělivosti od člověka, jenž zkouší různé prompty. Je tedy možná jen otázkou času, kdy budou soudy přinuceny svou současnou pozici přehodnotit.
🏁 Dron s AI vs lidský šampion — 1:0
Tým z University of Zürich postavil závodní dron Swift, jehož navigační, plánovací a kontrolní software je postavený na strojovém učení. Ten poprvé porazil lidské šampiony ve first-person view závodech dronů (závodníci mají na očích brýle pro virtuální realitu, pomocí kterých vidí závod z pohledu dronu samotného). Po deskových hrách, jako jsou šachy nebo Go, a komplikovaných počítačových hrách, jako je StarCraft nebo Dota, jde o jeden z prvních případů, kdy AI porazila lidské šampiony ve “fyzickém” sportu.
Zajímavostí je, že od hraní jednoduché počítačové hry Space Invaders až k porážení lidských šampionů ve fyzických závodech dronů stačilo ve vývoji reinforcement learningu pouze 10 let. To samé učící paradigma je tak skoro beze změny schopno fungovat úspěšně v čím dál komplexnějších prostředích a situacích.
🏆 Kvalita dat » kvantita dat: Učebnice is all you need
Tým výzkumníků z Microsoftu publikoval vědecký článek s dlouho očekávánými jazykovými modely, jež byly trénované na důkladně vybraném a překvapivě malém množství dat. Jejich původní článek popsal trénink na synteticky generovaných učebních materiálech, jehož výsledkem byl model o 1,3B parametrech, který při testování porážel i 7x větší slavný open-source model LLaMA-2 od společnosti Meta.
❌ ✅ Kolik je 90% z 500?
Yann LeCun, jeden z nositelů Turingovy ceny za hluboké neuronové sítě (ekvivalent Nobelovy ceny za informatiku), ve svém nyní slavném tweetu a asociované přednášce tvrdil, že jazykové modely nikdy nemohou fungovat dobře, mají-li v každém dalším slově, které vygenerují, nenulovou šanci udělat chybu. V dlouhé odpovědi pak skoro určitě v nějaký moment chybu udělají a od té doby to půjde všechno z kopce. Jak to tak bývá, když prominentní vědec řekne, že něco nejde, skoro určitě to už někdo zkusil a ukázal opak. Skvělý příklad se objevil na Twitteru (nyní X, ale já mám pořád radši staré jméno) skrze následující prompt, který jsem sám s GPT-4 replikoval (moje komentáře jsou v hranatých závorkách).
Člověk: Je 450 90% z 500?
Model: Ne, 450 není 90% z 500. [tohle je chyba, ale i GPT-4 z paměti neumí matematiku moc dobře, určitě ne jako první slovo, co po otázce vygeneruje]
Model: Abychom zjistili, kolik je 90% z 500, vynásobíme 500 a 0.9 [správný postup]
Model: 500 x 0.9 = 450 [správný výpočet, tady modelu došlo, že původní odpověď je špatně]
Model: Počkat, omlouvám se za zmatek. Ano, 450 je opravdu 90% z 500.
V tomto případě bylo GPT-4 očividně schopné opravit svoji vlastní chybu. Toto ukazuje dvě věci: 1) Odpověď bez možnosti ji “promyslet” pomocí chain-of-thought (proudu myšlenek) je často méně kvalitní, než ta, kterou model více “promyslí” tím, že vygeneruje mnoho-slovnou odpověď s postupem řešení a 2) auto-regresivní modely (což jsou všechny nyní slavné jazykové modely) dokáží svoje chyby samy opravovat, což vyvrací tvrzení profesora LeCuna.
👃 Neuronové sítě dostaly nos
V novém revolučním článku A principal odor map unifies diverse tasks in olfactory perception skupina výzkumníku z Googlu naučila jazykový model “cítit” “zápach”. I přes obrovský úspěch strojového učení v doménách sahajících od obrázků, přes text, video i genetickou informaci zatím nebyly schopné pracovat s nestandardnějšími modalitami, jako je například pach nebo vůně.
Výzkumný tým sesbíral set dat 5 000 molekul a požádal lidské dobrovolníky, aby popsali, jak jim voní. Používali přídavná jména jako: “krémový”, “masový”, “citrusový”, “pálivý”, atd. Tento set dat je jedinečný a v oblasti vůní také tím největším na světě. Výzkumníci pak natrénovali grafovou neuronovou síť (graph neural network, GNN), aby mapovali tvar chemické molekuly pachu na její textový popis. Každá molekula je totiž grafem atomů a jejich propojení, což je přesně ten typ dat, na který jsou grafové neuronové sítě připraveny. V novém článku tým ukázal, že na předem neviděných molekulách se neuronová síť na základě pouhého popisu molekuly pachu výrazně shoduje s lidským vnímáním vůně.
🇺🇸 Regulace AI i za Atlantikem
Pokud jste v posledních dvou týdnech četli zprávy, možná jste zaznamenali, že téma regulace AI se stává prominentním i mezi americkými senátory. Zatím se ale spíš snaží pochopit, jak AI funguje a jaká jsou její rizika. Právě proto vzniklo na popud senátora Chucka Schumera (vedoucího Demokratické většiny) AI Insight Forum (fórum vhledů do umělé inteligence), v rámci kterého vystupují šéfové velkých technologických společností, ale i zástupci z řad občanské společnosti a akademie zaměřující se na etiku AI. Složení účastníků fóra bylo kritizováno především kvůli vysokému zastoupení byznysu a tím pádem také velkému korporátnímu vlivu na případnou budoucí legislativu.
Profesorka Deborah Raji, která se fóra účastnila, pro MIT Technology Review řekla, že účast CEOs vedla k vychvalování revolučního dopadu AI, což je samozřejmě součástí jejich mandátu, ale zároveň odvádění pozornosti od aktuálních negativních dopadů této technologie. Podobné obavy vyjádřil i analytik Alex Engler, který upozornil na “trik” CEOs, kteří hovoří o existenciálních rizicích spojených s velkými jazykovými modely v daleké budoucnosti, ale ignorují současné problémy, jako jsou diskriminující algoritmy či otázky kolem sledování a soukromí. Pokud budou senátoři naslouchat jen zástupcům byznysu chránícím svoje vlastní zájmy, hrozí, že případná nová legislativa nebude schopna bojovat s reálnými negativními dopady AI dnes a v blízké budoucnosti. Uvidíme, zda tlak zvenčí i zevnitř (např. od senátorky za Demokratickou stranu Elizabeth Warren) ovlivní to, kdo se v budoucnu ještě k podobným sezením přidá.
Kromě konzultací se ve Spojených státech začínají objevovat i legislativní iniciativy pro regulaci AI. Nejvýrazněji aktuálně působí legislativní rámec pro AI navrhovaný senátory Richard Blumenthal a Josh Hawley, který doporučuje licencování vysoce rizikových systémů, transparentnost AI modelů nebo třeba právo na ověření rozhodnutí AI systému člověkem (human in the loop). Detailnější informace ale zatím chybí a k závzanému uplatňování podobné regulace vede dlouhá cesta, jak ukazuje i EU AI Act, který byl poprové navržen v dubnu 2021.
⚡ Rychlé odkazy
Imbue, dříve Generally Intelligent, získali investici $200M v rámci svého Series B při valuaci nad $1B na stavbu AI systémů, které umí přemýšlet a programovat.
Pokud si chcete přečíst víc o hrozbách a příležitostech spojených s AI, minulý týden vyšel se Standou článek v časopise Ekonom.
Líbilo se vám páté vydání newsletteru Pokrok v AI? Odebírejte ho přímo do vaší emailové schránky a podpořte tím naši práci!
Můžete ho také sdílet s přáteli na sociálních sítích.
Napsali Stanislav a Kristina Fort.