Co pohání openai bot, který porazil dendi

Minulý týden byla historie vytvořena v říších Dota 2 a AI. V The International byl Dendi, jeden z nejlepších hráčů hry, nemilosrdně poražen v 1v1, botem, dvakrát za sebou. Dotyčný bot byl vyroben OpenAI, startem Elon Musk.

Nyní můžete mít nějaké otázky. Co je Dota? Co je OpenAI? A proč je to dokonce důležité? Začněte tím, že Dota je hra MOBA, kterou můžete hrát zdarma, ve které ovládáte hrdiny a vaším cílem je zničit starověké protivníky. Mnoho fanoušků Dota se může dopustit urážky až do poslední věty, protože tolik, kolik jsem Dota, pak jsem shrnul.

Hra je velmi složitá a má velmi strmou křivku učení. Před nějakou dobou jsem se pustil do mise, abych se naučil Dota, a trvalo mi týden, než jsem prošel základním videem Jak na to, kde vysvětlují strategii hry, jaké zbraně, kouzla, hrdinové dělají a jak doléhat. A to dělá celou bitvu AI vs Dendi důležitou, protože ukazuje, jak pokročilé AI a ML se staly. Podívejme se tedy, co to dělá botu a musíme se bát povstání AI.

Vzestup planety AI

AI stát se Skynetem je diskutabilní problém. Elon Musk věří, že pokud nebude udržován pod kontrolou, je pravděpodobné, že se stane scénář typu Skynet. Na druhou stranu Mark Zuckerberg říká, že AI je neškodná a nezpůsobí Doomsday Scenario. Elon Musk začal OpenAI s tímto cílem.

Zabránit zneužití AI a výzkumu AI, které se proti nám neobrátí. A já jsem na jeho straně.

Ale to není to, o čem jsme zde. Hlavním tématem je vědět, co pohánějí robota od OpenAI. Abych to pochopil, četl jsem několik výzkumných článků a blogů na toto téma a také jsem kontaktoval svého přítele Anmol Sharma, který je výzkumníkem AI & ML.

Posílení učení

Toto je název technologie za botou OpenAI Dota. Než se však do toho ponoříme, musíme pochopit, jak funguje všeobecná AI nebo konkrétně AI ve videohrách. AI je velmi správní období a obsahuje mnoho témat, jako je například strojové učení, hluboké učení a neuronové sítě. Pro hrubou definici umělé inteligence můžeme říci, že je to schopnost počítače učit se z informací a přijímat rozhodnutí na základě učení. Čím více se to učí, tím více se zvyšuje správnost rozhodnutí.

Jak se liší od běžných bot?

Bots obecně videohry mohou vypadat, že jsou inteligentní, ale není to skutečná forma umělé inteligence. Téměř všechny tyto roboty ve hrách jsou naprogramovány na základě souboru If..This..Then..Th. Prostě se řídí prohlášeními a podnikají kroky na základě podmínek uvedených v prohlášení.

Výše jsem ukázal velmi jednoduchý příklad. Prohlášení v reálných hrách jsou mnohem složitější s podmínkami v podmínkách. Čím přesně jsou tato prohlášení definována a podrobnější, tím více se bude zdát inteligentní.

Odměny a tresty

V AI Lingo se to, čemu říkáme bot, říká agent. Cílem je přimět agenta, aby se naučil, co chceme, aby se naučil. Agent se učí stejnou metodou, jakou se váš pes učí, prostřednictvím odměn a trestů. Kdykoli agent udělá chybu, bude potrestán a kdykoli udělá správný odhad nebo poskytne správnou odpověď, je odměněn. Prostřednictvím tohoto systému se agent učí spojovat akce, které by neměl dělat, aby se vyhnul trestu a provedl akci (nebo podobné akce), které dávají odměny.

Pokud o tom pečlivě přemýšlíte, je to jako dělat rozhodnutí na základě určitých podmínek, podobně jako algoritmy. Jak jsem ukázal výše, herní bot, přicházející na výbušnou hlaveň, bude jednat podle algoritmu. Algoritmy v AI jsou zjevně nesmírně složité, což činí celý systém inteligentním.

Pokud jde o náš OpenAI bot, podle vývojářů se naučil celou hru během 2 týdnů. Po celou dobu 2 týdnů to bylo online 24 × 7 a hrálo se proti jeho kopii. To je pozoruhodný milník vzhledem ke složitosti hry a skutečnosti, že by mohla porazit Dendiho.

Proč zde ještě nejsou auta bez řidiče?

To byla jedna z prvních otázek, která se mi objevila, když jsem slyšel o celé této události. Pokud se bota může naučit takovou hru a trénovat se až do bodu, kdy porazí špičkové hráče, proč stále ovládáme kolo. A to byla stejná otázka, jakou jsem zastřelil na svého přítele, pana Anmol Sharmy, který také zkoumal auta bez řidiče. To je to, co řekl.

Ve hře vyvinuté člověkem je počet proměnných menší. Navíc, pokud agent (bot) udělá chybu, nejhorším trestem je ztráta kola. Ve skutečném světě je jednou chybou smrt.

Přestože je Dota složitá hra, možné kombinace pohybů, kouzel a taktik, i když jsou stále nesmyslně velké, jsou stále omezené. A chyby jsou povoleny bez skutečného trestu. V případě agenta bez řidiče však mohou chyby vést k nebezpečným nehodám nebo dokonce ke smrti.

Ve skutečném světě je počet proměnných, které agent musí sledovat, nekonečný a situace vznikající v důsledku těchto proměnných, jako je další auto, které se náhle mění pruh, skákání pro chodce před autem, jsou také nekonečné. Navíc, jak to uvedl Jeremy Clarkson, budou muset učinit morální a etická rozhodnutí, když budou na pokraji okamžité nehody (ačkoli jeho teorie není platná).

Budoucnost

Již víme, že robot řízený člověkem provádí vlastní operace. Dalším krokem jsou roboti ovládaní umělou inteligencí, kteří ji provádějí. A to je jen v lékařské oblasti. AI bude jistě dominantní novou technologií v příštích deseti letech v mnoha oborech. AI však lze také zneužít pro nekalé účely, jako jsou útoky DDoS, Ransomware Bots a hackování dalších počítačů nebo systémů společností.

Co se týče hry Dota a dalších her, můžeme očekávat, že se takové inteligentní roboti budou vyrábět i pro jiné hry, proti nimž mohou hráči trénovat, aby hráli ještě lépe. A zmínil jsem se, že OpenAI bude dělat příští rok na 5v5? Takže jsem pryč, abych si vyčistil své dovednosti Dota, abych alespoň porazil vestavěné roboty. Divine Rapier, sem přijdu!