Google šokoval svět! Nový Gemini drtí konkurenci a OpenAI se třese strachy!

Tato platforma, dříve známá jako LMSys arena, umožňuje laboratořím AI postavit své nejlepší modely proti sobě v anonymním souboji. Uživatelé hlasují, aniž by věděli, který model je který, dokud neodevzdají svůj hlas.

Nový model od Google DeepMind s chytlavým názvem Gemini-Exp-1114 se vyrovnal nejnovější verzi GPT-4o a překonal schopnosti modelu o1-preview reasoning od OpenAI.

Všech pět nejlepších modelů v aréně jsou verze modelů OpenAI nebo Google. Prvním modelem v žebříčku, který nevytvořila ani jedna z těchto společností, je Grok 2 od xAI.

Úspěch tohoto nového modelu přichází v době, kdy Google konečně vydává aplikaci Gemini pro iPhone, která v našem sedmikolovém srovnání Gemini vs. ChatGPT porazila aplikaci ChatGPT.

Jak dobře nový model funguje?

Nejnovější model Gemini se zdá být obzvláště dobrý v matematických a vizuálních úlohách, což dává smysl, protože to jsou oblasti, ve kterých vynikají všechny modely Gemini.

Gemini-Exp-1114 zatím není k dispozici v aplikaci Gemini ani na webu. Můžete k němu přistupovat pouze po registraci k bezplatnému účtu Google AI Studio (platforma určená pro vývojáře, kteří chtějí vyzkoušet nové nápady).

Není jasné, zda se jedná o verzi Gemini 1.5, nebo o raný pohled na Gemini 2, který se očekává příští měsíc. Pokud se jedná o druhou možnost, pak zlepšení oproti předchozí generaci nemusí být tak extrémní, jak někteří očekávali.

Podle benchmarků si však vede dobře v technických a kreativních oblastech. To by odpovídalo myšlence, že bude užitečný pro uvažování a řízení agentů. Je první v matematice, řešení složitých problémů, kreativním psaní a vizi.

Na rozdíl od jiných benchmarků je Chatbot Arena založena na lidském vnímání výkonu a kvality výstupu, nikoli na rigidním testování na datech.

Ať už se jedná pouze o novou verzi Gemini 1.5 Pro, nebo o raný pohled na možnosti Gemini 2, v oblasti AI nás čeká několik zajímavých měsíců.