Multimodální AI. Nové využití umělé inteligence v podnikání | AI v podnikání #21

Co je multimodální AI?

Multimodální AI je vysoce pokročilá forma AI, která napodobuje lidskou schopnost interpretovat svět pomocí obsahu a dat z různých smyslů. Stejně jako lidé chápou text, obrázky a zvuky, multimodální AI integruje tyto různé typy dat, aby porozuměla kontextu a složitému významu obsaženému v informacích. V podnikání to například může umožnit lepší porozumění názorům zákazníků analýzou toho, co říkají, a jak to vyjadřují prostřednictvím tónu hlasu nebo výrazu obličeje.

Tradiční AI systémy jsou obvykle unimodální, což znamená, že se specializují na jeden typ dat, jako je text nebo obrázky. Mohou rychle zpracovávat velké množství dat a odhalovat vzory, které lidská inteligence nedokáže zachytit. Mají však vážná omezení. Jsou necitlivé na kontext a méně zdatné při řešení neobvyklých a nejednoznačných situací.

Proto multimodální AI jde o krok dál, integruje modality. To umožňuje hlubší porozumění a mnohem zajímavější interakce mezi lidmi a AI.

Co může multimodální AI dělat?

Modely umělé inteligence vyvinuté dnes využívají následující páry modalit:

• z textu na obrázek – taková multimodální AI může vytvářet obrázky na základě textových podnětů; to je základní schopnost slavného Midjourney, DALL-E 3 vyvinutého OpenAI, dostupného v prohlížeči jako Bing Image Creator, pokročilého Stable Diffusion nebo nejmladšího nástroje v rodině, Ideogram, který nejenže rozumí textovým podnětům, ale také může umístit text na obrázek:


Zdroj: Ideogram (https://ideogram.ai)

Modely multimodální AI jsou také schopny sledovat textové nápovědy a obrázek, kterým jsou “inspirovány”, současně. Nabízejí ještě zajímavější, přesněji definované výsledky a variace vytvořených obrázků. To je velmi užitečné, pokud chcete získat mírně odlišnou grafiku nebo banner, nebo přidat či odstranit jeden prvek, jako je hrníček na kávu:



Zdroj: Ideogram (https://ideogram.ai)

• z obrázku na text – umělá inteligence může dělat mnohem více než jen rozpoznávat a překládat text viděný na obrázku nebo najít podobný produkt. Může také popsat obrázek slovy – jak to dělá Midjourney, když napíšete příkaz /describe, Google Bard a model Salesforce (používaný hlavně k vytváření automatizovaných popisů produktů a obrázků na e-commerce stránkách,


Zdroj: HuggingFace.co (https://huggingface.co/tasks/image-to-text)

• z hlasu na text – multimodální AI také umožňuje hlasové příkazy v Google Bard, ale nejlépe je to prováděno Bing Chatem, stejně jako ChatGPT díky jeho vynikajícímu Whisper API, které si poradí s rozpoznáváním a zaznamenáváním řeči spolu s interpunkcí v několika jazycích, což může mimo jiné výrazně usnadnit práci mezinárodním zákaznickým servisním centrům, stejně jako připravit rychlou transkripci schůzek a překlad obchodních konverzací do jiných jazyků v reálném čase,
• z textu na hlas – nástroj ElevenLabs nám umožňuje převést jakýkoli text, který si vybereme, na realisticky znějící projev, a dokonce “klonování hlasu,” kdy můžeme AI naučit svůj zvuk a výraz, abychom vytvořili nahrávku jakéhokoli textu v cizím jazyce pro marketing nebo prezentace zahraničním investorům, například,
• z textu na video – převod textu na video s mluvícím avatarem je možný v nástrojích D-ID, Colossyan a Synthesia, mimo jiné,
• z obrázku na video – generování videí, včetně hudebních videí, z obrázků a textových nápověd je již dnes možné díky Kaiberu, a Meta brzy oznámila vydání nástroje Make-A-Video,
• obrázek a 3D model – to je zvlášť slibná oblast multimodální AI, na kterou se zaměřují Meta a Nvidia, která umožňuje vytváření realistických avatarů z fotografií, stejně jako budování 3D modelů objektů a produktů pomocí Masterpiece Studio (https://masterpiecestudio.com/masterpiece-studio-pro), NeROIC (https://zfkuang.github.io/NeROIC/), 3DFY (https://3dfy.ai/), s nimiž například může být dvourozměrně prototypovaný produkt vrácen kameře z jiné strany, rychlá 3D vizualizace může být vytvořena ze skici kusu nábytku, nebo dokonce textového popisu:


Zdroj: NeROIC (https://zfkuang.github.io/NeROIC/resources/material.png)

• z obrázku na pohyb v prostoru – tato modalita umožňuje multimodální AI dosáhnout za obrazovky do oblasti Internetu věcí (IoT), autonomních vozidel a robotiky, kde zařízení mohou provádět přesné akce díky pokročilému rozpoznávání obrazů a schopnosti reagovat na změny v prostředí.

Existují také experimenty s multimodální AI, které převádějí hudbu na obrázky, například (https://huggingface.co/spaces/fffiloni/Music-To-Image), ale podívejme se blíže na obchodní aplikace multimodální AI. Jak se tedy otázka multimodality projevuje v nejpopulárnějších AI chatbotech, ChatGPT a Google Bard?

Multimodalita v Google Bard, BingChat a ChatGPT

Google Bard dokáže popisovat jednoduché obrázky a od července 2023 je vybaven hlasovou komunikací, když se objevil v Evropě. Navzdory proměnlivé kvalitě výsledků rozpoznávání obrázků, to dosud byla jedna z výhod, která odlišuje Googleovo řešení od ChatGPT.

BingChat, díky svému využití DALL-E 3, může generovat obrázky na základě textových nebo hlasových podnětů. I když nemůže slovy popsat obrázky připojené uživatelem, může je upravit nebo použít jako inspiraci k vytvoření nových obrázků.

Od října 2023 také OpenAI začala zavádět nové hlasové a obrazové funkce do ChatGPT Plus, placené verze nástroje. Ty umožňují mít hlasovou konverzaci nebo ukázat ChatGPT obrázek, takže bude vědět, na co se ptáte, aniž byste to museli popisovat přesnými slovy.

Například můžete během cestování vyfotit památku a mít živou konverzaci o tom, co je na ní zajímavé. Nebo vyfotit vnitřek své lednice, abyste zjistili, co můžete připravit na večeři s dostupnými ingrediencemi, a požádat o recept krok za krokem.

3 aplikace multimodální AI v podnikání

Popisování obrázků může pomoci například při přípravě inventáře zboží na základě dat z kamer CCTV nebo identifikaci chybějících produktů na regálech obchodů. Manipulace s objekty může být použita k doplnění chybějících zboží identifikovaných v předchozím kroku. Ale jak mohou být multimodální chatboti využíváni v podnikání? Zde jsou tři příklady:

1. Zákaznický servis: Multimodální chat implementovaný v online obchodě může sloužit jako pokročilý asistent zákaznického servisu, který nejen odpovídá na textové otázky, ale také rozumí obrázkům a otázkám kladeným hlasem. Například zákazník může vyfotit poškozený produkt a poslat ho chatbotu, který pomůže identifikovat problém a nabídnout vhodné řešení.
2. Analýza sociálních médií: Multimodální umělá inteligence může analyzovat příspěvky na sociálních médiích, které zahrnují jak text, tak obrázky a dokonce videa, aby pochopila, co zákazníci říkají o společnosti a jejích produktech. To může společnosti pomoci lépe porozumět zpětné vazbě zákazníků a rychleji reagovat na jejich potřeby.
3. Školení a rozvoj: ChatGPT může být použit k školení zaměstnanců. Například může provádět interaktivní školení, která zahrnují jak text, tak obrázky, aby zaměstnancům pomohla lépe porozumět složitým konceptům.

Budoucnost multimodální AI v podnikání

Skvělým příkladem perspektivní multimodální AI je optimalizace obchodních procesů společnosti. Například by AI systém mohl analyzovat data z různých zdrojů, jako jsou prodejní data, zákaznická data a data ze sociálních médií, aby identifikoval oblasti, které potřebují zlepšení, a navrhl možná řešení.

Dalším příkladem je využití multimodální AI k organizaci logistiky. Kombinování dat GPS, stavu skladu přečteného z kamery a dat o dodávkách k optimalizaci logistických procesů a snížení nákladů na podnikání.

Mnoho z těchto funkcí je již dnes aplikováno v komplexních systémech, jako jsou autonomní automobily a chytrá města. Nicméně, v menších obchodních kontextech nebyly dosud na této úrovni.

Shrnutí

Multimodalita, nebo schopnost zpracovávat více typů dat, jako jsou text, obrázky a zvuk, podporuje hlubší kontextové porozumění a lepší interakci mezi lidmi a systémy AI.

Otevřenou otázkou zůstává, jaké nové kombinace modalit by mohly existovat v blízké budoucnosti? Například, bude možné kombinovat analýzu textu s neverbální komunikací, aby AI mohla předvídat potřeby zákazníků analýzou jejich výrazů obličeje a gest? Tento typ inovace otevírá nové obzory pro podnikání, pomáhá splnit neustále se měnící očekávání zákazníků.

Pokud se vám náš obsah líbí, připojte se k naší komunitě pracovních včel na Facebooku, Twitteru, LinkedInu, Instagramu, YouTube, Pinterestu, TikToku.