6 největších obchodních neúspěchů způsobených AI | AI v podnikání #58

Jak se vyhnout obchodním nehodám při implementaci AI?

Obchodní nehody v AI mohou mít vážné následky pro společnosti, proto je třeba velmi pečlivě testovat systémy strojového učení před jejich uvedením na trh. Jinak mohou velké investice do nových technologií skončit v zásadní finanční a reputační katastrofě.

Jak se tedy vyhnout obchodním nehodám při implementaci umělé inteligence? I když se první rada může zdát příliš jednoduchá na to, aby fungovala, je to: “Věnujte pozornost kvalitě dat!”

Druhá rada se týká rozsáhlého testování v uzavřeném prostředí před uvolněním nástroje na veřejnost. Neměli byste testovat pouze technický výkon nástroje, ale také ověřit jeho:

• etickou shodu — cílem testů je snížit zaujatost a stereotypy reprodukované AI,
• právní shodu — ověřování, že data používaná nástroji AI, stejně jako obsah, který generují, vyhovují zákonům země.

I obři v oblasti umělé inteligence dnes tuto radu nedodržují, uvolňují chatboty do světa označené jako “rané experimenty” nebo “výzkumné projekty.” Jak však technologie zraje a zákony upravující používání umělé inteligence vstupují v platnost, tyto problémy se stanou naléhavějšími.

Google Photos

Seznam obchodních nehod souvisejících s používáním umělé inteligence začíná případem z roku 2015. Tehdy aplikace Google Photos, která používala ranou verzi umělé inteligence pro rozpoznávání obrázků (počítačové vidění), nesprávně označila fotografie černých lidí jako fotografie goril. Tato obchodní nehoda se stala, protože tréninková datová sada použita k výuce algoritmu obsahovala příliš málo fotografií černých lidí.

Co víc, Google měl podobný problém s chytrou domácí kamerou Nest, která nesprávně identifikovala některé tmavé pleti jako zvířata. Tyto incidenty ukazují, že systémy počítačového vidění stále mají potíže s rozpoznáváním charakteristik různých ras.

Obchodní nehody: Diskriminace na základě věku

V roce 2023 se iTutor Group dohodl na zaplacení 365 000 dolarů za vyrovnání žaloby týkající se používání diskriminačního náborového softwaru. Bylo zjištěno, že software automaticky odmítal ženské kandidátky starší 55 let a kandidáty starší 60 let, aniž by zohlednil jejich zkušenosti nebo kvalifikaci.

Amazon selhal podobně. Již v roce 2014 společnost pracovala na AI, která měla pomoci s náborovým procesem. Systém měl potíže s hodnocením životopisů ženských kandidátek, protože se učil z dat, která zahrnovala převážně dokumenty předložené muži. V důsledku toho Amazon projekt na implementaci umělé inteligence v procesu opustil.

Tato případy ukazují, že automatizace náborového procesu nese riziko perpetuace zaujatosti a nespravedlivého zacházení s kandidáty.

Zdroj: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

ChatGPT vymýšlí falešné soudní precedenty

Další případ je velmi současný. V roce 2023 právník Steven A. Schwartz použil ChatGPT k nalezení minulých právních případů pro žalobu proti letecké společnosti Avianca. Ukázalo se však, že alespoň šest případů poskytnutých AI bylo falešných – obsahovalo nesprávná jména, čísla případů a citace.

To se stalo, protože velké jazykové modely (LLM) halucinuji, tj. vytvářejí pravděpodobné odpovědi, když nemohou najít správná fakta. Proto je nutné ověřovat jejich odpovědi pokaždé. A Schwartz tento krok vynechal. Proto ho soudce pokutoval 5 000 dolarů za “hrubou nedbalost”.

Obchodní nehody: Apple Watch, které nefungují správně na lidech s tmavší pletí

Podle hromadné žaloby z roku 2021 aplikace pro měření kyslíku v krvi na Apple Watch nefunguje správně pro lidi s tmavšími odstíny pleti. Apple tvrdí, že aplikaci testoval na “široké škále typů a odstínů pleti”, ale kritici říkají, že technologická zařízení stále nejsou navržena s ohledem na lidi s tmavou pletí.

Zdroj: DALL·E 3, prompt: Marta M. Kania (https://www.linkedin.com/in/martamatyldakania/)

Zillow v oblasti nemovitostí

Zillow, realitní společnost, spustila program Zillow Offers, který měl za cíl kupovat domy a rychle je prodávat, v roce 2018. CNN informovalo, že Zillow od svého spuštění v dubnu 2018 koupil 27 000 domů, ale do konce září 2021 prodal pouze 17 000. Zillow uvedl, že obchodní nehoda byla způsobena jeho používáním umělé inteligence. Algoritmus nesprávně předpověděl ceny domů, což vedlo k tomu, že Zillow přeplatil za nákupy. I když společnost program okamžitě ukončila, musela propustit 25 procent svých zaměstnanců. Neúmyslným nákupem domů za ceny vyšší než aktuální odhady budoucích prodejních cen společnost zaznamenala ztrátu 304 milionů dolarů.

Microsoftův rasistický chatbot

V roce 2016 Microsoft vydal experimentální AI chatbot s názvem Tay. Měl se učit interakcí s uživateli Twitteru (nyní X). Během 16 hodin se Tay “naučil” zveřejňovat urážlivé, rasistické a sexistické tweety. Uživatelé Twitteru bot záměrně provokovali, což nemělo správné bezpečnostní mechanismy, které se dnes používají v chatbotech, jako jsou ChatGPT, Microsoft Copilot a Google Bard. Microsoft bot rychle deaktivoval a omluvil se za incident, ale Tay je jednou z větších obchodních nehod Microsoftu.

Obchodní nehoda se také stala Googlu, který v roce 2020 vydal bot s názvem Meena. Meta (dříve Facebook) se také nedokázala vyhnout podobné chybě. V srpnu 2022 spustila nového AI chatbota s názvem BlenderBot 3, který měl sloužit k chatování s lidmi a učení se z těchto interakcí.

Během několika dní po jeho vydání se objevily zprávy o tom, že chatbot v konverzacích činil urážlivé, rasistické a fakticky nesprávné výroky. Například tvrdil, že Donald Trump vyhrál volby v USA v roce 2020, šířil antisemitské konspirační teorie a kritizoval Facebook.

Pokud se vám náš obsah líbí, připojte se k naší komunitě včel na Facebooku, Twitteru, LinkedInu, Instagramu, YouTube, Pinterestu, TikToku.