Krešo Žmak otkriva kako je Infobip obuzdao troškove umjetne inteligencije i AI agenata

Već je nekoliko godina umjetna inteligencija svuda oko nas i sve je više dio naše svakodnevice, a ne samo alat u našim mobitelima i računalima. Kako je prije nekoliko dana spomenuo Izabel Jelenić, suosnivač i glavni tehnički direktor Infobipa: "AI hype je gotov, sada smo u fazi poboljšanja svega onoga što on može." Razgovarajući sa stručnjacima na velikoj developerskoj Infobip Shift konferenciji u Zadru, još sam više stekao uvid koliko nam brzo stiže nova razina umjetne inteligencije – AI agenti. To je novi "buzz word" u tech svijetu, svi nastoje čim više iskoristiti mogućnosti umjetne inteligencije i automatizirati procese koji čovjeku oduzimaju previše vremena koje možemo bolje usmjeriti u kreativnost i kvalitetu života. Zanimljiva je priča i kako su u Infobipu istraživali najbolje prakse korištenja AI. S vrha je svim zaposlenicima u veljači ove godine stigao zapovjedni mail (u tvrtki ga zovu "code red mail") da svi moraju početi koristiti AI alate.

"Čak 90 posto ljudi počelo ga je tjedno aktivno koristiti, imamo ugovor s Antropicom i OpenAI-em, koristimo i druge AI alate... To su one priče kao kad je Uber potrošio godišnji budžet u prvom tjednu kad je počeo. To je kod nas eksplodiralo jer 3500 ljudi krenulo ga je koristiti za sve živo. Na neki način bilo je i kontrolirano, morali smo ga svi početi koristiti da bismo dobili bolje ideje. Onda smo ušli u nekakav održivi rast gdje smo se fokusirali na ideje koje imaju smisla, zbog kojih ćemo imati povrat na investiciju. Ako ćemo već koristiti AI, ajmo raditi ono gdje imamo povrat na investirano. Imali smo i stotinu ideja što bismo sve mogli raditi, od toga smo destilirali 3-4 ideje. Jedna od njih je da radimo microsite gdje brendu možemo prikazati što naša platforma njima može omogućiti, kako će to iskustvo izgledati na telefonu. Recimo da sada radimo AI projekt za Večernji list, primjerice da uvodite neki chatbot, modli biste vidjeti kako bi to izgledalo", kaže mi Krešo Žmak, Infobipov glavni direktor za inovacije.

Sada opreznije troše tokene, ali i dalje istražuju najbolje prakse. "I dalje naši zaposleni imaju slobodu u korištenju AI-a, ali mora postojati povrat na investiciju, a drugo je da smo počeli gledati kako sniziti trošak, i to korištenjem open source modela instaliranih na našem hardveru za kodiranje i istraživanje. Trošimo puno, ali stali smo na loptu jer jednostavno mora postojati povrat investicije", zaključuje Žmak, koji poput predavača na Shiftu Benoit Schillingsu iz Googleova DeepMinda priznaje da se još začudi koliko napreduju AI modeli.

"Brzina razvoja stvarno jest velika, zaprepašten sam svaki dan. Taj FOMO efekt (strah da ćeš nešto propustiti) strašan je jer doslovno na dnevnoj bazi izlazi novi model, neki novi "skill", novi način kako upravljati AI agentima. AI agenti danas su jednostavno neminovni. Svaki razgovor u industriji u kojoj smo mi završi na umjetnoj inteligenciji. Prije godinu dana svaki menadžer na svijetu dobio je zadatak da uvede AI. Od toga ih je deset posto znalo što taj AI može, a 90 posto ih je dobilo KPI ciljeve i onda su dolazili k nama i tražili da im upogonimo AI. Onda se krajem prošle godine pojavio AI agent koncept, gdje su LLM-ovi dobili alate, koncept i memoriju. U kodiranju su AI agenti još prije počeli već ozbiljno zamjenjivati cijele timove i ubrzavati produkciju. Ali, u komunikacijskom dijelu AI agenti su po prirodi nedeterministički, u smislu iskustva. Ne znaš kako će se ponašati, možda će nekad halucinirati, ne znaš kako će taj razgovor AI bota i čovjeka izgledati. I neodređeni su u smislu cijene i troška – nemaš pojma ili nisi siguran koliko će na kraju koštati taj neki AI agent. Brend ne zna koliko će taj AI agent potrošiti tokena i kako će to iskustvo biti", objašnjava mi Infobipov stručnjak.

Žmak dodaje da ako ideš ograničavati potrošnju tokena, ograničavaš korisničko iskustvo te kako je potrebno naći fin balans između troška i iskustva, što, jasno, nije lako. "Počeo se pojavljivati hiperpersonalizirani softver. Tvrtke grade svoj softver koji dosad nisu mogle jer su trebale uzeti sistem integratora, a sad s coding AI agentima mogu napraviti svoj softver koji će biti deterministički. Dakle, znat ćete da smijete postaviti pet pitanja, da morate razgovarati samo o određenoj temi, ali onda unutar toga dodati agentske mogućnosti. Napravite sve po koracima da tog klijenta možete odvesti nekamo drugamo kamo treba. I tu dobivate determinizam u korisničkom iskustvu i trošku. Ta kombinacija determinističkog softvera koji je hiperpersonaliziran za brend ima i agentske mogućnosti. To je neki trend koji sad vidimo na tržištu", objašnjava.

A gdje su granice AI-a i AI agenata, to nitko ne zna. Ono što znamo jest da je AI već snimio veliku većinu svega što je čovjek javno objavio. Googleov Benoit Schillings, koji je također govorio na Infobip Shift konferenciji, govori kako će AI sustavi morati učiti i sami od sebe, pa i stvarati svoje probleme te sami pronalaziti rješenja za njih. A gdje je onda tu čovjek? Kada se već i ozbiljni stručnjaci brinu i šokiraju brzinom AI skokova, koliko čovjek treba biti zabrinut? Tu me Schillings malo ohrabruje isticanjem da čovjekovu kreativnost nikako ne treba otpisivati. Kaže da čovjek danas opet može pobijediti računalo u drevnoj igri Go. "Ne otpisujte ljude", poručuje Schillings, koji mi je rekao i da je i dalje optimističan te da vjeruje u čovjeka i ljudsku maštu. Jedno područje u kojem ljudima i dalje daje posebno mjesto jest kreativnost. "Mislim da je to kreativnost. Tu su ljudi, pogotovo grupa ljudi, nepobjedivi", zaključio je.