Uvođenje AI-ja ne završava pokretanjem sustava

Softverski projekti imaju poznat ritam. Definirati zahtjeve. Dizajnirati. Razviti. Testirati. Pustiti u rad. Gotovo.

Stvarnost je, naravno, složenija, ali taj je misaoni model duboko ukorijenjen u to kako tvrtke kupuju i isporučuju tehnologiju. AI se u njega ne uklapa baš najbolje.

AI sustav koji ulazi u produkciju nije samo instalirani softver. To je sustav koji počinje raditi sa stvarnim podacima, stvarnim ljudima, stvarnim iznimkama i poslovanjem koje se mijenja. A to mijenja i značenje riječi „gotovo”.

Specifikacija je pretpostavka

Prije implementacije timovi pokušavaju razumjeti proces. Razgovaraju s ljudima. Mapiraju tijekove rada. Proučavaju podatke. Definiraju zahtjeve. Osmišljavaju arhitekturu.

Taj je posao važan. No nikakva analiza ne može savršeno opisati što se događa kad se sustav susretne sa stvarnošću.

Prodavač ima zaobilazno rješenje koje nitko nije spomenuo. Kupac se ponaša drukčije nego što pokazuju povijesni obrasci. Format dokumenta se promijeni. Zaposlenici postavljaju pitanja drukčije nego što se očekivalo. Izvorni sustav sadrži nedosljednosti. Rubni slučaj koji se prošle godine dogodio dvaput ovaj se tjedan dogodi pet puta.

Specifikacija opisuje ono što vjerujemo da sustav treba raditi. Produkcija otkriva što on zapravo treba raditi.

AI dodaje još jedan promjenjiv sloj

Klasični softver uglavnom slijedi izričite upute. AI sustavi uvode probabilističko ponašanje. Njihova uspješnost može ovisiti o kontekstu.

Podaci se mijenjaju. Upiti se mijenjaju. Modeli se mijenjaju. Baze znanja se mijenjaju. Korisnici mijenjaju način na koji rade sa sustavom. Pružatelji objavljuju nove verzije modela. Troškovi se mijenjaju. Poslovni uvjeti se mijenjaju.

Zato sustav treba pratiti drukčije. Pitanje „je li dostupan?” samo je početak.

Također trebate razumjeti: jesu li rezultati korisni? Vjeruju li im korisnici? Gdje sustav griješi? Koji se slučajevi eskaliraju? Je li se uspješnost promijenila? Koliko stoji korištenje? Mijenjaju li ljudi zbog njega svoje ponašanje?

I na kraju: poboljšava li se poslovni rezultat?

Tehnička i poslovna uspješnost nisu isto

Zamislimo prediktivni sustav koji prepoznaje kupce kod kojih postoji rizik pada narudžbi. Tehnički gledano, model može raditi iznimno dobro.

No možda prodavači ignoriraju upozorenja. Ili je upozorenja previše. Ili stižu prekasno. Ili sustav ispravno prepoznaje rizik, ali ne daje dovoljno objašnjenja da bi prodavač mogao reagirati. Ili se informacije prikazuju na zasebnoj nadzornoj ploči koju nitko ne otvara.

Model može „raditi” dok implementacija ne uspijeva. Zato upravljanje poslovnim AI-jem zahtijeva pogled dalje od tehničkih metrika. Stvarni krug izgleda ovako:

PRATI → PROMATRAJ → UČI → PRILAGODI → MJERI → PONOVI

Puštanje u rad donosi informacije koje prije niste imali

To je jedna od najvrjednijih strana produkcije. Prije puštanja u rad imate pretpostavke. Nakon njega imate dokaze.

Koje funkcije ljudi zaista koriste. Kojim predviđanjima vjeruju. Koje preporuke odbacuju. Koje se iznimke pojavljuju. Gdje se tijek rada prekida. Gdje je potreban dodatni kontekst. Gdje se automatizacija može sigurno proširiti. Gdje je treba smanjiti.

Te bi se informacije trebale izravno vraćati u sustav. Rezultat je nešto bitno drukčije od jednokratne implementacije. Sustav počinje učiti zajedno s organizacijom.

Implementacijski tim treba ostati blizu

Zato smatramo da je odvajanje „isporuke” od „održavanja” sve problematičnije za poslovni AI. Ako tim koji razumije zašto je sustav izgrađen nestane odmah nakon puštanja u rad, s njim nestaje i velik dio konteksta potrebnog za poboljšanje sustava.

Inženjeri moraju vidjeti što se događa u produkciji. Ne zauvijek i ne zbog svake male odluke. Ali dovoljno blizu da razumiju stvarnost. Dovoljno blizu da vide gdje i kako sustav zakazuje. Dovoljno blizu da tehničko ponašanje povežu s poslovnim rezultatima.

To je jedan od razloga zašto vjerujemo da će Forward Deployed Engineering postajati sve važniji u poslovnom AI-ju. Inženjer ne održava samo softver. Pomaže smanjiti jaz između onoga što je osmišljeno i onoga što stvarno stvara vrijednost.

Puštanje u rad nije ciljna crta

Cilj poslovnog AI-ja nije staviti AI u produkciju. Cilj je da nešto u poslovanju postane bolje. Ta razlika zvuči suptilno. Nije.

Ako je cilj puštanje u rad, uspjeh nastupa kad se sustav pokrene. Ako je cilj poslovna vrijednost, puštanje u rad samo je trenutak u kojem napokon imate dovoljno dokaza da procijenite funkcionira li sustav.

Pokretanjem sustava odgovornost ne prestaje. Tada sustav počinje dokazivati je li uopće važan.

U poslovnom AI-ju tu implementacija postaje zaista zanimljiva.