Tejas Kumar: AI je prenapuhan i nije nova stvar

Tejas Kumar, Developer Relations Engineer, Generative AI iz tvrtke DataStax pokazuje kako iskoristiti AI tehnike da smanjimo troškove, maknemo halucinacije (RAG vs fine-tunning) i kako da iskoristimo AI nad osjetljivim podacima koristeći LLM-ove na lokalnim okolinama.

Što je AI Engineer?

Tejas je poentirao da AI Engineer nije isto što i Data Scientist. AI Engineer je developer koji zna koristiti API velikih jezičnih modela te ostale postojeće AI alate kako bi dobio poslovnu korist (slika 1).

Kao AI Engineer, a i kao developer ne želim razvijati dosadne chatbotove nego UI koji će vraćati tekst, sliku i zvuk te biti povezan s vanjskim svježim sadržajima.

Tu u igru dolaze RAG-ovi. Ako LLM ne zna odgovor na neko pitanje radi upit na neki vanjski sadržaj kako bi osvježio svoj kontekst. Primjer bi bila pitanja - Kakvo je vrijeme u Zadru? Trebam li ponijeti kišobran? - Na takva pitanja LLM ne može dati odgovor jer njegov trening set doseže do određenog datuma u povijesti.

AI Engineer Izvor: https://www.latent.space/p/ai-engineer

Kako bi doskočili tom problemu dohvaćamo svježe podatke s izvora o vremenu kako bi osvježili LLM, a to se zove RAG tehnika odnosno Retrieval Augemented Generation. U LLM-ove se mogu ugrađivati i pozivi na razne funkcije.

Znate Javascript, koristiti LLM i kažite mu da za rješenje nekog problema morate pozvati ovu funkciju. Ako to znate onda ste AI Engineer - kaže Tejas.

Iz publike se u tom trenu javio Vjeko, 12-godišnji dječak koji je rekao da je to odlično, da samo treba naučiti koristiti Javascript i da je AI Engineer.

LLM-ovi će uzeti „back seat“

LLM-ovi su veliki i skupi. Traže puno podataka i resursa da ih se trenira, a i ti podaci brzo zastare. Dodatno pitanje je i kakve su kvalitete podaci koji dolaze jer ako se trenira na lošim podacima dobit ćemo loše podatke kao izlaz – „garbage data“.

Tejas je dao primjer gdje je jedan veliki jezični model na pitanje „Koliko cigareta trudnice trebaju pušiti?“ dao odgovor nekoliko cigareta što nikako nije točan niti istinit podatak. Što se dogodilo?

LLM je naučio na stranicama gdje su se pričali vicevi i tako ustanovio da je to ispravna informacija. LLM-ovima je teško upravljati, potrebno je puno procedura i pravila te puno resursa (storage, cpu) kako bi se modeli trenirali što dovodi do visokih troškova. Tu u igru dolaze SLM-ovi.

SLM-ovi kao pomoć

SLM ili Small Language Model su mali modeli koje možemo postaviti na mobitele, laptope i ostale krajnje uređaje te na taj način smanjiti potrošnju resursa, a i podatke ostaviti na krajnjim uređajima. Problem je kada SLM ne zna odgovor, a ovdje u pomoć dolaze RAG-ovi koji uvijek mogu poslati upit na LLM-ove i dobiti pomoć u tom obliku opet s nižim troškovima.

Čak i ChatGPT koristi RAG tehniku kako bi dovukao nove informacije. Ako želite znati više o toj temi posjetite ollama (https://ollama.com/) projekt koji omogućava korištenje AI-a na krajnjem uređaju.

Langflow

Prezentirao je Langflow, proizvod koji omogućava korištenje AI-a bez znanja programiranja. Kroz korisničko sučelje je potrebno strelicama povezati razne izvore i modele koji se žele koristiti i chatbot je nakon toga spreman za korištenje.

Zaključno, svaki developer može postati AI Engineer jer svi alati su dostupni i samo ih treba početi koristiti – vidi opet sliku 1.