Si funksionojnë modelet e mëdha gjuhësore (LLM), shpjeguar thjesht

Nëse keni provuar ndonjëherë ChatGPT-në ose një asistent tjetër bisede, keni përdorur një model të madh gjuhësor, ose shkurt LLM (nga anglishtja Large Language Model). Shumë njerëz mendojnë se këto sisteme janë një bazë e madhe të dhënash që "di gjithçka", ose, përkundrazi, se mendojnë si njeriu. Asnjëra nuk është plotësisht e saktë. Në këtë artikull shpjegojmë, pa formula dhe pa zhargon të panevojshëm, si funksionon një LLM dhe çfarë do të thotë kjo kur e përdorni për t'iu përgjigjur klientëve tuaj.

Ideja bazë: parashikimi i fjalës së radhës

Në thelb, një model i madh gjuhësor bën një gjë të vetme, por e bën jashtëzakonisht mirë: duke parë një tekst, parashikon cila pjesë teksti ka më shumë gjasa të vijë më pas.

Merrni fjalinë: "Mirëdita, a e keni këtë fustan edhe në ngjyrë të..." Pa u menduar shumë, ju e dini se vazhdimi mund të jetë "zezë", "kuqe" ose "bardhë", por jo "tavolinë". Modeli bën të njëjtën gjë, vetëm se e ka mësuar këtë aftësi nga sasi shumë të mëdha tekstesh. Pasi zgjedh pjesën e radhës, e shton në tekst dhe e përsërit procesin, pjesë pas pjese, derisa formohet një fjali, një paragraf ose një përgjigje e tërë.

Këto "pjesë" quhen token. Një token mund të jetë një fjalë e plotë, një pjesë fjale ose një shenjë pikësimi. Fjalët e shpeshta në anglisht janë zakonisht një token i vetëm, ndërsa fjalët më të rralla, ose fjalët e gjuhëve me më pak tekste në internet, ndahen shpesh në disa copa. Kjo është një nga arsyet pse shqipja ka sfida të veçanta, të cilat i trajtojmë te artikulli për inteligjencën artificiale në shqip.

Si mëson një model

Paratrajnimi: leximi i një biblioteke gjigante

Në fazën e parë, modeli "lexon" një sasi të madhe tekstesh: libra, artikuj, faqe interneti, kod. Për çdo pjesë teksti, ai provon të parashikojë vazhdimin, e krahason parashikimin me tekstin e vërtetë dhe rregullon pak nga pak miliarda numra të brendshëm, të quajtur parametra. Pas një procesi shumë të gjatë dhe të kushtueshëm, modeli ka përthithur rregullsitë e gjuhës: gramatikën, stilin, lidhjet mes ideve dhe shumë njohuri të përgjithshme për botën.

Përshtatja: nga parashikues teksti te asistent

Një model që vetëm vazhdon tekstin nuk është ende një asistent i dobishëm. Prandaj, në fazën e dytë, ai stërvitet me shembuj bisedash dhe me vlerësime nga njerëzit, që të ndjekë udhëzimet, të përgjigjet me mirësjellje dhe të refuzojë kërkesat e dëmshme. Kjo fazë e kthen modelin në diçka me të cilën mund të bisedoni.

Një analogji e thjeshtë: modeli është si një student që ka lexuar një bibliotekë të tërë dhe pastaj ka bërë praktikë në shërbimin ndaj klientit. Di shumë dhe flet bukur, por nuk e ka parë kurrë magazinën tuaj dhe nuk di çfarë ka ndodhur pasi mbaroi leximin.

Vëmendja: si i lidh modeli fjalët

Hapi i madh përpara erdhi në vitin 2017 me arkitekturën Transformer, të prezantuar në punimin shkencor Attention Is All You Need. Ideja kryesore quhet vëmendje (attention): për çdo fjalë, modeli vlerëson cilat fjalë të tjera në tekst janë më të rëndësishme për ta kuptuar atë.

Shembull nga një dyqan online: "Bluzën që pashë dje në story, a e keni edhe në të zezë?" Fjala "e" i referohet bluzës, jo story-t. Mekanizmi i vëmendjes e ndihmon modelin ta bëjë këtë lidhje, edhe kur fjalët janë larg njëra-tjetrës. Po ky mekanizëm e ndihmon të kuptojë një mesazh të shkurtër si "po në 40?", kur e sheh të gjithë bisedën që i parapriu.

Çfarë "di" dhe çfarë nuk di një LLM

Këtu qëndron pika më e rëndësishme për çdo biznes. Një LLM nuk ka brenda tij një tabelë me fakte të verifikuara. Ka rregullsi statistikore të gjuhës, të mësuara nga tekstet. Kjo sjell disa pasoja praktike:

• Nuk i njeh të dhënat tuaja. Nuk di çmimet, stokun, oraret apo politikën tuaj të kthimit, përveç nëse ia jepni ju.
• Njohuritë e tij kanë një datë. Modeli di vetëm atë që ishte në tekstet e trajnimit, deri në një moment të caktuar.
• Mund të shpikë me bindje. Kur nuk e di përgjigjen, modeli mund të prodhojë diçka që tingëllon e saktë, por nuk është. Kjo dukuri quhet "halucinacion" dhe e trajtojmë në detaje te pse AI-ja "shpik" përgjigje.
• Ka një "kujtesë pune" të kufizuar. Në çdo moment, modeli sheh vetëm një sasi të caktuar teksti: udhëzimet, bisedën dhe informacionin që i jepet. Kjo quhet dritare konteksti.

Si bëhet një LLM i besueshëm për biznesin

Meqë modeli nuk i di faktet e biznesit tuaj, sistemet serioze nuk e lënë të përgjigjet "nga kujtesa". Ato përdorin disa shtresa mbrojtjeje:

1. Kërkimi para përgjigjes. Para se të shkruajë, sistemi kërkon në informacionin e biznesit (katalog, faqe, politika) dhe i jep modelit vetëm pjesët që lidhen me pyetjen. Kjo qasje quhet RAG, nga Retrieval-Augmented Generation, dhe u përshkrua në një punim kërkimor të vitit 2020. Si zbatohet për produktet dhe çmimet e një dyqani e shpjegojmë te RAG dhe katalogu i dyqanit.
2. Rregulla të qarta. Modeli udhëzohet çfarë mund të thotë, çfarë nuk duhet të premtojë dhe si të sillet me klientët.
3. Kalimi te njeriu. Kur informacioni mungon ose rasti është delikat, biseda i kalon ekipit. Kjo nuk është dobësi, por pjesë e projektimit, siç e shpjegojmë te kur duhet ta marrë njeriu bisedën.

Disa keqkuptime të zakonshme

• "AI-ja kërkon në internet sa herë që i shkruani." Jo domosdoshmërisht. Një model përgjigjet nga ajo që ka mësuar dhe nga informacioni që i jepet në atë moment. Kërkimi në internet ose në katalog është një mjet shtesë që duhet lidhur posaçërisht.
• "Mëson vetvetiu nga çdo bisedë." Modelet që përdoren në produkte zakonisht nuk e ndryshojnë veten gjatë bisedave me klientët. Përmirësimi për një biznes vjen kur shtohen njohuri të reja dhe të miratuara.
• "Sa më i madh modeli, aq më mirë për çdo punë." Për shërbimin ndaj klientit, cilësia e informacionit dhe rregullat e qarta kanë po aq rëndësi sa madhësia e modelit.
• "Kupton si njeri." Rezultati shpesh duket shumë njerëzor, por mënyra si arrin aty është statistikore. Prandaj vendimet e rëndësishme kërkojnë gjithmonë mbikëqyrje njerëzore.

Si ndihmon AsistentiAI

AsistentiAI e merr fuqinë e modeleve gjuhësore dhe e lidh me informacionin e vërtetë të biznesit tuaj. Agjenti mëson nga faqja juaj e internetit, nga katalogu i produkteve, i cili mbahet i sinkronizuar, dhe nga informacioni që shtoni në panel. Ai e kupton kontekstin e bisedës, edhe mesazhet e shkurtra si "po në të zezë?", si dhe fjalët e përditshme e dialektore.

Kur nuk është i sigurt, nuk shpik çmime, stok apo politika. E thotë sinqerisht dhe ia kalon bisedën ekipit tuaj me një përmbledhje të shkurtër, duke e shënuar "Kërkon ty" në panel. Kur një koleg përgjigjet për diçka që agjenti nuk e dinte, ajo përgjigje mund të bëhet njohuri e re, me miratimin tuaj.

Mënyra më e mirë për ta kuptuar është ta shihni në punë: provoni demonstrimin e drejtpërdrejtë, lexoni më shumë në faqen kryesore ose nisni një provë falas me 100 përgjigje, pa kartë krediti.

Një LLM është një parashikues shumë i fuqishëm i gjuhës, jo një enciklopedi e pagabueshme. Kur e kuptoni këtë, e dini edhe si ta përdorni drejt: lidheni me informacionin tuaj të saktë, vendosini rregulla të qarta dhe mbani njerëzit në kontroll për rastet që kanë rëndësi.