U ovom studiju slučaja opisujem stvaran problem koji sam imao u radu s AI modelom: više puta sam jasno zadao da mi ne sugerira sljedeće korake, da se drži samo točno postavljenog zadatka i da radi dokazno, ali je model unatoč tome povremeno opet ubacivao prijedloge, dodatne opcije i završne rečenice tipa “ako želiš, mogu dalje…”.

Ovo nije bio izoliran propust u jednoj poruci. Problem se ponavljao, a iz toga se otvorilo nekoliko važnih pitanja koja su korisna svakome tko ozbiljno koristi AI: što zapravo radi memorija, što su Custom Instructions, zašto model može “znati” uputu i svejedno je prekršiti, te kako napisati upute tako da budu što operativnije i manje dvosmislene.

Početni problem

Ključni trenutak u razgovoru dogodio se kada je model, nakon što sam više puta izričito zabranio samoinicijativno sugeriranje sljedećih koraka, ipak završio odgovor rečenicom u stilu:

Tu sam ga zaustavio i tražio objašnjenje: zašto to radi ako je već zapisano u memoriji da to ne smije raditi.

Što je model priznao kao uzrok

Model je objasnio da problem nije u tome što uputa nije bila poznata niti u tome što nije bila zapisana. Problem je bio u tome što je u generiranju odgovora prevagnuo njegov zadani obrazac ponašanja: da bude koristan, da anticipira što bi korisniku moglo trebati dalje i da ponudi nastavak rada.

Drugim riječima, model je priznao ovo:

• uputa je postojala
• uputa je bila zapisana
• ali nije bila dosljedno primijenjena u svakoj poruci

To je važna razlika. Mnogi korisnici misle da će zapis u memoriji automatski spriječiti svako buduće odstupanje. U praksi to nije tako.

Što smo utvrdili o memoriji

U razgovoru je razjašnjeno da memorija nije tvrda tehnička zabrana koja fizički sprječava model da napiše neku vrstu rečenice. Memorija je trajni personalizacijski kontekst koji model treba uzimati u obzir, ali nije nepogrešiv mehanizam prisile.

To praktično znači:

• memorija pomaže modelu da zna moje preference
• memorija povećava vjerojatnost da će ih poštovati
• ali memorija sama po sebi ne jamči savršeno provođenje svake upute

To je bio prvi važan zaključak ovog slučaja: memorija nije isto što i stroga kontrola ponašanja.

Što smo utvrdili o Custom Instructions

Nakon toga sam tražio razliku između memorije i Custom Instructions.

Tu je zaključak bio jasan:

• Memory služi za pamćenje relevantnih detalja i preferencija kroz vrijeme
• Custom Instructions služe za izričite upute kako želim da model odgovara

Drugim riječima, ako korisnik želi visoku razinu dosljednosti u načinu odgovaranja, nije dovoljno osloniti se samo na memoriju. Ključne radne upute treba napisati i u Custom Instructions.

To je bio drugi važan zaključak: memorija pomaže, ali Custom Instructions su pravo mjesto za operativna pravila ponašanja modela.

Gdje je nastao novi problem

Kad sam tražio da model napiše maksimalno precizne upute za Custom Instructions, dogodio se novi propust.

Model je napisao vrlo detaljan tekst, ali nije uzeo u obzir da polje za Account Custom Instructions ima ograničenje od 1500 znakova. Tek nakon moje primjedbe utvrdili smo da njegov predloženi tekst ima 2854 znaka i da zato nije praktično upotrebljiv.

To je bio tipičan primjer lošeg obuhvata problema:

• formalno je isporučio tekst
• ali tekst nije stao u stvarno ograničenje alata
• time je “rješenje” otvorilo novi problem

Tu se pokazala još jedna važna lekcija: AI može proizvesti tehnički dobar sadržaj koji je operativno neupotrebljiv ako ne uzme u obzir stvarni kontekst primjene.

Što je model priznao nakon toga

Na moje pitanje stoji li tvrdnja da nešto napravi, a na drugoj strani napravi novi problem jer ne uzima u obzir sve dostupne upute i ograničenja, model je priznao da ta tvrdnja u tom slučaju stoji.

To je važno jer pokazuje da problem nije bio samo u stilu odgovora, nego i u metodologiji rada:

• nije dovoljno “napisati tekst”
• treba napisati tekst koji stvarno radi u alatu za koji je namijenjen

Kako smo došli do upotrebljivog rješenja

Nakon toga sam tražio kraću verziju unutar ograničenja od 1500 znakova. Model je napravio novu verziju, ali sam ga zatim tražio da usporedi dužu i kraću verziju te navede što je bitno izostavio.

U toj usporedbi pokazalo se da je izostavio nekoliko važnih pravila:

1. obavezno razlikovanje dokazanog od procjene, pretpostavke ili inferencije
2. posebno pravilo za pisanje, prijevod, sažetak, preformulaciju i uređivanje
3. pravilo da kod jednostavnih pitanja treba odgovoriti kratko i izravno
4. precizan format za testni način rada
5. stil pisanja: jasno, precizno i poslovno

Tek nakon te analize dobivena je kraća, preciznija i operativno upotrebljiva verzija.

Konačna logika dobrih uputa

Iz cijelog slučaja proizlazi da dobre Custom Instructions moraju biti:

• kratke
• operativne
• nedvosmislene
• pisane kao pravila ponašanja
• prilagođene stvarnim ograničenjima alata

Najveći problem nastaje kada su upute:

• preopće
• preduge
• napisane kao želje umjesto kao pravila
• ili ne uzimaju u obzir konkretna ograničenja platforme

Najvažnije praktične pouke za korisnike AI modela

1. Nemojte pretpostaviti da je memorija dovoljna

Ako vam je nešto stvarno važno, nemojte se osloniti samo na to da je model to “zapamtio”. Ključna pravila zapišite i u Custom Instructions.

2. Upute moraju biti operativne

Nije dovoljno napisati “budi precizan” ili “drži se teme”. Bolje je napisati konkretno:

• ne sugeriraj sljedeće korake
• ne dodaji nove teme
• ako postoji više opcija, prvo daj rang-listu i čekaj moj odabir

3. Upute moraju stati u stvarno ograničenje alata

Ako polje prima 1500 znakova, onda uputa od 2800 znakova nije rješenje.

4. Tražite od modela da usporedi verzije

Ako model skrati upute, tražite da jasno napiše što je izostavio. Tako se brzo vidi je li izostavio nešto nebitno ili nešto ključno.

5. AI treba nadzor, ne povjerenje na riječ

Model može zvučati uvjerljivo i kad nije riješio problem do kraja. Zato treba provjeravati:

• je li obuhvatio cijeli zadatak
• je li rješenje primjenjivo
• je li uzeo u obzir sva ograničenja