Igre asocijacija - kako je AI naučio govoriti

[Ogi]

Samo je taj isti GPT na 1+1 davao nekada krivi odgovor. Konkretno meni je davao krive rezultate u matematičkim računanjima podosta puta. Dovoljno da me natjera da double checkam točnost svaki puta ka don nešto računa.

Ne dođeš u školu pa te učitelj pita: "da li znaš"? "Ako znaš, daj si ocjenu".

Ne ide to tako.

LLMovi ponekad daju netočne odgovore na jednostavne matematičke zadatke jer nisu kalkulatori napravljeni za matematičke operacije.
To ne znači da "ne razumiju", vidiš kako je sve lijepo objasnio, ne bi ni čovjek bolje.

[Ogi]

Why next-token prediction is enough for AGI - Ilya Sutskever

"Jer ako razmisliš, što znači predvidjeti sljedeći token dovoljno dobro? To je zapravo dublje pitanje nego što se čini.
Predvidjeti sljedeći token dobro znači da razumiješ osnovnu stvarnost koja je dovela do stvaranja tog tokena.
Nije riječ samo o statistici – zapravo jest statistika, ali što je statistika?
Da bi razumio te statistike i da bi ih sažeo, moraš razumjeti što je to u svijetu što stvara te statistike."

Ako model može dobro predvidjeti sljedeći token, to znači da mora shvatiti kontekst i logiku iza podataka koji se analiziraju.
Predviđanje tokena je statistički proces ali model ne daje odgovor na temelju statistike već gradi model stvarnosti kako bi razumio pitanje i
mogao generirati smislen odgovor na temelju razumijevanja obrazaca koji su prisutni u materijalu na kojem je treniran.
Razumijevanje onoga što stvara tu statistiku je ključ.

[stjepan]

https://arxiv.org/pdf/2410.05229v1

t may resemble sophisticated pattern matching more than true logical reasoning.
We remind the reader that both GSM8K and GSM-Symbolic include relatively simple grade-school math questions, requiring only basic arithmetic operations at each step. Hence, the current limitations of these models are likely to be more pronounced in more challenging mathematical benchmarks.

Iluzija "razumijevanja".

Kako ćemo gurati te modele sve dalje i dalje, bojim se da nećemo na vrijeme prepoznati kada če se ta iluzija pretvoriti u stvarnost.

[Ogi]