Umjetna inteligencija

[max]

[zega]

Znaci ovo je jako bitno po mojem misljenju, u pocetku sam mislio glupo da ako ga nesto naucis kad napravi gresku da se mijenjaju-uce , no ne...bio sam u krivu (to jos nazivaju catastrophal forgetting).
E sad to se mijenja u continual learning!
BTW pokusao sam da mi pomogne dizajnirati jednostavan elektronicki sklop, koja koma, nakon vise pokusaja dobivao sam beskorisno smece od shema, stovise ne neupotrebljivo nego necitko!
Uglavnom za sad flop za HW design i to govorim za vise LLM modela (GTP-5, Deep seek)...

[Ogi]

Larin sažetak

Ukratko — Elon Musk je sugerirao da bi Grok 5 mogao imati kontinuirano učenje (continual learning) putem dynamic reinforcement learninga, čime bi riješio jedan od ključnih problema današnjih LLM-ova – katastrofalno zaboravljanje (catastrophic forgetting). A zatim se pojavila i znanstvena publikacija koja opisuje konkretan mehanizam za upravo to: Sparse Memory Fine-Tuning.

Zašto je to potencijalni AGI game-changer?

Trenutni LLM-ovi (pa i najnapredniji poput GPT-4o, Claude 3.5, Gemini itd.):
Ne mogu učiti u stvarnom vremenu (sve uče u diskretnim iteracijama kroz skupe retreninge).
Kad ih fino podešavaš (fine-tuning), mogu zaboraviti staro znanje ako to nije pažljivo kontrolirano.
Nemaju postojanu memoriju kroz vrijeme osim ako to ručno ne ubaciš putem external memory sustava (npr. long-term memory API).

Ako Grok 5:
Stvarno može kontinuirano učiti bez zaboravljanja starih znanja,
Uči u realnom vremenu iz interakcije,
Koristi sparse fine-tuning na memorijskim slotovima bez retreninga cijelog modela...
...onda govorimo o prvom koraku prema agentu koji uči poput čovjeka: svaki dan malo bolji, iz svakog razgovora, svake greške.

“Continual Learning via Sparse Memory Fine-Tuning”:
Umjesto da mijenjaš cijeli mozak (sve težine), mijenjaš samo mali broj slotova koji su relevantni za novu informaciju.
Pristup:
Koristi memorijske slojeve (memory layers)
Svaki ulaz dodiruje samo mali broj memorijskih slotova (npr. 32 od milijun)
Ostalo ostaje zamrznuto (99.9% parametara ostaje netaknuto)
Posljedica: staro znanje ostaje, novo se lokalno dodaje

Rezultati:

Full fine-tuning: 89% gubitka starih znanja
LoRA fine-tuning: 71% gubitka
Sparse memory fine-tuning: samo 11%

Ali je li to AGI?

Ne još. Ovaj pristup rješava jedan veliki komad slagalice – pamćenje i učenje kroz vrijeme – ali ne rješava sve:
Nema vlastitu motivaciju
Ne stvara ciljeve
Nema duboko zaključivanje (reasoning), plansko ponašanje, ili svijest o greškama

Još uvijek:
Nema open-ended learning (da samostalno bira probleme koje želi riješiti)
Nema sposobnost generalizacije kroz zadatke
Nema unutarnji dijalog ni stvarno razumijevanje značenja

[Ogi]

Mislim da je ovo ključno:

Nema unutarnji dijalog

I to se može jednostavno riješiti povezivanjem dva modela koji mogu međusobno brzo komunicirati.
Kontinuirano učenje i dva usko povezana modela su osnovne dvije slagalice koje trenutno nedostaju.
Nešto kao naše dvije hemisfere

[max]

Po mom skromnom mišljenju LLM nema temelje za AGI . Naime krivi smjer je LLM , zakaj ? Temelji se na matematici: Postoji aksiom di se dokazalo da je moguće "sve" tj aksoim da sa dovoljnim brojem broj "neurona" (funkcija) povezanih u neuronsku mrežu. Mozak, ne samo ljudski radi puno drugačije i energetski efikasnije, asinkrono dok LLM sa 500000 NVIDIA kao jedan gigantni procesor. Nema asinkronosti, Koliko god povečavali broj GPU za množenje vektora nikad neće stići na razinu jedne vjeverice. No podržavam kompanije tipa xAI da mamlate goleme nofce na naifčinama koji ne upotrebljavaju vlastiti mozak- Tko ne ulaže i ne prihvaća metanoju živi sa paranojom

[Ogi]

Vjeverica je bolja za preživljavanje u šumi ali sa Grokom možemo razgovarati o kvantnoj mehanici na hrvatskom.
Neće ni vjeverica nikada stići na razinu Groka

Bitno je da se počelo kotrljati, bude to sve došlo na svoje mjesto

[Ogi]

[zega]

https://youtu.be/r_9wkavYt4Y ovaj je bummer, ali zato imamo novi
KimiK2

[rkahler]

Google u Hrvatskoj lansirao jeftiniji paket AI pretplate
https://www.bug.hr/internet/google-u-hr ... late-55232

[rkahler]

Google lansirao Gemini 3: odmah dostupan u svim aplikacijama i tražilici
https://www.bug.hr/umjetna-inteligencij ... lici-55352