Dirbtinis intelektas – ChatGPT ir kiti LLM modeliai

[Taj Mahal]

Prieš mūsų akis dabar ir labai greitai vyksta didesnė technologinė revoliucija nei išmanieji telefonai. Neseniai į viešumą ištekėjo vidinis Google dokumentas kuriame argumentuojama kad, ir Google, ir OpenAI (ChatGPT) nebesugebės varžytis su kitų kuriamom LLM (GPT) versijom. Kad neužilgo LLM (GPT) galės kurti vos ne bet kas. Labai rekomenduočiau perskaityti santrauką.

[Taj Mahal]

Kelios citatos:

While our models still hold a slight edge in terms of quality, the gap is closing astonishingly quickly. Open-source models are faster, more customizable, more private, and pound-for-pound more capable. They are doing things with $100 and 13B params that we struggle with at $10M and 540B. And they are doing so in weeks, not months.

Most importantly, they have solved the scaling problem to the extent that anyone can tinker. Many of the new ideas are from ordinary people. The barrier to entry for training and experimentation has dropped from the total output of a major research organization to one person, an evening, and a beefy laptop.

March 19, 2023 - A 13B model achieves “parity” with Google's Bard
The next day, a cross-university collaboration releases Vicuna, and uses GPT-4-powered eval to provide qualitative comparisons of model outputs.
Training Cost: $300.

March 25, 2023 - Choose Your Own Model
Nomic creates GPT4All, which is both a model and, more importantly, an ecosystem. For the first time, we see models (including Vicuna) being gathered together in one place.
Training Cost: $100.

April 3, 2023 - Real Humans Can’t Tell the Difference Between a 13B Open Model and ChatGPT
Berkeley launches Koala, a dialogue model trained entirely using freely available data.
They take the crucial step of measuring real human preferences between their model and ChatGPT. While ChatGPT still holds a slight edge, more than 50% of the time users either prefer Koala or have no preference.
Training Cost: $100.

[Taj Mahal]

But the uncomfortable truth is, we aren’t positioned to win this arms race and neither is OpenAI. While we’ve been squabbling, a third faction has been quietly eating our lunch.

I’m talking, of course, about open source. Plainly put, they are lapping us. Things we consider “major open problems” are solved and in people’s hands today. Just to name a few:

• LLMs on a Phone: People are running foundation models on a Pixel 6 at 5 tokens / sec.
• Scalable Personal AI: You can finetune a personalized AI on your laptop in an evening.
• Responsible Release: This one isn’t “solved” so much as “obviated”. There are entire websites full of art models with no restrictions whatsoever, and text is not far behind.
• Multimodality: The current multimodal ScienceQA SOTA was trained in an hour.

While our models still hold a slight edge in terms of quality, the gap is closing astonishingly quickly.

OpenAI turi penktą galingiausią superkompiuterį pasaulyje, ant kurio važiuoja ChatGPT.
Kažkas sugebėjo Pixel 6 telefone sukurti veikiantį LLM modelį.

[Taj Mahal]

Lengva pamiršti kad šiuolaikinis išmanusis telefonas yra stipriai galingesnis už 15 metų senumo geriausią-koks-buvo asmeninį kompiuterį.

Lengva pamiršti kad išmanusis telefonas galima sakyti “pašalino” skaitmenines kameras, muzikos grotuvus, GPS įrenginius, garso įrašytuvus ir gausybę kitų prietaisų.

Lengva pamiršti kad iki išmaniųjų telefonų, tokio dalyko kaip WhatsApp (ir pan) net nelabai buvo. Sms ir mms siuntėm. Instagram ir socialinių medijų irgi nelabai buvo, bent jau ne kaip šiandien. Video žiūrėjimo telefone nebuvo. Aplikacijų nebuvo (bankai, darbinės aplikacijos ir t.t.). Gausybės paslaugų kaip Wolt, CityBee ar Bolt irgi nebuvo. Ir t.t.

Dabar matom didesnę technologinę revoliuciją nei išmanieji telefonai ir ji vyksta greičiau.

[sankauskas]

Dabar matom didesnę technologinę revoliuciją nei išmanieji telefonai ir ji vyksta greičiau.

Kaip tu matuoji technologinės revoliucijos dydį?

[Taj Mahal]

Kaip tu matuoji technologinės revoliucijos dydį?

"Generative AI", tavo ir mano gyvenimus pakeis ženkliai stipriau, nei tą padarė išmanieji telefonai ir išmaniųjų telefonų įtaka visuomenei.

[sankauskas]

"Generative AI", tavo ir mano gyvenimus pakeis ženkliai stipriau, nei tą padarė išmanieji telefonai ir išmaniųjų telefonų įtaka visuomenei.

Būsimasis laikas...

[Taj Mahal]

Būsimasis laikas...

Dabar matom didesnę technologinę revoliuciją nei išmanieji telefonai ir ji vyksta greičiau.

Nesuprantu kodėl tarsi ginčyjamės, nors turbūt sutariam dėl esmės.
Side-track‘inam. Tas nekeičia esminio dalyko.

Be to, originalioje žinutėje parašiau kad "dabar matom". Nuo lapkričio, kai paleido ChatGPT praėjo pusmetis. ChatGPT ir GPT technologija pasaulį jau pakeitė daugiau nei iPhone per pirmus porą metų nuo atsiradimo. Bet čia ne esmė. Paskutinius porą mėnesių nesveiki AI tobulėjimo tempai. ChatGPT kopijas padaro su 100 USD biudžetu.

O dar galim pridėti visus nuotraukų, video, programavimo ar balso AI.

[Taj Mahal]

sankauskas, pažiūrėk šitą. Iškirpau tau dalį iš ilgesnio YouTube filmuko.
Steve Jobs gauna klausimą ir AI momentaliai padaro atsakymą, jį įgarsina ir prideda video.
Ir skamba 1:1 kaip Steve Jobs. Tiek balsas, tiek turinys.
Ir čia esam pačioje pradžioje dar.

[Taj Mahal]

Twitteryje neseniai labai plito istorija kaip programuoti nemokantis žmogus per tris savaites sukūrė mokamą aplikaciją, prisirinko "pre-orders" ir tą aplikaciją pardavė kitai įmonei. Programavimą atlikinėjo OpenAI GPT4.

[Creatium]

https://writings.stephenwolfram.com/...-does-it-work/

Viršuje kol kas geriausias ir išsamiausias paaiškinimas kaip veikia dideli kalbos modeliai. TL;DR - tai tiesiog labai galingas ir sudėtingas kalkuliatorius, kuris neturi nė menkiausios nuovokos ar kažkokio pasaulio modelio. Puikus priešnuodis antraštėse šiuo metu matomoms hiperbolėms apie mus tuoj sunaikinsianti artificial general intelligence kurias stumia visokie suinteresuoti gudrūs šarlatanai (Elon Musk, Eliezer Yudkowsky ir dar daugybė kitų).

Kur įrodymas, kad žmogaus sąmonė nėra kažkoks labai "galingas ir sudėtingas kalkuliatorius", kuris kaip ir kalbos modeliai, tiesiog parinkinėja labiausiai tikėtinus žodžius pagal mūsų turimą kontekstą?

[cozzamarra]

Ir aš nenuvertinu paskutinių metų proveržio DI srityje, bet pastarojo mėnesio šišas dėl ChatGPT didžiaja dalimi tėra sėminga reklaminė kampanija, skirta tą patį ChatGPT pamaitinti dideliu kiekiu naujos medžiagos (bus susieta su pasinaudojusių profiliavimo duomenimis (taip pat ir shaddow profile) ir pan.).

[sankauskas]

Na aš tai galvoju - visas šitas AI, kuris atlieka sudėtingas kalkuliacijas, sprendžia uždavinius 1000 kartų greičiau nei žmogus, tikrai įspūdinga. Kartais atrodo, gal tikrai žmogus neturi šansų prieš dirbtinį intelektą.

Bet kai pagalvoji - prieš traktorių irgi žmogus neturi šansų, jei reiktų pasigalynėti, kuris kurį nustums (arba daugiau žemės apars). Manau kad AI yra tiek pat pavojingas kaip traktorius. Gal mažiau žmonijos raidai įtakos turės nei traktorius, bet pavojų kelia nemažesnį.

[OpenStreetMap]

Rašau mokslinį darbą. Pajudinau ir ChatGPT. Panaudoti negalima, nes surašo citatų koliažą pats nežino iš kur. Ten, kur nežino atsakymo, tiesiog prikuria nesąmonių. Kuo mažiau žinoma tema, tuo didesnės nesąmonės. Taigi technologija tikrai įdomi, bet iki standartinės paieškos dar toli. Gali tik sumalti iš esamų atsakymų savo versiją, negali sukurti naujo atsakymo.

[sankauskas]

Rašau mokslinį darbą. Pajudinau ir ChatGPT. Panaudoti negalima, nes surašo citatų koliažą pats nežino iš kur. Ten, kur nežino atsakymo, tiesiog prikuria nesąmonių. Kuo mažiau žinoma tema, tuo didesnės nesąmonės. Taigi technologija tikrai įdomi, bet iki standartinės paieškos dar toli. Gali tik sumalti iš esamų atsakymų savo versiją, negali sukurti naujo atsakymo.

Kokia tema mokslinio darbo?

[Edd]

Na aš tai galvoju - visas šitas AI, kuris atlieka sudėtingas kalkuliacijas, sprendžia uždavinius 1000 kartų greičiau nei žmogus, tikrai įspūdinga. Kartais atrodo, gal tikrai žmogus neturi šansų prieš dirbtinį intelektą.

Bet kai pagalvoji - prieš traktorių irgi žmogus neturi šansų, jei reiktų pasigalynėti, kuris kurį nustums (arba daugiau žemės apars). Manau kad AI yra tiek pat pavojingas kaip traktorius. Gal mažiau žmonijos raidai įtakos turės nei traktorius, bet pavojų kelia nemažesnį.

Kažkaip panašiai ir įsivaizdavau ką traktoristai mąsto apie AI.

[mantasm]

Kažkaip panašiai ir įsivaizdavau ką traktoristai mąsto apie AI.

Bet taip ir yra. Traktoriaus dėka vienas žmogus gali padaryti 100 žmonių darbą. Generatyvinių intelektų dėka irgi vienas žmogus gali padaryti n+k žmonių darbą. Kaip ir aną kartą, klausimas kokia nauja industrijos rūšis surinks nukanalizuotą darbo jėgą. Arba koks socialinis pokytis. Teko skaityti įdomią nuomonę, kad 19a galo imperializmas iš dalies buvo dėl pramoninės revoliucijos nebereikalingų žmonių nukanalizavimas.

[gerietis]

Rašau mokslinį darbą. Pajudinau ir ChatGPT. Panaudoti negalima, nes surašo citatų koliažą pats nežino iš kur. Ten, kur nežino atsakymo, tiesiog prikuria nesąmonių. Kuo mažiau žinoma tema, tuo didesnės nesąmonės. Taigi technologija tikrai įdomi, bet iki standartinės paieškos dar toli. Gali tik sumalti iš esamų atsakymų savo versiją, negali sukurti naujo atsakymo.

Gal kažkokios specifikos ir nežino, tokiu atveju ir nusikalba arba šneka bendrom frazėm. Bet jei pats žinai temą, pataisai, patikslini ir ChatGPT atsistoja į vėžes. Pabandžiau panaudoti darbui: "Aprašyk sliekų ieškojimo subinėje procedūros testavimo programą" [pavadinimas sąlyginis] - tvarkingai aprašė kokia 20 punktų, visi į prasmingo ir teisingi.

[Edd]

Bet taip ir yra. Traktoriaus dėka vienas žmogus gali padaryti 100 žmonių darbą. Generatyvinių intelektų dėka irgi vienas žmogus gali padaryti n+k žmonių darbą. Kaip ir aną kartą, klausimas kokia nauja industrijos rūšis surinks nukanalizuotą darbo jėgą. Arba koks socialinis pokytis. Teko skaityti įdomią nuomonę, kad 19a galo imperializmas iš dalies buvo dėl pramoninės revoliucijos nebereikalingų žmonių nukanalizavimas.

Turėjau omeny paskutinius du sakinius kurie tolokai nuo "taip ir yra" t.y.: "Manau kad AI yra tiek pat pavojingas kaip traktorius. Gal mažiau žmonijos raidai įtakos turės nei traktorius, bet pavojų kelia nemažesnį."

Asmeniškai man šiandieninė situacija su AI šiek tiek primena 2-jų metukų vaiko žaidimą su degtukais.

[mantasm]

Turėjau omeny paskutinius du sakinius kurie tolokai nuo "taip ir yra" t.y.: "Manau kad AI yra tiek pat pavojingas kaip traktorius. Gal mažiau žmonijos raidai įtakos turės nei traktorius, bet pavojų kelia nemažesnį."

Asmeniškai man šiandieninė situacija su AI šiek tiek primena 2-jų metukų vaiko žaidimą su degtukais.

Sakai gali namus sudeginti? Nebent jei kas bandys pasistatyti namą su generatyvinio intelekto sugeneruotu projektu.