Hosťom epizódy je Marek Šuppa, ktorý vysvetľuje, prečo slovenčina v LLM nie je samozrejmosť a ako môžu malé benchmarky ovplyvniť veľké modely. Potom sa rozoberá budúcnosť práce, Fable 5, security riziká, modelový feudalizmus, lokálne modely a akvizícia Cursoru SpaceXom.
Zobraziť prepis
Drunkez
JoinIT.online
join3r
Dobre a prerušujeme túto, túto dvojhodinovú sešnu zvukových efektov z Druhej svetovej vojny, ktorú samozrejme je iba pre premium memberov a vložím, vložíme tu aj nejaký normálny content pre nepremium memberov a potom samozrejme potom po tomto contente ešte dokončíme ďalšími dvomi hodinami, kde bude vlastne už skôr tá druhá polovica tej Druhej svetovej vojny. Takže vitajte pri počúvaní JoinITu. V tomto, v tomto podcaste mám výnimočnú česť predstaviť vlastne dvoch, dvoch veľmi skvelých ľudí. Jeden som ja, samozrejme, a potom ten druhý je, je Marek a ešte tu je aj Dušan. Ešte tu je aj Dušan Drankeč, samozrejme, na toho som zabudol. Ale Marek, predstav sa, povedz nám niečo o sebe. Čo o tebe poslucháči by také mali vedieť? Také, čo je taký základ?
Marek Šuppa
Ďakujem velice pekne. Ja teda sa naozaj volám Marek. Internet ma volá, ma volá Mister Shu. To je na špeciálnu debatu. Neviem úplne, že či toľko času budeme mať pomedzi tie zvukové efekty, ale môžeme možno alebo vystrihneme alebo čo. Ale teda v posledných pár rokov teda som sa, sa mi nejako stalo, že som sa teda venoval všelijakým takým zaujímavým, zaujímavým veciam machine learningovým rôzneho, rôzneho typu a teda ten, ten v-v pracovne aj akademicky alebo ja neviem aj, aj, aj nepracovne robím všelijaké teda šialenosti od, od organizovania robotických súťaží až po, až po, až po slovenské teda jako zachraňovanie slovenského natural language processingu, čo je teda asi podobne teda podobná šialenosť. Tak na každý pád ďakujem pekne za pozvanie do takéhoto famózneho podcastu. Pozdravujem všetkých špeciálne teda prémiových teda predplatiteľov.
join3r
Áno, samozrejme. Ináč mám takú akože otázku takú trošku na telo, hej, že viem, že si, že vedieš vlastne ten data tím Slido, hej? Predtým si robil podľa LinkedInu som pozeral, že dokonca že päť rokov v tom DuckDuckGo. Učíš vlastne na, na Komenského tuším, ak sa nemýlim, však?
Marek Šuppa
Na Matfyze, hej.
join3r
Áno, potom venuješ sa tým, tým NLPčkám, hej, machine learningu. Teraz si urobil akože ten celkom pekný projekt, ten, ten benchmark a tak ďalej. Hej, RoboCup samozrejme, hej, to myslím, že to už celkom pár rokov sa tomu venuješ. Píšeš blog, hej? Aká veľká česť je vlastne byť v tomto podcaste? Keby si toto ešte vedel trošku rozobrať.
Marek Šuppa
Je to taký zaujímavý ako teda naratív. Ja pochádzajúc z toho akademického prostredia, hneď prvá otázka by bola, že čím sa merá taká česť, že či na metre štvorcové alebo metre kubické, alebo že teda-
join3r
To ti viem povedať rovno takzvaným česť metrom. To je ľahká vec. To je jasné.
Marek Šuppa
Chápem. Tak, tak povedal by som niekde medzi štyridsaťdva a štyridsaťtri, ale nie som si úplne istý, že, že, že budeme to musieť ešte. Tam treba spraviť experiment, že keby som mal teda viacej tej cti či česti, či jak sa toto skloňuje, že či, či to vlastne ešte udržím v tomto na tom česť metri, keď to viete si teda. Na každý pád pozrite, však moc to nerobím takéto debaty, tak či zájdeme na pivo alebo to nahráme same deal.
join3r
Pravda, pravda. Chcel by som, chcel som. Ja som vlastne narazil na teba fakt, že pred, pred pár dňami hej a veľmi rýchlo sme sa akože takto dali dokopy a podarilo sa nám spojiť. A vieš nám porozprávať trošku akože o tej slovenčine a o tých LLMkách, že, že, že však je to úplne akože perfektné, hej? Načo tam robiť nejaké benchmarky, hej, že prečo, prečo sa tým akože nejak-nejakým spôsobom zaoberať? Či nie je to perfektné?
Marek Šuppa
Je to taká, je to dobrá, je to dobrá otázka, že, že, že ktokoľvek mi povie, že jak je to perfektné, čo teda tu už som na všelijakých ministerstvách som tiež sedel, kde mi také hovorili. Tak moja pro ako teda prvá protiotázka je, že výborne, že ako viete? Že jako ako ako vieme? No a väčšina na to odpovie a povie: „Však to používam.“ A teda tam už potom už sa ďalej ťažko teda ťažko vedie debata. Ten, ten, tá situácia je takáto, že slovenčina je v takom údolí sĺz všeobecne. To aj teda tento náš, naša krajina krásna, malá, zaprášená často, ale teda špeciálne slovenčina ako jazyk je v takom smutnom údolí, kde na jednej strane nemôžete úplne tvrdiť, že to je akože teda low resource jazyk. Jazyk, ktorý má naozaj málo teda tých zdrojov. Tu je päť miliónov native speakerov, niekedy sa aj desať dokonca uvedie. Tak akože ale tá je hneď dobré debaty, čo to je ten native speaker? Či napríklad ja sa rátam? No neviem. A teda tieto, že, že, že na každý pád proste, že, že živo tu nejaký jazyk sa stále produkuje. Čiže to nemôžeme úplne to tvrdiť, že to je vlastne slabá táto, že to je, že to je vlastne, že by mal nejako málo zdrojov. Na druhej strane je to tak malý jazyk a tak ekonomicky nezaujímavý, že tak ako je úplne na konci tých takých, tých takých štandardných multilingválnych benchmarkov, že proste v tých takých väčších modeloch, ak je možno aj, aj keď sú multilingválne, tak keď je percento slovenčiny, hovoríme o veľkom úspechu teda pri tom, keď, keď tie modely vyjdia pri trénovaní. No a tu sme niekde v strede. Akademicky tiež nie moc zaujímavé, alebo teda nemôžeme aspoň mať byť na tom takom holy graili, že teda aspoň zachraňujeme nejaký mŕtvy jazyk. A na druhú stranu teda ekonomicky tiež nezaujímavé, lebo tak akože tých-
join3r
Načo?
Marek Šuppa
V stre-v strope tých desať miliónov tých, týchto, tých, tých native speakerov nikdy nevygeneruje ekonomický output na štýl. Proste ten, ten, ten, ten cost benefit ratio prestane teda vychádzať. No a teda tak, tak zostávam. Proste zostaneme, zostaneme tuto nejako v tomto nejakom strede. No a tam sa presne, tam sa presne nachádzame so všetkými týmito aktivitami. Už teda ako apriórne to neni, že by, že by sme nemali nič lepšie na robote, ale je to skôr well
Ak to neurobíme, tak naozaj teda, naozaj to viac menej skôr. Teda ten svet sa zmenil, signifikantne zmenil. Keď som to začínal, to bolo skôr na štýl, že to neexistuje, že si to sám neviem vyskúšať. Dnes už to robíme úplne naopak, čo je, že týmto do veľkej miery viete donútiť, nie donútiť, ale minimálne mierne motivovať aj tie veľké labaky, aby proste na tom, na vašom benchmarku niečo benchmarkovali, čo znamená, že ten model nutne bude lepší. V princípe zadarmo bez toho, aby sme ho teda my vyrábali. Že v minulosti to bolo preto, aby sme mali pripravenú pôdu na vyrábanie tých modelov v princípe, ak by na to prišlo. Dnes je to už skôr, že balansujeme, že, že, že nech by akýkoľvek provider tu prišiel, vieme potom povedať nech sa vám páči, krásny dobrý deň. Ak nám nedáte odtiaľto čísla, je ni o čom debatovať.
Drunkez
A to je dobrá, dobrá, hneď taká pletka. Ja som troška na pletky, vieš. Čiže, čiže dobre tomu rozumiem, že, že výsledky tých benchmarkov, je o ne záujem od veľkých providerov? Normálne akože je tam spätná väzba?
Marek Šuppa
No to je, že to je, že tak, takto, že, že, že v princípe, v princípe áno. Verejne potvrdiť nič nevieme. Reálne však kamarátov máme všelikde. Ak by aj hneď neboli, ak by aj hneď neboli, že, že teda úplne priamy záujem, tak minimálne to vieš, že sa to vo veľkom skrépuje, keď to necháš na tých Hugging Faceoch a podobne. A že teda, že, že máš tým šancu doslova ovplyvniť ten tento, doslova akože v nejakom slova zmysle tým máš šancu ovplyvniť ten vývoj. Adveziariálne, že to ale nie ani adveziariálne, ale skôr tak asymetricky. Relatívne malým benchmarkom relatívne veľký model.
Drunkez
Jasné, jasné.
Marek Šuppa
Vieš aspoň, vieš aspoň trochu ovplyvniť. Je to podobné ako všetky tie teda, ako by som to povedal, moderné benchmarky pre všelijaké proste tu programovanie ja neviem čo a všelijaký SWE-bench, Deep SWE a podobne. To sa nerobí dneska preto, aby sme vedeli, ako dobré sú tie modely. To sa často robí preto, a to neviem teda, pozdravujem všetkých, čo nechcú, aby toto bolo verejne známe, ale že to sa robí často dneska preto, aby ste donútili ďalšie verzie tých modelov byť v niečom dosť dobré. Že to je preto, že tu preto, preto tu máme všelijaké cybersecurity benchmarky, preto sú tu všelijaké biologické, chemické, neviem aké tieto benchmarky. V princípe sa tým stíruje-
Drunkez
Motivátor.
Marek Šuppa
Pre aké, pre aké domény, hej, pre aké domény tie modely budú, budú dobré. Jasne pomôže, keď vieme najprv povedať, že, že jaj, strašne zle to fungovalo a teraz veľmi dobre to bude fungovať, ale to je ako by sa dalo s čímkoľvek.
Drunkez
Vieš čo, ale musím, minulý podcast sme riešili, ééé, tak akože poisoning rôzny, dlhotrvajúci, krátko. Vieš akože long term nejaký, že si pripravíš pôdu pre to, aby budúci model bol presne nejakým spôsobom pokazený v zmysle reality a tak ďalej. To troška dáva ako keby presne takú veľkú zodpovednosť príprav-tým, ktorí benchmarky pripravujú a zároveň moc. A očakávam, že to, že sa to ešte aj tak nejakým spôsobom validuje, keď, keď sa takýto benchmark nejakým, všakže, takže-
Marek Šuppa
To, to určite. Ako ten, ten, ten, to je takto, že, že ten deal je bežne, ty pripravíš benchmark alebo benchmark sa pripraví a teraz lepšie je to vidieť pri tom všelijakom programovaní. Proste keď pripravíš benchmark pre konvertovanie starých kobolov a fortranov do nejakého moderného neviem Java alebo, alebo, alebo čoho. No tak veľmi pravdepodobne to neni také teraz, že oni tu ako, é, é, é, ako po večeroch si to skúšajú. To veľmi pravdepodobne znamená, že tam, že buď kúpia alebo sa vyrobí nejaký RL VR, VR, é, é, toto, že, že priestor, ten, ten, ten takzvaný environment, v ktorom sa budú generovať proste potenci- akože donútiš ten model generovať, ako by sme asi toto nejako vyriešili a ak sa im to naozaj podarí, tak, tak tieto tracy, tieto, tieto postupy vlastne začnú byť trénovacie dáta do istej, do istej, do istej miery. Čiže, že kde ti mierim je, že to nie je tak, že by ten benchmark veľmi priamočiarlo, akože, že, že, že, že nejakým spôsobom bias doniesol do toho modelu. Samozrejme, to je, je do istej miery pravda, ale je to skôr, že je to skôr bias na úrovni tých tvorcov toho, tvorcov toho modelu, že čomu sa akože tak máš konečne najhorš- minimálne času je konečne, tak čomu sa teda budeš v tomto času, v tomto čase toto, tomuto času venovať. No a teda hej, no akože aj mnohé debaty by sme mohli rozobrať o tom, jak teda taká pravda network funguje a podobne, ale je to reálne, je to reálne big deal. Tie vieme už dneska, že ten neni trénovací token ako trénovací token, že, že, že, že kedysi bola teda snaha dať všetko na jednu kopu a len teda len to nechať trénovať. Dnes už vieme, že veľa, veľa, veľa, veľa hodnoty je aj z toho dobre odfiltrovať tie trénovacie dáta alebo teda postaviť ten post-training track, aby sa na tie špecifické subdomény, é, tie, tie, tie modely za- trošku zlepšili. Čiže sumárne, sumárne je to správnym smerom. Tam to je dneska kde state of the art.
Drunkez
A dá sa povedať, že okolo toho vznikne nejaký možno biznis alebo nejaký akože doslova ma napadá biznis, lebo presne keď chcem niečo natrénovať, tak, tak je to možno nákladné urobiť filter na začiatku sám sebe, že vieš, hypoteticky si zober situáciu, že dobre bude nejaká, poviem, vymyslím si univerzita, ktorú, ktorá má vysokú kredibilitu, tak k nej môžem pristupovať ako keby k trusted zdroju s tým, že povedzme, že sa dohodneme, že urobia nejaký prefiltering atď. A že dáta, ktoré ja ako, ako použijem na tréning, sú naozaj kvalitné, ofiltrované a vierohodné. Hej? A bude to, vieš, vieš, čo chcem povedať? Že teraz, keď príde nejaký Jožko Pulčík, ktorý mi dá dá trénovacie dáta, tak hmm, môžem k nemu pristúpiť s nejakým, s mierou opatrnosti, hej?
Marek Šuppa
To už nie je biznis model. Akože to už nie je veľký biznis.
Drunkez
Okej.
Marek Šuppa
Že vo, vo, vo veľkých, vo veľkej miere prípadov je ten, ten, ten je dôvod, prečo teda Musk chcel teda tú Grokpediu a tak, čo ste možno teda, čo ste možno teda zachytili. To je teda, prajeme mu veľa zdaru, posielame kľúčenku a všetky tieto veci, ale teda ten, ten, ten, jako ten, ten dôvod je vlastne ten istý, že, že to je Ono sa ukáže, že všetky tieto teda ako len moderné language modelové veci sú oveľa viacej dátový problém ako nejaký modelovací problém. Ten algoritmus je, je akože že je relatívne malý. Ja teda som ešte pochádzam z generácie, čo sa učila teda ten machine learning po starom, že teda odspodu všetko si napíšem, spravím si vlastnú malú neurónku, robím ju väčšiu, neviem čo mením, mením tieto, mením, é, é, nelinearity, mením, mením všelijaké loss functions a podobne. To už dneska sú dve, tri a proste sa to akože jedným príkazom maj sa čau vlastne teda možno najviac sa nejaký optimizér zmení. To je, to je, to je, to je, to je v princípe, to je v princípe celé, kde sa teda zmenilo signifikantne. No a teda tam tá, tá, tá, tá práca okolo je rádovo viacej dátová, rádovo, rádovo viacej ako, ako nejaká, že, že, že algoritmická.
join3r
Ja mám otázku úplne akože teraz mimo, ale v rámci akože prípravy na tento podcast som si pozrel tvoje video, čo má nejakých bláznivých päťdesiatšesť tisíc zhliadnutí na YouTube, kde vlastne rozprávaš o tom, že ako funguje ChatGPT a hneď na začiatku to je vlastne tri roky staré video, tak si vlastne hovoril také, že študentom, že majú zodvihnúť ruku, hej, v rôznych, na rôzne otázky a jedna otázka bola, že či si myslia, že im to zoberie budúcnosť. A ty si vlastne vtedy poznamenal tak veľmi akože popod nos, že, že ty si, že ty si to nemyslíš, hej? Prešli tri roky a zmenil sa tvoj názor?
Marek Šuppa
No tak to je nebezpečné. Ja vôbec neviem, čo som sa ich pýtal a teda som to s radosťou vytesnil. Ale dobre, é, že ak som sa pýtal, že či im to zoberie budúcnosť, tak to si stále nemyslím. Tam je ako tá veľká otázka je, to inak sú také tie, sú také tie všelijaké tieto Gallup style póly a to teda Američania už sú nejakých na, na, na nejako že, že štyridsať percent si myslíí, že to je vlastne net, ako že celé, celé toto AI je celé zlé a treba to celé zakázať. Ja aj s tými internetami, všecko by som to zakázal a takým štýlom. To, to akože sa nám tu úplne kľudne hrozí a myslím si, že je to priamo z toho fearmongeringu. Ale teda m-myslím si naozaj, že, že to nie je, že to nie jako, že, že rozumne rozladenému študentovi so snahou veciam chcieť rozumieť, a preto investovať ja neviem rádovo päť rokov do toho, že sa niečo naučím na úrovni, ako tomu rozumieme ako ľudstvo. V princípe v akejkoľvek relevantnej doméne to nemá šancu nejakým spôsobom zobrať budúcnosť. Ak, ak, tak skôr naopak. Tá, tá, tá, tá, ten, ten, ten väčší, ten my, aspoň teda to je môj pohľad. Ten, ten, ten, ten tu, tu oveľa viacej nevieme, ako vieme. Je teda môj, je teda, je teda môj take. A teda ak história niečo ukazuje, tak ten, ten, tá, tá, tá, že ten ako ten prechod, ten, ten, ten, ten transition period bude bolestivý. Ale nemyslím si, že, že, že ľudia, ktorí z povahy veci, teda tým, že sú na tej vysokej škole, tak sú v nastavení, kde sa majú, kde sa majú byť schopní prejsť, že niečo neviem k tomu, že niečo viem. Ak sa, ak sa naučia solídne učiť, som si skoro istý, že, že, že nejakú solídnu budúcnosť, é, ešte stále budú mať more or less. Čiže nemyslím si, nemyslím, že sa, že sa, že sa názor zmenil, ale myslím si, že, že teda ak, ak, ak berú tú školu na ten štýl, že hlavne tu treba, aby som zo všetkého mal samé áčka, tak mi je ich hodne ľúto. To teda dúfam, že, é, tam, é, é, tam nebolo z toho, bolo z toho cítiť.
join3r
Teda si skôr na tú šanovej strane a tu ste, tu som teraz akože znevýhodnení ste.
Drunkez
Vieš čo? No toto, ja som do toho vstúpil, lebo toto bol presne môj názor, že Marí, moja, moja idea bola, že presne, že história pozná akože už nie jednu paradigmatickú zmenu, hej, v živote alebo v spoločnosti. Prišla priemyselná revolúcia a prišlo, čo ja viem čo, hej a tak ďalej. A to akože systémovo zmenilo fungovanie spoločnosti naozaj za tridsať rokov. Hej a ja som, prikladal som veľkú myšlienku alebo nejakú podobnosť tomu istému. Hej, že dobre, máme tu nejakú, za mňa je to dosť paradigmatická zmena. Hej, zrazu nemusíme až tak veľmi uvažovať, lebo tu máme nejakú mašinku, ktorá akože celkom dobre nám aspoň zdanlivo veľmi dobre poradí, hej? Alebo za nás to spraví, hej? A ja som tvrdil, že okej, okej, že to je super, že teraz vznikne okolo toho iný biznis. Ľudia sa začnú fokusovať na niečo iné. Tak ako niekedy nemuseli proste tridsiati už ťahať vozík z bane, už to ťahal jeden parný stroj a dvaja to obsluhovali. Tak vzniklo proste tridsať ľudí robilo na inom, hej? A, a tak ďalej. Ale troška som na pochybách.
Marek Šuppa
Á, á, už ťa ťahám na moju stranu.
Drunkez
Hej, ťaháš, ťaháš, lebo sú to pádne argumenty. Toto je totižto, neni to, nie je to stroj, ktorý je jednoúčelový, hej? Alebo jak to mám povedať, hej, že to neni služba, ktorá zrazu vznikne a vy- akože zoberie akože systémovú časť nejakého môjho alebo spoločnosti, hej, to vieš. Toto naozaj má presah krížom. Očividne, očividne sa to nejakým spôsobom bude ďalej vyvíjať a ja momentálne som v stave, že vôbec si nie som istý. Hej, vôbec si nie som istý, že, že-
join3r
Join the dark side. We have cookies.
Marek Šuppa
A čo je ten dark side? Že čo, čo presne to znamená? Lebo to ak znamená, že treba proste, že máme tri až šesť mesiacov alebo teda šesť až dvanásť mesiacov a potom sme všetci permanent underclass, tak akože to je, to je, čo je fér. Treba, dá sa to, dá sa to aj takto postaviť. No tak potom neni inej možnosti, ako že aj tak zomreme. No tak výborne, tak, é, é, potom to treba aspoň, aspoň s radosťou teda dožiť do tejto smrti.
Drunkez
Jasné, jasné.
Marek Šuppa
Nie som si úplne istý, aký je. Akože, že, že, že nie som si úplne istý, aká je aj že, že ako inak sa k tomu racionálne postaviť.
join3r
No akože to, že, že akým spôsobom je akože nejaká takáto tu povedzme, že v úvodzovkách vedomosť actionable, hej, to je, to je možnože na nejakú inú debatu, ale ja si napríklad myslím, určite si nemyslím také vieš, že rok, hej? Alebo nemyslím si ani, že, že reálne, že aj keby sa vlastne už nezlepšovali tieto modely vôbec, hej, tak si myslím, že Bude to trvať, kým sa to, kým sa to všade dostane a tak ďalej. Je ku tomu aj odpor, je to nová vec a tak ďalej. Hej, nie je to zase len také úplne simple, ale keď sa akože bavím o nejakom takom, že keď sa bavíme o horizonte napríklad už takých desať rokov, hej, tak tam ja si už napríklad predstavujem, že, že, že mnoho znalostí, ktoré momentálne sú akože, že hodnotené, hej, to sú napríklad akože v poslednom čase akože mám, mám pocit, že ten creative writing napríklad akože tých modelov, že, že to nenapreduje, hej, že to, že to nejde nejakým dobrým smerom. Hej, mám pocit, že keď dám napísať rozprávku akože Gemini, tak to to nonstop dookola točí tú, tú istú, tú istú schému, hej? Keď mu dáš nejakú básničku, tak nonstop, akože to vieš, akože má tam také, že už ja keď vidím ten, ten text, tak ja už viem, že o, okej, toto písal Gemini. Hej, toto písal asi ChatGPT, hej, ale keď sa bavíme o kóde, hej, tam ten progres je, hej a ja sa točím okolo kódu, okolo IT, hej a tam ten progres nejak stále ide a keď predpokladám, že bude pokračovať, tak že také pozície ako je napríklad moja hej alebo nejakých programátorov, tak ja to vidím akože reálne, akože ohrozené tieto pozície. A potom sa môžeme baviť o tom, že či sa budeme vedieť presunúť inde, hej, do nejakej inej sféry. Napríklad zubár. Ja si myslím, že, že, že mal som byť zubárom, že to by bola akože pecka. Ale-
Drunkez
Vieš čo? Len, len rýchlo poviem. Ja si myslím, že toto je presne také, že ako, akým spôsobom trénuješ a kde, kde minieš proste ten, aké tréningové dáta, na čo máš fokus? Veľkí ľudia, teda veľkí hráči, ak nemyslím si, že chcú, aby sa to písalo úplne básničky, hej, takže fokus tam nie je. Keby chceli, ja som presne rozmýšľal, že načo právo? Právnik. To je podľa mňa v deväťdesiatich percentách prípadov úplne zbytočná akože profesia. To podľa mňa taký akože, lebo ja chápem, že tematika je náročná, hej a tak ďalej a tak ďalej, ale v tých jednoduchých prípadoch, kde máš niečo napísané, to je presne to je práca s textom, nejaké porozumenie, vyhodnotenie podmienok. Akože za mňa napríklad právo, to je mŕtvy, mŕtva profesia, hej? Ostaneme desať percent dobrých právnikov a vybavené, hej, ale to je taký môj wild guess. A keď dobre potrénujeme tieto modely takýmto spôsobom, dáme im správne váhy, dáme im správny precedensii a tak vybavené.
join3r
Marek, oprav nás, lebo strašne sme my úplne, že to je-
Marek Šuppa
Ja som, ja, ja neviem. No takto v prvom rade na desať rokov čokoľvek teda robiť predikcie, to by som si skorej stavil teda na kľuku. To je ako asi zdravšie. Ale, ale teda, teda, teda, že, že to je, že za desať rokov akože úplne fér. Úplne treba povedať, že ja pred desiatimi rokmi a to, že teda robil nejaký, nejaký applied research, tak, tak by som v živote nebol povedal, že to bude programovať za mňa, že v tom som, v tom som bol relatívne dobrý, v tom, v tom teda to bolo aj súčasťou identity mojej dosť a tak, že keď bolo najhoršie, za tú noc by som spravil, čo teda iní šialenci by neboli ochotní často nie že schopní, ale skôr ochotní. No to je už dávno passé, že teda to naozaj to, to naozaj sa už nevráti. A teda v tom slova zmysle určite, že akože, že, že, že, že zmena príde. Ale tá otázka je skôr, že či to bere budúcnosť. Ja ja by som teda budúcnosť nie akože, že, že s aktuálnym stavom veľmi neasocioval. To je úplne takisto ten, ten, ten, ten asi dobrá, asi neviem, či úplne fungujú tie paralely s industriálnou revolúciou a podobne, ale treba si uvedomiť, že, že industriálna revolúcia spravila to, že bežne ste mali úplne všetky gate, úplne všetky šaty handmade. Dosť akože doslova, doslova, že ručne ich niekto vyrobil. Zrejme nejaká babka vaša, zdedili ste po one, po súrodencovi a-a-a-a-a-a tak, že lebo to bolo tak strašne hodnotné. No to sa stalo. To sme mali so softvérom do veľkej miery nie, že bol všetek bol handmade. Vyrábali sme ho teda ako ručne pre špecifické tieto a tiež sa tak z generácie na generáciu posúval a teda s takými tými akože očami, že dobre sa mi o toto staraj no a také veci a špeciálne open source a podobne. To sme teda to akože úplne odíde. Tam naozaj budeme mať vo veľkom, vo veľkom proste industrializovaný softvér, ktorý nebude, tam nebude, tam bude veľmi minimálny craftsmanship, to bude vo veľkom, teda vo veľkom generované a bude teda ako teda radosť, jak to vôbec teda bude fungovať, ale bude toho tak strašne moc, že to vlastne bude mať marginálne, že, že, že bude sa ho dať veľa, bude sa ho dať veľa vygenerovať. No a toto teda akože naozaj je iné v tom slova zmysle, že to sa to doteraz nebolo vôbec možné, že, že, že keby som to, keby som to teda mal pripodobniť, tak že jasne, že, že, že, že ten taký, ten taký mnoho remeselníkov prestalo šiť tie gate a tie tieto v tom, v tej tejto všelijaké, všelijaké iné podobné veci v počas tej industriálnej revolúcie. Ale nemyslím si, že by to nie akože, že, že by to en bloc spravilo, že teda, že by, že by vôbec nebola žiadna budúcnosť. To si teda, to si teda naozaj nemyslím. Treba ale povedať, že industriálna revolúcia, jak teda ako teda, ako to prebiehalo, bolo asi tak, že vtedy bola aj teda napoleonská vojna a teda Briti mali proti Napoleonovi teda deploynutých v Španielsku oveľa menej vojakov, jak mali proti teda ludditom vo svojej vlastnej Británii. Tak teda to len aby sme vedeli, čo asi tu očakávať teda.
Drunkez
Áno, toto je presne to, čo že, že, že v takom ja neviem ako to nazvať tridsať rokov a že nejaký akože ten prerod, tá fáza, keď sa nejaká generácia musí nejak, tak tá asi bude bolieť nejakým spôsobom. Zatriaslo, ako zatriase to nejakým spôsobom takýmito usadenými
schémami spoločnosť v spoločnostiach to určite to, to o tom nepochybujem.
join3r
Akože primárny dôvod, prečo ja nad tým rozmýšľam, akože to, to, nad tým sa určite zhodneme, že predikovať hocičo, čo je viac ako päť rokov a hocičo, akože čo tie takéto veci, ktoré sa hýbu relatívne rýchlo a neviem, čo bude ďalší o pol roka. Nie to, že akože desať rokov. Hej, to je samozrejme. Ja sa na to skôr pozerám z nejakého takého hľadiska, že ja som veľmi risk averse. Hej, akože ja som, ja som taká osoba, ktorá jednoducho sa snaží, ja neviem, akože nie som od toho ďaleko, aby som tu mal nejaký backpack prepperský hej niekde pripravený. Aj keď reálne akože viem, že-
Marek Šuppa
Chápem.
join3r
-to je akože, že, že to je zmysel, ale tuná vyložene, akože sa pozerám na to-
Marek Šuppa
To sa musí strašne zle. Sa ospravedlňujem a do tohto musím skončiť. To sa musí strašne zle takémuto človeku žiť na Slovensku. Ne už sa mi prepáčte.
join3r
Je to, je to určite challenge, hej, ale základ je nerozmýšľať nad vecami príliš. Hej, to je akože-
Marek Šuppa
No výborné a presne z tohto, z tohto teda ako by som vychádzal, že, že teda ako nerozmýšľať príliš. To je, kde, kde som tým mieril je, že tá, že tá, tá otázka je tinted v tom práve, že, že, že si myslím, že v, keď ide tak strašne veľká vlna, akože rozmýšľať o tom, či sa voči nej postavím alebo teda idem s ňou znamená, že všetci, čo to dorozmýšľali budú, budú teda pravdepodobne ako ju neprežijú.
join3r
Akože postaviť sa proti tejto vlne, to je akože nezmysel. O tom sme sa rozprávali aj myslím, že v nie jednom z podcastov, že, že vlastne toto, že, že, že americkí študenti začali pískať, lebo sa objavilo niekde vo vete AI a tak ďalej. Hej, ja si myslím, že to je otvorená vec, že to jednoducho tú vlnu nikto nezastaví, hej? To je jedno, aj keby celá Amerika a celá Európa sa postavila na nohy a povedala, že od, od dnes všetky, všetok development a zavádzanie AI je zakázané. No tak sorry, ale Gwen tu bude hej a Gwen príde, bude sa zlepšovať a tak ďalej. Takže to je akože nezmysel sa tomu postaviť. Ja sa skôr na to pozerám nejakým takým štýlom, že keď, keď si predstavujem to, že, že hodnota mojej práce, akože jej hodnota môže ísť nižšie a mám nejakú, mám dvojročnú dcérku hej, kde a to zase zafarbuje nejakým spôsobom môj názor hej, tak sa pozerám na to, že okej, akým spôsobom sa, sa či už nejak preučiť na niečo iné hej alebo nejak rešpecializovať, akým smerom hej? Momentálne to robím skôr tým smerom, že hej, budem robiť s tým AI hej? Ako veľmi to akože kedy to napríklad padne aj toto a budem musieť akože nejakým spôsobom inde sa posunúť hej, tak skôr nad tým rozmýšľam akože z nejakého takéhohoto hľadiska hej, že, že, že je to veľká zmena a akože tváriť sa teraz, lebo akože je prekvapivo veľké program-počet napríklad programátorov, ktorí si myslím, že, že u nich to akože, že oni možnože pôjdu akože tak prví alebo neviem ako to povedať hej, lebo ich sa to akože tak veľmi tak priamo týka, lebo ten samotný IT sektor je to, kde je to AI hej? IT sektor je aj ten, ktorý akože je schopný prijímať akože takéto tu veľké veci hej, je to oproti právu napríklad hej alebo takým veciam, kde jednoducho nejaký AI právnik asi nebude hej? Tak je plno ľudí, ktorí napríklad AI vôbec nepoužívajú, lebo to nemajú radi hej, lebo povedali si, že nie je to stopercentné. Nehovorí mi to stále pravdu hej a tak hej. Takže to-toto, toto určite nie. Len tie, tie, tie obavy určite mám hej, to akože to.
Marek Šuppa
Rozumiem. Pre mňa je veľmi zaujímavé, že napríklad teda takí právnici podľa mňa akože budú s-tam, tam, tam to nie je úplne tak, že by ich nejaký priamo nejaký model nahradil. To, čo sa dneska skôr ukazuje je, že ich nahradí nová právnická firma, ktorá je z nuly, ale že úplne od prvého dňa, od prvej sekundy stavaná tak, že čokoľvek môžem, automatizujem, že čokoľvek môžem, deferujem nejakému takémuto modelu a tam teda na to by som si auto by som asi úplne nestavil, ale nejaké malé peniaze by som stavil, že má rádovo väčšiu šancu, že to akože a teda tie valuácie sú, sú odtrhnuté od reality, tak sa ťažko tým dá hodnotiť. Ale že, ale že, že tam si myslím, že je naozaj veľká šanca, že, že ten, ten, že to vyrobí skôr, že, že ak niečo zmení tú nature of work, tak zrejme to bude disrupcia ako nejaký pomalý, pomalý prechod. Že inými slovami povedané, tí, čo to neudržia proste a nebude im pomôcť, že akože nebude sa im dať pomoc nejako zvonka pravdepodobne zaniknú, lebo prestanú byť relevantní. A tam by som sa mieril, tam by som mieril proste s otvorenou hlavou snažiť sa byť aspoň trochu relevantný. Nič viac podľa mňa netreba. To by som radil aj tým študentom.
join3r
Keď sme o radách študentom, preberáme tu neraz. Ty si z akadémi-v akademickom prostredí teda.
Marek Šuppa
Ja som ja, priatelia, aby sme, musíme si to nastaviť jak to je. Ja som akademik amatér. To má takú istú skratku AA jak aj všelijaké iné AA všelijaké teda to. Čiže to musíte tak brať, že čokoľvek ja tu poviem, nereprezentuje žiadnu inštitúciu ani-
join3r
Jasné.
Marek Šuppa
-teda to, ale kľudne budem to hrať. Neni to problém.
join3r
Dobre, super, to nám stačí. Ide o to, že ty máš najlepšiu skúsenosť z nás zo všetkých dvoch, troch.
Ale to vôbec nesúvisí s tým, že si to nejak nepodmieňuje tvoj názor, či si alebo nie si AA. Ide skôr o to, že aký skill pre človeka v budúcnosti a úplne to zober fakt, že filozoficky kľudne teraz bude potrebný, lebo niekedy vieš, ako sa hovorilo, že vieš, že, že úúú treba jazyky. Jazyky to je, to je to. Kto sa učí jazyky, ten, ten prežije vo svete alebo dá čaj. Za mňa osobne zbytočné.
Ááá alebo matika. Hej, to keď ľudia majú tie mozgy hudobné, matematické, jazykové, hej, že a tak ďalej, že aký skill podľa teba bude dôležitý? Toto je napríklad tiež niečo, čo, čo ja interne a nielen ja očividne akože riešim, že proste, že akým smerom. Lebo vzdelanie je super, ale ktorým smerom? Aký skill podľa teba teda bude potrebný do budúcna? Alebo skupina skillov.
Marek Šuppa
Skill? Myslím si, že to je. Myslím si, že to je, skončíme asi pri takej, pri takej barbell strategy od, od, od Nassima Taleba, že má zmysel buď byť veľmi silne fundovaný vo fundamentáloch takých vecí, čo sa nebudú meniť, nech bude čokoľvek. Pri tej matike napríklad dneska všetky tie language modely to je, keď to teda veľmi preženiem a pozdravujem všetkých, čo to budú na tom advize počúvať. To je akože aplikovaná lineárna algebra, taká veľmi špeciálna, ale nič akože to ani neni nové, to je proste tam sedemdesiatych rok. No okej, no nech zas nejakého oného Schmidhubera nenaštvem. V devädesiatych rokoch skončil teda akože nejaký masívny, nejaký masívny vývoj. Že teda inými slovami povedané, za mňa má veľký zmysel buď, buď vedieť veľmi dobre tie fundamentals, ale že veľmi, veľmi dobre. Najlepšie ako viem a potom byť akože, že veľmi, veľmi, veľmi na tom bleeding edge, ale nič, ale nič medzi. Že za mňa napríklad nemá zmysel technické noviny, technické nie čokoľvek teda konzumovať, že Technical News nemá vôbec žiadny zmysel konzumovať, lebo dostávate cez druhú, tretiu, štvrtú ruku. Ak ste technický človek, dostávate proste pred-predžuté niečo, čo buď teda nie je relevantné pre mňa špecificky. Samozrejme, keď robím takýto podcast, tak to je iná debata. Ale teda teda, že, že buď robím také, že nie je veľmi relevantné, lebo z tých fundamentálov už vidím, že to nepôjde leno alebo som rádovo bližšie tomu z tej do D. Čiže, že za mňa, za mňa ten skillset by mal byť na takýchto tých- Na takomto tom barbelli, že veľa z toho bude znamenať veľmi dobré fundamentals a to si myslím, že napríklad človek, ktorý má ja neviem dvadsať, tridsať rokov skúsenosti so všelijakými unixovými systémami a čo, tak z Lindy princípu vysoko pravdepodobne bude relevantný už len preto, že to bude šialená arcane knowledge, čo tam sa proste naučil z toho, jak tie proste ja neviem jak tam, jak som tento týždeň tu nejaký taký today I learned vyprodukoval o tom, že ten bash aj proste aj, aj, aj HTTP request spraví, keď sa ho dobre pohýňa. No tak akože, že, že také veci budú relevantné až na tom, až na tých edgeoch, až v tom jak by povedal, jak by povedal Ľuboš až v tom extrémistane, že ten priemer aj tak spraví ten language model nejaký možno aj prvých osemdesiat percent, ale tie extrémy, tie spiky neexistuje, že bude sa robiť inak, akože, že, že, že príde expert. Čiže, že príde mi, že veľmi hlboko, akože, že čo najviac sa dá byť, byť, byť, byť akože well versed, byť, byť, byť dobre zakorenený v tých fundamentáloch a potom byť potom byť na, na úplnom edgei toho, čo sa dá s tými s dnešným ĎR-tom. Myslím si, že čokoľvek v strede nemá skoro žiadny zmysel, že, že, že, že také tie, že pop biology prečítam si, že teda jak proste alebo, alebo teda pre-prežutý nejaký výskum pre, pre masy nejaký, nejaký, ne-ne-nejako vyrobený podľa mňa bude mať veľmi, veľmi malý zmysel, lebo je oveľa lepšie použitie môjho času ísť kľudne s nejakým language modelom, ktorý je efektívne na to expert, akože, že sa o nejakom sa o nejakej subdoméne naučiť veľmi, akože veľmi špecificky, čo ma zaujíma alebo sa priamo ísť učiť tie fundamentals, ktoré sa veľmi silne, akože ktoré majú šancu, majú šancu byť relevantné do budúcna. Čiže, že, že nemyslím, nemyslím, že mám nejaký akože set of skills, set of skills. Skôr si myslím, že otvorená hlava alebo fundamentals alebo, alebo, alebo everything else.
Drunkez
To sme sa, teraz si cinkol tou poslednou vetou. Ja som tiež také to, že otvorená hlava, že schopnosť proste robiť fúziu dát a analýzu nejakú takú, akože, že, že akože nebude to a ja som tak myslel, že ten skill pre decká terajšie hej bude naozaj, naozaj hlavne o tom, že, že toto, že to je také, že s tým, s tým akože edge caseami akože rieši špecializáciu extrému nejakým spôsobom to je náročné, ale beriem, je to podľa mňa sedí to hej, ale že tie skilly naozaj musia byť také, že nejakým spôsobom také akoby, akoby fundamentálna otvorenosť a schopnosť zanalyzovať niečo také. Vieš, by som to povedal hej, nejakým takýmto spôsobom. Lebo, lebo toto, čo si, čo si povedal, že akože venovať sa nejakému priemeru, nejakému, nejakému tomu balastu, tým deväťdesiatim percentám čohokoľvek. Hej, to je to jak som povedal s tými právnikmi. Hej, to je presne tých deväťdesiat percent, čo bude riešiť proste automat jednoducho.
join3r
Dobre chalani, chcel by som teraz na chvíľku prerušiť túto päťminútovú diskusiu, čo som si na tú päť minút tu akože v mojich-
Drunkez
Vyradil.
join3r
-poznámkach napísal, hej, že trošku pokecáme s Marekom, ale stali sa nejaké, nejaké veľké newsky a konkrétne keď akože posledný podcast vyšiel, vlastne tak tam sme rozprávali o Fableovi, ale v momente, keď vyšiel ten podcast, tak už Fable už zmizol z, z, zo, zo, zo všetkých-
Drunkez
Z ponuky.
join3r
-kódov z ponuky. Hej, takže ty ako Marek, ty si skúšal sa s tým hrať alebo hrá sa s takýmito tu modelmi? Nejakými takýmito agentic hardnessmi a tak ďalej?
Marek Šuppa
Ja ani neviem. Ja neviem, čo tu povedať. To je fakt jak u tých anonymných hackov, alkoholikov, že ja som Marek a teda tiež som-
join3r
Musíme ťa predstaviť poslucháčom.
Marek Šuppa
Tiež som alkoholik, tiež teda do rána do štvrtej to tu teda promptím, lebo no že ťažko, ťažko povedať, ale teda, teda ten takto, že alebo teda dneska sa ja neviem, neviem, čo už sa dneska hovorí, že a pálim desať miliárd tokenov mesačne, čo asi tiež by bola pravda, ale ten takto, že, že jasne považujem to za to, že to je súčasťou môjho job description vedieť, ako to funguje a teda to znamená mať, mať osobnú skúsenosť. Aj ten Fable som skúšal. Dokonca teda som skúšal taký experiment, ja som náhodou narazil na to, že niekto mu dal Taj Mahal, teda jakože teda spraviť takú ako dvojriadkový prompt, sprav mi Taj Mahal teda cinematic prezentáciu a tak. A ja som, že však vyzerá, vyzerá to zaujímavo, ale čo ja viem, v Taj Mahali som nebol a keby som aj bol, však to vlastne nepoznám. Tak mu hovorím dobre, brat tu Bratislavský hrad a neviem, či tam viete pridať linky, ale môžete teda môžete teda pridať k tomuto taký Bratislavský hrad, čo sme tým Fableom nagenerovať. No ja som proste ja neviem, možno päť hodín som, som študoval, že jak to teda je spravené, jak to vlastne teda spravilo. V prvom rade single shot bez toho, aby som čokoľvek teda viacej tomu povedal ako dva riadky, tak akože, že, že spravilo také, čo aj na tom, aj na tom, aj tým takým grafikom na tom Matwize často proste týždne trvá teda dať, dať, dať, dať dokromady. Tak to je prvá, to je prvá vec. Druhá vec je, že to nemalo žiadne spritey v sebe, že to samo proste všetko nakreslilo, čo akože chápem, odkiaľ pochádza, ale je úplne šialené, že vôbec, že vôbec vie teda, vie teda fungovať. No a na záver to bolo také, že ja som tomu nikdy, ja som tomu ani nič také nekázal, ale ešte aj Sunprexy to vyrobilo, tak to odporúčam teda asi ako, ako teda, ako teda pustiť. Všelijaké také veci sú tam ešte aj na toho koňa s tým svetloplukom proste došlo a aj Slavín to nejako ešte teda skúsilo nastreliť. Že kde tým mierim je, že, že toto fakt nebolo v tých trénovacích dátach, akože, že, že, že neexistuje, že tu je niekde akože programaticky nakreslený po internetoch Bratislavský hrad. To je, to je ťažko, ťažko nepravdepodobné. A ak aj, tak je ťažko nepravdepodobné, že je spravený takto dobre v zmysle, že jedna veža je väčšia ako ostatné a tak ďalej a tak ďalej. Čiže, že, že bol akože,
že moja skúsenosť bola veľmi teda, že d-d-d- bola to, bola to veľká paráda a keď som potom chcel skúsiť niečo na štýl, že, že, že skúsme nejaký ďalší, povedzme bojnice alebo niečo také, nech to neni nejaké také-
Drunkez
Práve.
Marek Šuppa
-tak samozrejme, tak áno, tak medzitým samozrejme to už vypli, ale moja skúsenosť bola iná, horšia, horšia s týmto celým fundamentálna. Čo je, že ja keď robím nejaký taký teda AI research alebo myslíš, keď to tu nazveš, tak ono normálne to si len prišiel do repa Pustil, ale normálne ti vysvetlilo, že ďakujem veľmi pekne. Krásny dobrý deň, tak si ten permanent underclass, nech sa ti páči opus, lebo vyzerá, že teda tu ideš robiť nejaký AI research a teda to ako to by sme to, to by to, to, to, to, no tak to, to z toho ma teda ma akože normálne, že, že pozrite sa, ja teda pracujem v takej veľkej korporácii a, a, a je šanca aj denne sa poriadne naštvať, ale takto naštvaný som teda nebol no už teda aspoň, aspoň pol roka. Že ten, ten, ten, ten pocit z toho ani nie, že ani nie, že akože, že apriórne, že je zle, že, že, že, že, že akože vedel by som veci robiť úplne určite a to teda bude asi tu aj debatou aj bez takého silného modelu. A moja snaha bola vidieť, aký dopad to bude mať v mojom doméne a teraz zrazu, že nemôžeš. To je, to je úplne najhoršie. A potom ešte opačná strana, ktorá je, že, že keď sa to aj pustilo v nejakých iných, teda v nejakých iných kontextoch, tak ono to začalo, že, že, že tak ako ľudia reportovali, oni normálne vyzerá, že tomu zmenili nejaké biasy alebo nejaké iné váhy a to začalo generovať často hovadiny. Normálne akože, že očividné blbosti, že oveľa, oveľa menší model s oveľa menšou capability v benchmarkoch, akože, že zvládne proste pospájať tri skripty dokopy. Toto nejak ako. Také to bolo celé divné, že teda, že teda, že, že teda vyzerá, že fakt sa snažili, fakt sami sebe uverili, že je strašne nebezpečné, aby to samého seba zlepšovalo. No tak, tak, tak výborne.
join3r
Hej, hej, to vlastne hovoríš o tom, že, že tam bol nejaký, nejaké kazítko vyložene na to, že keď si sa snažil použiť to na nejaký vývoj LLM ig a tak ďalej, tak to začalo akože vyložene akože otravovať akože veci, hej, vyložene. Tam bol nejaký poisoning, ale Anthropic medzičasom myslím, že vyšiel a povedal, že toto akože odstránia. Hej, neviem, či to stihli odstrániť alebo nie predtým, ako to celé akože
Marek Šuppa
Nestihli, ale to je, to je ešte ďalšia vec, že teda tá, tá americká vláda, keď ich teda zakázala, tak ich zakázala z dôvodov, ktoré furt nevieme, ak tomu správne rozumiem, že teda leakujú sa všelijaké, é, é, é veci do New York Timesov, ale teda oficiálne som si ešte neprečítal, že čo je ten taký zásadný dôvod, že prečo teda, é, vlastne teda, vlastne teda to, to bol tak strašne nebezpečný ten model. Na druhú stranu, é, moja veľká otázka je, že načo ho vôbec potom releasovať? Lebo celý ten marketing toho Antropicu bol neuveriteľne nebezpečné, to je neuveriteľne nebezpečné. No tak akákoľvek vláda, nech je už to už, že to už je jedno, či je, či je zľava, sprava alebo taká, keď stále do nej budeš bušiť, že to je tak strašne nebezpečné, že to je vlastne nukleárna zbraň. No tak akože čo iné môže, ako inak to môže skončiť, ako že ho teda jako teda zakáže? Tak, tak je to pre mňa taký, akože, že, že d-d-d-d-d-taký to Schadenfreude naozaj je ako cítiť v tomto, na to bez, bez, bez, é, é, bez, bez akýchkoľvek limitov.
Drunkez
No mne, mne tie dôvody, keď som, keď som si to čítal, tak tie dôvody mi prišli úplne smiešne, že to tam akože presne leaklo nejaké, že tam robili nejaký test, nejaký bla bla bla a že to im takto. Mne to úplne nezmyselné to prišlo. Mne to presne prišlo tak. Vieš ako mne to prišlo? Že to je niečo, s čím môže obchodovať vláda, lebo je to, oni to prehlásia za nejaký strategický význam. To je jedno, či to je pravda alebo nie. A keď, tak sa to bude predávať na medzivládnej úrovni za ťažké, alebo nejaký taký úplne v aktuálnej geopolitickej situácii by som povedal, že toto je úplne možná vec, no.
join3r
No ten, ten Fable 5 akože nebezpečný model, hej, nie je nebezpečný model, hej a tak ďalej. O tom sa, o tom myslím, že, že, že to je taký nebezpečný mix aj na jednej strane reklamy, ale takisto trošku aj pravdy, hej? A tá pravda je napríklad v tom, že, že keď sa napríklad jednalo o tie, o ten open source a nejaké security audity, hej, tak bol to, bol to významne silnejší model napríklad oproti Opusu, hej, v tom nájsť nejaké veci a to by bolo akože fakt zlé, keby si to len takto vypustil vonku, hej a hackeri by sa ku tomu dostali, hej a napríklad taký Firefox by nemal čas si pofixovať akože interne nejaké veci. Hej, to je akože tomuto tu rolloutu nejakým spôsobom rozumiem, ale potom aj tomu, že to vypustili, hej, aj nejakým tým, tým veľmi silným, tým nejakým guard railom, hej, že povedzme, že okej, bol whatever, hej. To otravovanie, samozrejme, to už je také ako keby celkom také neodpustiteľné a myslím si, že to bolo vyložene nejakým spôsobom proti konkurencii alebo, alebo ťažko povedať, hej, možnože namierené, ale tie, tie dôvody, hej, že toto, že toto je možné jailbreaknúť, hej. Okej, každý model je možné jailbreaknúť, hej a, a sorry, hej, akože po tom to akože čo, čo som ja robil Fable akože security audit na nejakých codebasoch, tak vlastne ako zablokovali tento Fable, tak ja som jednoducho urobil a som, začal som pozerať, že okej, ako presne čo všetko robil ten Fable a tak ďalej, hej. Lessons learned, tooling zlepšený a multi, multi AI akože riešeniach, hej, kde používam aj Cloud aj GPT 5. A potom som to znovu spúšťal na, na tých istých codebasoch, na ktorých bol spustený aj Fable 5 a dopracoval som sa ku rovnakému výsledku, hej. A ten akože myslím v počte, akože tých security issues, hej a v relevancii tých security issues, ktoré našiel GPT 5 a pol a ten je vonku, ten nie je za nejakými strašnými guard railami, ten nie je za. A ja som jeden človek, hej, tak mne nikto nehovorí, že nejaká akože normálna spoločnosť, ktorá sa tomuto tu venuje security related veci, hej, že toto už nemali predtým, hej, takéto tu schopnosti ako, ako tento Fable ako keby. Možno, že je nebezpečenstvo v tej demokratizácii, hej, že, že Fableovi stačilo napísať, že doteraz si potreboval mať špeciál tooling a špeciál workflowy, aby si sa dostal k tomu. Ale ja mám veľmi silný pocit, že toto je vlastne politicky motivované a že tým, že americká vláda akože je trošku pohádaná s Antropicom, tak možno, že to trošku zafarbilo, ako že to rozhodnutie a možnože aj ten, ten samotný scare mongering, ktorý, ktorý robil ten Antropic.
Marek Šuppa
To čo, to čo leaklo bolo, že ten prompt bol nakoniec fix this code. To ako to vyzerá.
join3r
To dokonca nie to, čo sa objavilo na Xoch, to bolo úplne akože Smiešne až hej, akože áno-
Marek Šuppa
Že, že to keď, to keď je naozaj tak, tak tam potom, é, tak, é, potom asi musíme zrevidovať to, čo som tým študentom hovoril o tej budúcnosti, že keď to teda ako takto má, tak to má, tak to má fungovať. T-t-ten, tá veľká otázka s tým Fableom za mňa je, že tak moje oči, keď to je také nebezpečné, prečo to vôbec releaseovať?
join3r
Kvôli tomu, že, že, lebo, lebo predpoklad je, é, akože Anthropic hovoril, že, že open source je nejakých osemnásť mesiacov pozadu alebo nejaké také číslo, hej, akože povedal. A to znamená, že toto sa objaví jednoducho v čínskych tieto schopnosti. Hej, lebo Fable 5 podľa, podľa nich nebol vyložene trénovaný na, na security work, hej? Je to niečo, čo akože sa tam odrazu objavilo a odrazu na to budol schopnosť, é, by som povedal, že reťaziť, é, exploity, hej? Čo doteraz akože teraz, keď to Cloudovi povieš, tak aj ti nájde tie security issues aj tak, ale akože reálne akože ich reťaziť tam akože to začne byť veľmi také, že hej, čo som pri, pri Sonet tri sedmičke, hej, tam to akože veľmi rýchlo začne zlyhávať. A tento Fable to, to zjavne dokázal, hej? A, é, potom je možnosť iba ho vypustiť s tým, že, že, že najprv ho jednoducho smerovať na tú de-defenzívnu security, že keď napríklad vyjde ďalší model, ktorý bude mať takéto tu schopnosti, é, tak aby, aby jednoducho ten codebase na to bol pripravený, hej?
Marek Šuppa
No to rozumiem, že, že, že, že, že nechať akože konkrétnych individuálov, čo maintainujú dôležité OpenSSL a neviem čo, že nechám im prístup, to rozumiem. Ale prečo to dávať svetu? Však keď to je tak strašne nebezpečné, tak ježkove zraky! Tak, é, potom, no kde mierim je, že sa to nedá, že sa nedá mať aj mať koláč, aj ho zjesť. Buď sa má koláč, alebo sa zje. A teraz tu sa stalo, že by, že akože, é, é, é, sa chcú podľa všetkého chceli obidva svety.
Drunkez
No súhlasím, možno to začalo tak a niekto robil takú, takú tú, tú ručnú brzdu zatiahol. To je tiež možné. A to mi pripomína paralelu, keď som dávno, dávno nejakí borci riešili, že, že poďme nájsť, poďme nájsť lieky. Hej, nechali molekulárnu nejaký akože base robili dededede a dali tomu symptómy, urobili nejaký akože, é, kauzálny proste model. Hej, že toto, toto, tamto a nechali to model šotiak našiel im to, pomohlo im to fakt, ale zároveň si uvedomili, že počkaj, však my keď zmeníme váhy, tak vlastne môžeme nájsť aj opačný, hej. Môžeme nájsť jedy, nazvime to tak alebo škodiť, hej, alebo nejakým takým spôsobom by som povedal. A fungovalo to takým spôsobom a presne oni mali morálnu dilemu teda, že či, či, či ten, é, akože research majú zverejniť, lebo vlastne tým pádom. A povedali si, že vlastne áno, že to zverejnia, pretože myšlienka toho celá je, že je dobré o tom vedieť, aby svet sa na to pripravil. Hej a to je vlastne to, čo join3r ty vlastne vraví, vraví, že proste je dobré nejakým spôsobom to použiť, pripraviť svet na to, že prídu takéto modely, ktoré budú schopné nejakým spôsobom samé fungovať aj mimo a budú mimo kontroly kohokoľvek toto reguluje, hej?
join3r
Akože pre, ja, ja robím hlavne akože pre nejaké menšie firmy a pre tie menšie firmy je naozaj akože strašiak niečo takéto tu, hej, pretože doteraz, é, stačilo mať nejaké akože úplne poviem, že basic veci, lebo security bola spôsobom, že spray, hej, že všetko akože dáš akože na internet mal si, mal si tie veľké botnety, ktoré skajnovali všetko, hej, sa, sa vyhľadávalo. Hej, máš starší engine, haha, vitaj! Hej a takýmto spôsobom, hej. Momentálne akože to AI odrazu, é, pridáva akože schopnosti aj relatívne akože, lebo povedzme si, povedzme si, že máš nejakú konkurenciu, hej, ty si mäsiarstvo a vedľa teba otvorilo ďalšie mäsiarstvo, hej? Ty si sa nemusel báť akože nejakého, nejakého security incidentu, akože z toho, od toho mäsiarstva vedľa, že ti hacknú stránku, hej, že ti tam všetko ukradnú dáta a tak ďalej, že ti začnú akože, že nejakým spôsobom ťa hacknú a začnú to zneužívať, pretože to mäsiarstvo práve podľa mňa nemalo akože nejakého security experta, ktorý by tvoju stránku a tvoje systémy tam prelomil, hej? Ale odrazu, odrazu už nepotrebuješ byť až taký security expert. Nehovorím, že stále to vie akože každý to, to určite nie, hej, ale akože to, ten, tá laťka, že ako vysoko musíš byť, aby si, aby si nejaký, či už aj custom tooling alebo custom akože veci, hej, akože firemné veci, akože nejakým spôsobom zlomil, sa odrazu začína znižovať a znižuje sa rapídne, hej, že to je akože, é, tie, tie, tie, tie skoky, hej, alebo také skôr, skôr mi to pripadáva, že tie, é, že, že ty, ty, že ten, že ten development v tejto, v tejto brandži, akože v tomto tu smere je tak rýchly, že tí hackeri samotní ako keby sa nestíhajú na to akože pripravovať, hej, že oni samotní nes-nestíhajú skákať. É, keď napríklad bol, bol ten report o tom, že akým spôsobom sa používa, že sa nepoužíva zatiaľ na ten horizontálny move, keď si, keď si v rámci siete, ale keď to používaš, je to jednoznačný benefit, hej, ale ešte, ešte sa to, ešte sa to nezaužívalo, že sa to bude používať, hej. Určite sú zase tam nejaká priečka, určite sú niekde navrchu, kde ktorí to používajú ešte ináč, čo nás nenapadne, hej, ale pre, pre, pre takéto tu malé firmy, akože vypustenie nejakého takého to tu modelu dáva možnosť napríklad, é, preskenovať, akože ich urobiť, či už black, no toto, že toto, že toto je tiež také za, ja napríklad viem urobiť ten, ten, ten black box scan, hej, lebo som v tom security neviem čo Anthropic blablabla v nejakom nezmyselnom programe, hej, é, ale oni si to sami nevedia urobiť. Hej, teda aj zase tam je nejaký gating a tak ďalej, ale-
Marek Šuppa
No ale ty by si sa-
Drunkez
A znova by som, by som, znova by som do toho odpúšť, že do toho skáčem a rozumiem a to dáva, to dáva istý zmysel, ale že, že potom prečo to znova releasovať všetkému svetu? Tak spravme ten, tak spravme teda nejaký nezmyselný antropik program pre se- computer security, teda týchto expertov. Tam proste človek dá rodný list, proste pol kráľovstva, princeznú, všetko sa zaviaže, že mu môžu zobrať, keď náhodou teda-
join3r
Áno, áno, áno.
Drunkez
-človek spraví. No super, ale ešte to sa tu nestalo aj náhodou. Tu bola snaha spraviť proste splash cez celý svet, jaký neuveriteľný model máme a teda ale zároveň on je tak nebezpečný, že treba ho regulovať. A viete čo? Nie je ho treba regulovať, ostatných hlavne treba regulovať. Takto by sme to, toto ja-
join3r
Hlavne open source, hlavne open source treba.
Drunkez
Mňa to teda donútilo sa vnútorne rozmyslieť o tom, že či ja naozaj chcem v budúcnosti žiť v takomto feudalizme modelovom. No a nechcem. Ja to vyzerá, že vo veľkom budem robiť lokálne modely, aj keď som to teda mentálne som sa k tomu, som sa k tomu, é, é, akože a takto, že akademicky sme to vždy robili, ale nerobil som to na denné použitie bežne, lebo to je, to je iný, iný typ fungovania. No dneska pravdepodobne neni na výber, tak už som hneď nejaký hardvér musel nakúpiť a teda budem sa tomu vo veľkom venovať, lebo my špeciálne v Európe nemáme moc na výber. My budeme underclass zdá sa, že by definition.
join3r
Toto, toto, toto musím povedať aj manželke, že žiaľ, musel som kúpiť nejaký hardvér. Už sa-
Drunkez
Presne, presne.
join3r
Je mi to ľúto, hej, akože-
Drunkez
Ale to nie je ti ľúto.
join3r
Sám nechcem byť, ale-
Drunkez
Nie, nie, to, to zle predávaš. To nie je ti ľúto. To si zachránil rodinu a je to vlastne pre nich. Vieš, pre nás všetkých. Hej? A že, a že očakávaš teda akože poďakovanie riadne.
join3r
Áno, áno, áno.
Drunkez
Že tá situácia je, že dávala sa tam ropa do tej, do tých balíčkov záchrany posledných neviem jak jód a tak. No a dneska jedna dva grafiky je mi ľúto tak-
join3r
Áno, áno, treba, treba jednoducho do toho balíku treba pridať no nejaké šesťtisícky. Anyway, čo som to chcel? Áno a toto je, to som vlastne chcel povedať akože od začiatku, keď sa o tom bavíme, že to, že to, že idú IPO, hej, to všetko je zafarbené. Všetko, čo urobia je zafarbené tým jednoducho, že sa snažia o väčšiu-
Drunkez
Present.
join3r
Väčšie hodnotenie, hej?
Drunkez
No ja si ale myslím ešte to tak ja ukončím z mojej strany, že vieš čo, že Pandorina skrinka je otvorená proste hej, to je ako s dynamitom. Vieš, keď Newton objavil-
join3r
Hej, hej, to už dynamit, to je jasné.
Drunkez
Hej? Proste to neni, recept je von. Už, už to je jedno, že to má byť len na kameňolom, už to proste búcha kdekade, vieš.
join3r
Ten GLM-52 a teda posledné všelijaké čínske modely ukazujú, že to akože nie sme, to nie je šialene, že, že, že, že ten, ten, ten, ten, ten, ten frontier, ten Pareto frontier naozaj nie je akože to sa bude merať v mesiacoch v lepšom prípade. No a teda ten-
Drunkez
Áno.
join3r
Teda ak, ak to je tak, tak potom tá otázka je skôr opačná, že, že do akej miery, do akej, že, že, že tie, tie, tie, tie, tie takáto nejaká capability. A inak som si skoro istý, že keď sa urobí priamy, že sú modely, ktoré sú priamo aj pre cybersecurity špecificky funkčné. To, čo sa, čo sa tu zrejme udialo bolo, že ja ten, ten, ten, ten, to trénovanie, jak sa dneska deje a teda ten najväčší enabler vyzerá byť, keď to trénujete v harnese priamo, že teda to nie je, že language model separate ne, é, é, é teda hodnotíte v tom, že ako tie výstupy teda vyzerajú, ale že ho v nejakom tom cloud code alebo ja neviem, é, é, kódexe a podobne ho necháte riešiť úlohy v tom svojom natívnom prostredí, v ktorom ich aj tak bude riešiť. A vyzerá, že tam tuto sa, tuto sa teda podarilo to tak veľmi naškálovať, že v nejakej časti, v nejakej časti to dobre zafungovalo. Neviem, neviem presne, ako to funguje, kde ale mierim je, že trochu vieme, ako fungujú také tie open sourceové, teda čínske modely ako, ako Grill Len a podobne. A tam, tam je, tam je úplne jasne vidieť, že, že ten, ten, ten, ten, ten akože ako by som to povedal, že ten, ten, ten recept nie je úplne, že, že je to oveľa viacej art ako science, žiaľ, do veľkej miery. A keď je to tak, že je to oveľa viacej art ako science, to sa nedá úplne do toho článku akože zosumarizovať, že ako by som to robil znova. Že iným slovom povedané, tu treba ľudí, čo majú šitú realitu s tým, čo to znamená vyrábať tie modely. A preto, keď ja tu počúvam, jak si v Európe spravíme vlastný model, tak som megaliticky skeptický. Tam to potrebujete ľudí, čo proste s tým frontierom žijú, čo, čo, čo denne robia, čo denne robia stovky proste experimentov a podobne. Ťažko povedať, čo vlastne, čo a ako presne vôbec, vôbec zafunguje. Čiže ten, čiže, že, že, že recept možno je, ale tá škála naozaj bude znamenať, že bude a bude tých hráčov relatívne málo. No a nám potom zostane v tomto našom teda potenciálnom feudalizme robiť to tak, aby sme z toho hardvéru, čo budeme mať v tých krabičkách poslednej záchrany, proste vymačkali čo najviac. Ale som si skoro istý, že mne vlastne ani netreba nejaký veľmi dobrý model. Mne treba taký nejaký Opus 4.5 alebo niečo na taký štýl a treba mi ho extra rýchlo, že tristo, štyristo tokenov za sekundu a ja- To si testoval.
Drunkez
Ja okolo toho proste postavím ten harness tak, že proste keď sa na prvý raz netrafí, nevadí, že bude, bude, bude v pohode, v pohode to môže celú noc teda ako.
join3r
Mhm. Čiže vieš čo, to som sa chcel aj spýtať, že, že dve veci ma napadli, čo si rozprával teraz, keď si rozprával, že treba ľudí, ktorí okolo toho chodia, okolo toho frontieru, ale to už nehovoríme o primárnom nejakom výskume. To už hovoríme o aplikovanom výskume, že?
Drunkez
To je dneska ťažk- to je dneska podľa toho, koho sa človek spýta, tak takú odpoveď dostane. Ale že, že, že čo to vôbec je ten primárny výskum, že ten, ten, ten, že dnes je to vlastne to, špeciálne keď príde na tie tieto, keď príde na tie language modely, tak ako to už je vlastne, to je vlastne-
join3r
Vybavené, vymyslené.
Drunkez
Ako áno, že do istej, do istej miery áno, ale stále má zmysel akože tomu fundamentálne chcieť rozumieť.
Marek Šuppa
To robia aj tie veľké labáky, ale robia to tak, že ve- je to veľmi, ako by som to povedal, mi dolármi motivované, že-
Drunkez
Okej.
Marek Šuppa
Že, že robia ten fundamentálny výskum nielen preto, že teda, é, é, je to zaujímavá otázka, ale že keby náhodou sme lepšie tomu rozumeli, tak v ďalšej evidencii toho modelu to má rádový dopad takým-
Drunkez
Okej.
Marek Šuppa
Takým skôr, takým skôr spo-spôsobom. Ale hej, keby sa to má porovnať, to je možno deväťdesiat päť ku piatim proste-
Drunkez
Mhm.
Marek Šuppa
Ten, ten, ten, tento, ten, ten, ten pomer aspoň dneska vzhľadom na to množstvo peňazí. No a je to potom aj je, ale, ale že, že čo som tým myslel, sú veci na štýl, že, že proste my si nemôžeme t-t-tú tu v Európe špeciálne sú takí teda, é, j-je často taký naratív, že, že no veď však my budeme robiť také všelijaké word modely a teda, é, Jan Lekun je tým známy, to, to Jeepov a podobne, čo je celkom pohodový smer, ale to môže mať proste dopad o dva, tri roky. To, to akože, že, že byť dneska relevantný bude úplne iná, bude úplne iná debata. Tie modely sú inak aj veľmi malé. É, tak, tak to potom aj, to potom aj tak funguje. Čiže, že, že áno, že to, to, to je oveľa viacej aplikované a to okolo toho frontieru znamená, že aj keby som dneska mal nekonečno peňazí a povedzme tri mesiace času, a to už v nekonečnom tu delím- Nie ani že veľkým, že som na nekonečnom, tak to stále nedáme, lebo ten, lebo, lebo ten, ten, ten, ten, to množstvo proste chýb, čo treba spraviť na to, aby sa prišlo k tomu frontieru, je tak strašne veľké, že nás čas dobije, že proste fakt, že musíme spať nám proste nedá, é, é, nedá šancu, aj keby, aj keby hneď, aj keby hneď tie resources neboli problém. A to teda sú obrovský. Európa má päť percent všetkého GPU outputu dneska, dneska, ne-ne-dneska svetového.
Drunkez
Isté, jasné.
Marek Šuppa
Tak akože to je veľmi ťažko.
Drunkez
Dobre a teraz, é, teraz to o-opäť tak teoreticky, é, pošpekulujem a pomôž mi s tým, že ono to je tak-taká myšlienka. Mne sa veľmi dlhodobo páči, že jasné, chápem, že môžeme škálovať modely, dávať im množstvo parametrov a tak ďalej, akože zväčšovať ich, ale zároveň mne sa páčia, myslím, že napríklad Google je v tomto celkom fajn a mohla by byť, mohla by byť Európa nie je, neviem, či je, ale mohla by byť. A že zefektívňovať funkčnosť, zefektívňovať beh, interferenciu, čokoľvek proste zefektívňovať. Ja mám pocit, že týmto smerom keby sa išlo, v konečnom dôsledku by to mohol byť aj nejaký endgame, aby aj na edge devicoch bežalo akože silné modely rýchlo, tak ako si ty vravel, že, že, že slušný model, rozumný, ale rýchlo. A samozrejme ešte zefektívniť aj jeho obidve veci, aby rýchlosť aj, aj teda múdrosť, hej? A že keby beží tam nejaký, máš vedomosť o tom, že dajme tomu Európa, ale možno nielen Európa aj vo svete bežal takýto primárny výskum, ktorý by sa tomu, lebo tam si myslím, že je veľký priestor.
Marek Šuppa
No takto, že to sa deje vo veľkom alebo teda reálne vo veľkom, relatívne vo veľkom. To sa deje ešte aj na Slovensku. Na tom slávnom Matysse máme ľudí, čo robia vo veľ-, čo robia a, a teda svetové veci v tom, aby, aby tie tieto, aby tie, tie modely, modely mali šancu na tých grafikách bežať rýchlejšie alebo teda ohodne efektívnejšie a tak. Pozdravujeme Usamu aj, aj, aj, aj Vlejda. Dostali na, na, na takú veľkú konferenciu, čo sa volá ICML. É, parádny článok práve o tom. No a teraz že, že problém sú také škrie- akože, že malé škrípky. Vieš, že to akože, že, že, že, že koherentne dať do toho, že da-dať dohromady, že super a teraz ja neviem, zaplatím si za nejaký Mac, ktorý bude mať stodvadsaťosem giga ramky a to už bude ono. To ešte chvíľku to, to ešte, to ešte chvíľku potrvá. V kontexte tých všelijakých Google napríklad áno, napríklad DeepMind teda s tými Gemma modelmi vyrába line-u, ktorá má veľkú šancu byť relatívne relevantná. Tá z minulého týždňa Diffusion Gemma dáva aj týchto stovky tokenov, len teda na half stovke, čo je teda, é, é, skôr serverové železo. Čiže mne by sa, mne by sa veľmi páčilo dostať podobný, aj ke-aj keby to neboli proste tisícky tokenov za sekundu, jak to oni robili teda vraj, vraj na tých, vraj na tých serveroch, ale aj keby to boli vyššie stovky, keď by bolo že tristo, štyristo tokenov za sekundu, keby som vedel lokálnym hardvérom, že tu mám niekde na stole DGX Spark alebo niečo na ten štýl a že, že z toho z neho dostanem, tak to mne vlastne viacej až tak veľmi netreba.
Drunkez
Mhm.
Marek Šuppa
Akože, že až tak veľmi v tom slova zmysle, že očakávajú z budúcim improvement sa dostaneme do bodu, kedy bude sa k tomu správať človek inak. Dneska sa správa k tým kódkodom tak, ako mu dovolia, čo je, že akože napíšem prompt, pozriem, neviem čo tak v lepšom prípade pustím viacej sapidžintu a podobne. To v budúcnosti zrejme nebude. To bude zrejme, to bude zrejme, že sa buď postaví nejaký taký malý harness okolo a viacej ich tam bude behať a teda niekto rozhodne, možno aj oni sami nejakým konsenzom, že čo malo, čo malo najväčší, čo malo najväčší zmysel. A myslím si, že to do veľkej miery bude stačiť aspoň najbližší možno, možno rok, keď teda viacej nie sme ochotní city pnuť a ja teda veľmi nie som, ale že minimálne, minimálne najbližší rok bude veľká oveľa väčšia otázka. Nie ani len že, že, že, že, že kam všade to vieme dostať oveľa, oveľa viacej, ako že aké kvalitné to je. Čo bolo vidieť aj s tým Fableom, keď som ja s tým všelijaké veci skúšal. V mnohých prípadoch to bolo zbytočne dobré, že, že ten token, jeho cena bola zbytočne vysoká na to, čo robil.
Drunkez
Mhm.
Marek Šuppa
Inými slovami povedané, keď tu robím Jason, no tak fakt, že teda otvorím tú zátvorku, no na to naozaj nepotrebujem takú istú cenu toho tokenu, ako, ako, ako keď idem, čo by bolo nejakým tam obsahom toho Jasonu vyrábať.
Drunkez
Hej.
Marek Šuppa
Čiže, čiže teda, čiže tam, tam, tam, tam naozaj pravdepodobne bude treba taký nejaký cost optimálny balans a v tom by sme technicky a teoreticky mohli byť dobrí. Ja len skôr ako nevidím, é, d-d-d- veľmi nevidím nejaké také rozumné iniciatívy, takže možno bude treba nejakú založiť alebo čo. Nejaký taký odboj mi to príde teda, é,
é, é, é, že, že, že pravdepodobne, pravdepodobne bude treba.
Drunkez
Mhm. V Európe myslíš teda, hej?
Marek Šuppa
Myslím, že všade na svete, kde ako nebudú mať úplne od-snahu alebo teda kde, kde nebudú úplne vyrovnaní s tým, že sú len niekoho, é, teda na niekom závisia. Ale v Európe myslím si, že špeciálne. Tam máme-
Drunkez
Mhm.
Marek Šuppa
Teda tam máme veľmi problém, veľký problém, no.
Drunkez
Hej, no. Dobre a ešte chcem stihnúť jednu, é, malú správičku, ktorá je tiež celkom veľká, a to je, že, že SpaceX, é, nakoniec kupuje Cursor podľa všetkého. To takto vyzerá. É, čo znamená, že to je skvelý krok pre, myslím, že aj pre Cursor, myslím, že aj pre SpaceX. Myslím, že to sú dvaja, ktorí vyhrávajú a potom
join3r
Potom sme tu ešte my ostatní, ktorí možno, že až tak úplne na tom nevyhrajú, ale je to akože veľká vec.
Drunkez
No je. Ja si myslím, že ja si myslím primárne ja som mám pocit, že, že na tom získal
kurzor, že dostane akože prístup k rôznym, k rôznej veciam, ku ktorým ťažko by mal prístup. Ten, ten, ten, tá symbióza môže byť akože parádna úplne.
join3r
No Elon Musk musí byť úplne akože z toho veľmi šťastný. Hej, po prvé, SpaceX nie je až tak veľmi spájaný s Elonom Muskom, čo je preňho super, hej. XAI bolo vlastne zabalené do SpaceXu a tie ich modely hej, akože podľa mňa nie je náhoda, že oni vedia tak veľa akože data centier predávať hore dole hej pre, pre Anthropic a tak ďalej, čo nie sú určite malí hráči a vedia im dať akože celkom podstatnú kapacitu, lebo ich modely nie sú veľmi používané, hej? A takýmto tu spôsobom sa budú vedieť dostať do kurzoru. Hej, čo kurzor je jeden z naj takých najpoužívanejších tých developerských toolov by som povedal a takýchto podobných. Takže-
Drunkez
Je to výborný agregátor hlavne podľa môjho názoru to je jeho veľká pridaná hodnota.
join3r
Agregátor áno, ale vieš, akože máš tam, máš tam akože silný tlak na to, aby si používal Composer. Hej, je to kvôli tomu, že ostatné veci akože viacej tokenov míňajú a tak ďalej. Hej, či viacej akože toho kreditu alebo neviem čo to tam majú kreditný systém. A, a toto si myslím, že budúcnosť hej bude asi vyzerať tak, že, že čo už aj vlastne aj teraz myslím, že už si o tom aj hovoril kurzor, že že ďalší model bude už postavený asi nie na Kimi dva šestke, ale či dva päťke. Oni stále na dva päťke postavili, ale už na asi nejakom tom XAI modely.
Drunkez
Marek, ja mám ešte-
Marek Šuppa
Také všelijaké-
Drunkez
Prepáč.
Marek Šuppa
Také všelijaké tieto veci z toho začínajú pri tomto deale začínali sa vyplavovať. Napríklad boli časy, keď Anthropic myslím, že teraz nepamätám, či štyridsať alebo dokonca až šesťdesiat percent Anthropicového revenue išlo priamo z kurzora, že z použitia kurzoru išlo priamo, išlo priamo, akože veľká časť, veľká časť toho, že Anthropic fungoval. Potom z druhej strany Anthropic podľa všetkého dal teda kurzoru vedieť, že idú robiť Cloud Code takým asi štýlom, že to sa nemusíte báť. To je taký research experiment, čo my tu ideme spraviť. No tak, tak asi toľko. No a teda ten, ten, ten najzaujímavejšie na tom deale je, že teda ten, ten, ten aspoň teda za mňa a neviem najzaujímavejšie. To je také veľmi zaujímavé je, že, že oni to teda valuovali v SpaceXovom stocku, že teda on to je, to je, to je, to je full stock deal. Inými slovami povedané, akýkoľvek minulý investor dostane teda tie ten SpaceXový stock, ktorý, ktorý teda bude masívne fluktuovať úplne, úplne, úplne určite, že to nie je, nedostanú tí ľudia cash a ktovie kedy to bude, kedy to bude vlastne likvidné. Zároveň, keď robíte takúto akvizíciu, to som trochu teda zažil, tak to funguje tak, že to nie je tak, že teraz ste miliardár, ale najbližších šesť mesiacov musíte vydržať a možno až potom budete schopní ten stock predať. Možno majú dať dvanásť mesiacov. Neviem. Nie, to som, to som nenašiel, že aký, aké, aké dlhé majú lock up periódy. Že tu sa vám kľudne môže stať, že keď SpaceXu teda tá hodnota padne za najbližších dvanásť mesiacov, povedzme, nechceme strašiť ale že na polovicu, lebo bude nejaký bust cycle. No tak akože z miliardárov možno už budú aj slabí, teda desiatky milionári a tak ďalej a tak. Čiže celé je to takým, celé je to taký ako taký, taký akože ako by som to povedal. Presne tak, jak sa to hrá v tom Bay Area, v tom, v tom Silicon Valley vo veľkom. Proste veľmi rýchlo, veľmi, veľmi, veľmi na škálu a očakávaním neuveriteľných, teda budúcich, budúcich skalovaní. V deväť z desiatich prípadoch to moc nezafunguje, ale v tom jednom, keď áno, tak to vie byť veľká táto, tak to vie byť veľká výhra. No a potom sa tu šaka všetkých ostatných. Tak ja som veľmi zvedavý, ako skončí ten slávny Super Grob Code, čo teda mala byť alternatíva ku Cloud Codu. Čo ste možno teda zachytili, to teda je, je teda XAI malú aj teda svoj vlastný coding model a svoj vlastný coding harness. Moc sa o tom nevie, asi hlavne teda preto, že moc to nefungovalo, aspoň teda tým ľuďom, čo to, čo to toto, čo to skúšali. A teraz tá, tá, tá vec je, že to ako neni sranda dať taký harness dohromady. Vieme to aj z takého všelijakého Paya a podobno neni až tak ďaleko od nás vo Viedni, ktorý musel ísť na úplne akože na kost úplne najtriviálnejším možným spôsobom, aby sa dalo tomu trochu viacej, trochu viacej rozumieť. To je jedna strana. No a druhá strana je, že ten, ten keď, keď, keď kurzor robil ten svoj model, tak oni nahirovali len ľudí, ktorí robili ten, ten post training, že pri trénovaní modelov-
join3r
Áno, to hej.
Marek Šuppa
Pre-training, re-training, post training a títo ľudia, čo teda robia v tom kurzore, robia vlastne, vlastne len po alebo teda na, na, na v tom post trainingu sú veľmi dobrí. Saša Raš je taký jeden, je také jedno známo, jedno známe meno, jedno z nich. No a to chcem povedať, že im trvalo vlastne rok dostať sa do pozície, kedy teda mali nejaký model, čo by bol trochu, čo by bol trochu porovnateľný s tým. Ani nie, že to je vlastne, že Frontier, ale že tak je to lacné, nejaká lacná náhrada. Čo sme sa tu teda, čo sme sa tu teda bavili. No a takýmto ako tou akvizíciou do tohto, tohto, do toho SpaceXu oni čo hlavne podľa mňa dostanú, tak je šanca byť súčasťou tých takých veľkých data centier, jak ste hovorili. Tieto, to data centrum to treba akože obdivovať, to za tri mesiace postaviť. Jak sa to podarilo tomu, tomu, tomu, tomu, teda XAI a SpaceXu už, už ťažko povedať, jak sa to, čo to je. To je doslova, že čínska rýchlosť v Amerike. To je vlastne, vlastne unheard of. Vlastne, vlastne až, až, až sa to zdá, že proti, proti, proti prírode tak rýchlo to teda vedieť to, to vedieť postaviť. Ale čo to teda znamená aj pre, pre také to ďalšie trénovanie tých modelov? Bude zrejmé, že, bude zrejmé, že ten, ten- Ten, ten spôsob, akým je ten Colossus postavený, je hlavne tá inferencia, že to nie je na trénovanie dobre pripravené. Tam sú nejaké technické dôvody prečo, ale že teda, že, že, že tam, tam som teda hodne skeptický k tomu, že by nejaké nové modely, lepšie modely, tá-tento nový XAI, neviem čo, jak sa bude volať, Cursor X alebo čo, alebo, lebo Musk teda ľúbi tie Xka, tak, tak ako, ééé, že, že ťažko povedať, že či by som si stavil na to, že budú mať nový model. Skôr by som stavil na to, že, že budú možno podrazia cenu pri, pri inferencii a, a trochu zamiešajú karty na tom tomto, na tom trhu. Ale to bude-
Drunkez
Proste získať percentá z trhu, získa tým pádom pri-peniažky na bohučo na čo.
join3r
Toto si tiež myslím. Si nemyslím, že oni teraz budú nejaké akože odrazu, hej, akože budú top-
Drunkez
Relevantní hráči.
join3r
-čo sa týka akože nejakej kvality, ale toho, čo sa obávam v prípade Cursoru je podobným, podobnej veci, čo vlastne sa stalo aj zo alebo vyzerá, že sa bude stavať zo Scale AI, lebo do Scale AI vlastne keď investoval, ééé, investovala Meta, hej, tak tam zobrala štyridsaťdeväť percent, hej a to bolo jednoducho odrazu, odrazu mám pocit, že predtým Scale AI bola taká ako keby nezávislá a momentálne, keď je už akože na tej strane Mete, Mety, tak sa počúva akože z rôznych strán, že tak my už s nimi ako spolupracovať asi veľmi nechceme. A toto isté sa môže stať aj Cursoru, pretože Cursor má veľmi akože cenné dáta v tom, že on vidí tie prompty, hej, že, že jednoducho vidí, akým spôsobom to používajú, hej, či už je to na, na, či už používajú Cloud Code alebo OpenAI a GPT alebo nejaké GLMko, hej alebo Gemini, hej, to je jedno, tak Anthropic nie je zase úplne, nebol by to prvý hard disk, ktorému by Anthropic odoprel, odoprel prístup, hej, tak to poviem. Takže to, to tiež je možno, že nie je nejaká taká vec, ktorá tam môže byť na spadnutie, hej.
Drunkez
Badly.
Marek Šuppa
Ja ešte môžem ponu-ponúknuť nejaký taký enterprise prístup alebo teda prístup nejaké, nejaké také, že čo to znamená pre veľkú kompaníu, lebo tak náhodou nejako som trochu s ňou afiliovaný. To je vám tak, že teda Cursor vo veľkom posledný mesiac no dva alebo ja neviem, možno to aj dlhšie, ale ku mne sa to dostalo až posledné dva mesiace alebo tak, kompletne zmenil pricing model agresívne, že už, už, už enterprise zákazníkom je vlastne neochotný dať, ak som to správne pochopil, tak je neochotný dať iný ako token pricing s masívnymi maržami. Či inými slovami povedané, že, že, že, že oni aj keby neprišlo k takémuto, k takejto akvizícii, tak veľmi išli po tom revenuu veľmi, veľmi silno. A to ste možno zachytili niekde začiatkom roka, že teda ten ich CEO povedal, že je up, že, že, že v takom internom disku, internej diskusii tam naložil, že nie je inej možnosti pre nás ako prežiť, iba ak budeme mať vlastný model, že im prestal fungovať business model do veľkej miery, že, že teda platili tak strašne moc za tie, za tie tieto, za tie, za tie existujúce tokeny, že to vyzerá, že to je vlastne, ja keby som to teda mal zakonšpirovať, tak by som povedal, že je opačne, že aby Cursor vôbec prežil, tak nebolo veľmi inej možnosti, ako aby ho Microsoft kúpil, no.
join3r
Ja si myslím, že to je tiež pravda, lebo, lebo Anthropic jednoducho tým, ako dvíha ceny, hej, za, za API costy, akým spôsobom, ééé, neopatrne narába s tými tokenmi, hej, že aký je token heavy a tak ďalej, tak toto sú vyložene akože, ééé, je to samozrejme aj na Enterprise, hej, stavané, lebo Enterprise platí API costy, ééé, hej, majú tam dvadsať percent nejakú zľavu, hej a takéto veci, ale stále je to brutálne, akože je to brutálny rozdiel oproti tomu, čo dostaneš, keď si kúpiš Cloud Max napríklad, hej, kde jednoducho dostaneš tej inferencie nenormálne množstvo, hej. A toto je vyložene podľa mňa snaha nejakým spôsobom vytlačiť takýchto tu hráčov, aký je Cursor a tak ďalej. Takže tam oni akože oni boli v ťažkej pozícii a myslím si, že ďalej budú akože v ťažkej pozícii. Ééé, ich výhodou je to, že oni majú, majú developerov, hej a developeri len tak akože nepreskočia, hej, odrazu na niečo. Myslím si, že je tam nejaká zotrvačnosť a kým sa im podarí niečo, nejaké vlastné modely mať aspoň také konkurencieschopné, veď aj teleporter tu hovoril vlastne, že on je s tým Composerom spokojný, hej a Composer je relatívne rýchly model, tak tam sa vlastne môžeme baviť o tom, že áno, hej, že, že pre mnoho akože tých, tých workflow toto bude good enough a ja si myslím, že Cursor ako harness je akože výborný, hej.
Drunkez
No vieš čo, ja, ja mám pocit, že toto všetko uvidí, je taký, my sme teraz momentálne v takom periode ekonomickom. Ja mám pocit, že, že akože ako sa na-naberal user base aaa všetci bojovali o to, tak teraz je to také, že stačí. Už nemáme veľmi kde škálovať z čímkoľvek, ale v princípe nemáme veľmi kde škálovať s infraštruktúrou asi. Tak áno, treba to monetizovať teraz. Už stačí dvadsať eurových paušálov na nekonečno, hej a mám silno tento pocit, že týmto smerom to jednoducho ide a všetci tým nejaké, to je taká špirála, ktorá niekde proste uvidíme, kde sa to zastaví, lebo je to definitívne to je vo workflowoch. Je to, je to, je to incorporated vo firmách. Jednoducho už je to tu. Ten produkt je akože well established by som povedal v našich hlavách a rukách, tak poďme to monetizovať. Vieme všetci, aký to má efekt a vieme všetci, aký to má, aký to má prínos, tak nám konečne za to zaplaťte. Ja mám tento pocit.
Marek Šuppa
Ona je ešte aj opačná strana tohto celého. Na, na burze sa vždycky hovorilo, alebo teda medzi tradermi je, že ešte nebola tak, ešte nebol taký shortage, aby po ňom neprišiel hlad. Že inými slovami povedané, že keď je niečoho nedostatok, tak ešte nikdy nebolo, aby potom toho nebolo náhodou teda prebytok. To je jedno a to proste od, od, od ja neviem, ropy v sedemdesiatom treťom, osemdesiatom treťom a tak až po, až po ja neviem, čo by sme tu teda ukázali, že, že dá sa to na, dá sa to na mnohých teda prípadoch vidieť. A ja som si naozaj, ja by som naozaj si tipol, že proste tieto také, akože, že, že valuácie všelijakých tých memory alebo chip makerov neexistuje, že budú teda, že, že to chvíľku proste trvá, kým ten fab postavíte, ale jak ho postavíte No tak to už bude črnovať tie čipy teraz ja neviem dvadsať rokov kľudne hentakého, hentakého takým, takým nejakým spôsobom. No a otázka je skôr, či ten dymán stále bude taký istý. Že, že, že, že ja osobne by som tipol, že v nejakom bode špeciálne s tým, ak sa preženie to, že sa tu bude proste teda všade tlačiť z každej strany AI, tak, tak, tak je dosť možné, že príde, že, že pre ľudí ako my, pre technických ľudí to bude bez debaty, to bude indispensable. Ale je dosť možné, že ten taký konzumer narratív, ten taký pocit bežného spotrebiteľa bude, že nechcem to ani vidieť, radšej pôjdem chytiť trávu, jak sa povie po anglicky. Normálne radšej pôjdem si teda jako, é, é, é, é, čokoľvek, čokoľvek iné tuto, tuto vlastne spraviť. Že je, je, je možné, nevylučoval by som, že sa z tam stane jakože kontrkultúrny, jakože, že protikultúrny teda, teda tento ten obal. Nemyslím si, že to má šancu prežiť, ale úplne kľudne to môže zamávať tým, že bude zrazu strašne moc tých čipov, že bude strašne moc proste tohoto, to sa akože, že, že, že, že príliš moc mnoho na to, ako to ten trh tento, ako to ten trh, é, é, má, má schopnosť akože, é, é, é skonzumovať. Čiže, že myslím si, že veľa sa ukáže povedzme začiatkom budúceho roka, že, že ten, ten, ten je dosť možné, že budú proste, že, že ceny tých tokenov fakt padnú tak strašne veľmi, že sa tu nebudeme o nich viacej debatovať. Nakoniec aj tie liknuté OpenAI čísla ukazujú, že ešte aj tie dvadsaťdolarové tieto, ešte aj tie dvadsaťdolarové profily, dvadsaťdolarové subscriptiony sú pre nich vlastne profitable, aj keď to teda nahlas nepovedia. Je to tak.
Drunkez
Ok, tam nejaký average tam môže byť určite. Akože tu sa podľa mňa stretáva viacero kriviek. Fakt, že adopčná krivka, lebo však firmy by to chceli, aby to bolo všade v telefónoch, v okuliaroch, v edge devices, v smart v čomkoľvek, hej. Na druhej strane ja si myslím, že tá, to, čo sme sa bavili, že ak sa podarí nejakým zásadný nejaký prielom, ktorý spôsobí výrazne akože skokovú zmenu v efektivite behu a interferencie a trénovania, môže zamávať s tým. Čiže tam je viacero kriviek a stále si myslím, ja mám taký pocit, že sme akože ešte relatívne strmo v tej adopčnej krivke, hej, aj v tej, aj v technologickej, hej. Povedzme si, že to síce sú akože veci rozbehnuté dlhodobo, ale vravím, že, é, môže stále prísť nejaká zmena, ktorá, ktorá to celé rádovo nejakým spôsobom posunie. Vtedy sa môžu takéto veci udiať určite. Som prekvapený každopádne, že, že, že dvadsaťeurové, že priemer týchto nízkych úplne za tých, tých akože entry paušálov sú-
Marek Šuppa
Skončí to ale v priemere, hej.
Drunkez
Hej.
Marek Šuppa
Funguje to lepšie, keď sa spraví, keď sa spraví ten priemer. Ja teda to by som chcel povedať, že oni tie kompanie sú vlastne dneska vieme, že sú vlastne profitable, ak prestanú robiť research. Ak prestanú robiť tie ďalšie nové verzie tých, týchto tých modelov, už dneska by boli profitable.
Drunkez
Jasné.
Marek Šuppa
Čo naznačuje, že to fakt sa môže raz stať, že, že niekto sa rozhodne, že odteraz už len rižujem. No a tá, nerobia to len preto, že sa boja toho, že budú upadnúť do zabudnutia, že teda budú jak ten náš slovenský Mistral.
Drunkez
Že musia investovať, lebo súťaž ich, ich potopila. Hej, motno ty si joinerko. No a čo? Doteraz ti to nevadilo. Doteraz som rozprával celý čas a ti to nevadilo.
Anyway, zdá sa, že sme sa presunuli asi už ku koncu podcastu a budeme musieť končiť. Mareka sme mali sľúbeného na hodinu pätnásť minút a už ho naťahujeme, takže týmto sa asi rozlúčime. Čaute, budeme sa počuť znovu o týždeň a teraz pre prémiových memberov samozrejme ďalšie dve hodiny zvukových efektov z Druhej svetovej vojny. Tu tu tu tu tu tu tu. Au! Au! Tu tu tu tu tu tu tu tu tu tu tu tu tu tu tu.