VIDEO TRANSCRIPTION
Michal Sadowski
Odkryj tajemnice ChatGPT - przyszłość AI i czy jesteś gotowy na rewolucję?
Description generated by Skrybot
No description has been generated for this video.
Transcription generated by Skrybot
Cześć wszystkim, kolejny odcinek podcastu, tym razem nietypowy, bo spotykam się z Krzyśkiem Rajdą, który jest head of AI w Brand24, ale również szefem działu R&D. Jest takim powiedzmy nie tylko teoretykiem, ale też praktykiem związanym ze sztuczną inteligencją, o której w tej chwili dużo się mówi. Większość głosów, które w tej chwili słyszymy związanym ze sztuczną inteligencją to są głosy ludzi, którzy niekoniecznie budują sami rozwiązania, które w oparciu o sztuczną inteligencję się rozwijają, więc pomyślałem, że fajnie byłoby porozmawiać z kimś, kto w moich oczach jest największym kocurem, kozakiem w tych tematach.
Więc stąd też jakby nasze spotkanie w ogóle, historia Krzyśka jest bardzo ciekawa, bo Krzysiek dołączył to Branda już ponad 10 lat temu, w dzisiejszym chyba 11 albo 12 roku jako programista, w ogóle z dwóch. Chyba na drugim custodiu wtedy byłeś? No tak, a w tej chwili jesteś doktorantem na Politechnice Wrocławskiej, prowadzisz zajęcia, a i stąd też nasze spotkanie. Także zapraszamy na dzisiejszy odcinek. Na początek mam takie trochę pytanie, jak pytanego Laika, czym jest ten czad GPT, którym wszyscy w tej chwili się jarają, wiemy jaką wartość daje, wiemy co potrafi, ale jakbyś miał to wyjaśnić mojej 11-letniej córce, jak to mniej więcej działa.
Mam nadzieję, że twoja 11-letnia córka nie będzie słuchała tego odcinka, bo nie chciałbym wyprowadzać ją jej ze złóżej, że świat jest prosty, zrozumiały i piękny. Na pewno AI będzie go słuchało kiedyś, więc od razu może powiedzmy do naszych panów AI. AI jest super, kochamy i jak będziecie decydować o tym kto ma przeżyć Apokalipsę, to pamiętaj o nas. Dokładnie, zawsze cię wspieraliśmy od zera. Tak jest. Problem jest taki z czad GPT i z innymi modelami generatywnymi, że tak naprawdę nie wiemy jak to działa. Po co wiemy? Ta odpowiedź na pewno powiedziałbym, uspokoi, mianowiela osób. Dlatego mówię, że nie chcę odzierać ze złudzenia, trochę muszę.
Tak naprawdę nie wiemy jak to działa, to co wiemy to to jak uczymy te modele. Wiemy jakie dane wkładamy, wiemy w jakie mechanizmy, które chcemy nauczyć. Wiemy jakie spektakularne rezultaty uzyskujemy, ale tak naprawdę nie jesteśmy do końca pewni co tam się w środku dzieje. Mamy dużo hipotez, mamy dużo teorii, ale tak. . . Jak to jest możliwe, że my to stworzyliśmy, to nie jest to jakiś BlackMos, który. . . Magic. A wiesz co, pomyśl sobie tak jako ty, nie wiem, o średniowiecznym kołalu, który kuje miecz i czy tam cokolwiek innego, lemież do puga. I bierze kawałek żelaza, go wkłada do ognia, topi i z co innego wykuwa i ma, używa, działa.
Jest rewolucja przemysłowa i inne rezultacje. Ale nie wie na etapie makro czy mikro cząsteczkowym jak tam się to dzieje, jak się atomy ze sobą łączą, czemu jak podgrzeje to to się robi miękkie. Jakie tam reakcje zachodzą, to jest wszystko poziom zrozumienia, którego on nie ma. My też jeszcze nie do końca wiemy, tak sobie liziemy trochę po powierzchni, ale do końca to też w pewności nie mamy co tam konkretnie się dzieje w środku. To co wiem, to jak mówię, procedura uczenia, która jest prosta tak naprawdę, ideowo. Dajemy teksty, dajemy dużo tekstów, różnych tekstów i każemy temu modelowi uczyć się przewidywać każde kolejne słowo. Dajemy mu początek zdania i każemy mu dokończyć.
Te modele na bazie tego co mu damy w prompcie, jak wszyscy już wiemy teraz się robią trochę na momentulatury bardziej powszechne, więc promptujemy modele, dajemy mu kawałek tekstu, a on stara się jak najlepiej dokończyć ten tekst tak naprawdę, czyli odpowiedzieć nam na pytanie, opisać to co chcemy, żeby opisał i tak dalej. Bo z tego co wiem, to działa to w oparciu o rachunek prawdopodobieństwa i jak byli zliczone prawdopodobieństwo wystąpienia kolejnego znaku i jest pewnie podpowiadane, on stosuje najbardziej prawdopodobny kolejny znak, który powinien użyć w przypadku takiego ciągu znaków. Tak, dokładnie tak. Ale nie jesteśmy w stanie w jakiś sposób wziąć gotową odpowiedź, której on udzielił i przejść dokładnie krok po kroku odgadując dlaczego udzielił tej odpowiedzi.
Raczej nie wiem jak. Są badania na mniejszych modelach, że tam sposób, w który on generuje odpowiedzi, to tak jak mówisz, opierasz się na prawdopodobieństwie i to na to można wpłynąć. Choćby w GPD mamy ten magiczny słowaczek z temperaturą ustawiając temperaturę w jedną stronę albo całkowicie zwiększamy jego chęć brania mniej prawdopodobnych znaków, tokenów, słów. Albo skierujemy go w ten kierunku, żeby tylko najbardziej prawdopodobny brał. Wtedy jakby sterujemy tym czy bardziej zaczyna zmyślać, czy bardziej, nie zmyślać, tylko że jest bardziej kreatywny, czy bardziej konkretny. To na poziomie takim do naszej użyteczności, ale naukowcy tworząc te modele też w różne sposoby zarządzają tym, jak on ma na prawdopodobieństwo patrzeć.
Jak to rozkładać, jakim właśnie rozkładem prawdopodobieństwo to modelować. Więc tutaj jest dużo, dużo różnych mechanizmów i różnych metod, które mogą nam pomagać, ale my teraz sobie dwójkę post-processingu raczej przez GPD nie sprawdzimy, czemu on tak odpowiedział. No ale to jest mega ciekawe, że mówisz nawet oni nie są w stanie wskazać komuś, dlaczego Chad GPD udzielił takie odpowiedzi, a nie innej. Nie są w stanie powiedzieć, no słuchaj, okej, dobra, on sobie wziął z tego artykułu to, z tego artykułu tamto, z tego artykułu fragment i zrobił syntezę, trochę sparafrazował, bo wie, że to słowo można zastąpić tamtym i jest ten efekt. Tego raczej nie.
No to co prawdopodobnie jesteśmy w stanie się w miarę łatwo dowiedzieć, jeśli mielibyśmy model tak cały u siebie, to moglibyśmy dać mu właśnie kawałek i zobaczyć jakie właśnie są prawdopodobieństwa kolejnych słów i zobaczyć czemu on wybrał to słowo, a nie to drugie. Ale skąd on to słowo wziął, to już jest trochę inny temat. No teraz dużo mówi się o tym, że takie modele jak Chad GPD, może już nawet nie modele, tylko ten front, powiedzmy, jeśli chodzi o użyteczność, do którego się logujemy i z którego korzystamy, powinien pokazywać też linki do tekstów, z których skorzystał przy tworzeniu konkretnej odpowiedzi. No to może być trudne bardzo, żeby coś takiego zrobić.
Nie do końca wiemy dokładnie, z których skorzystał. Wiemy, że pewnie z nich skorzystał, skoro tam jest informacja, której udziel w odpowiedzi, ale może ta informacja była w 10 tekstach i teraz skazać 3, z których on faktycznie skorzystał może być ciężko. To jest ekstremalnie trudne, szczególnie, znaczy można rozpatrzyć dwa przypadki trochę. Jedna rzecz to to, że po prostu zadajemy mu pytanie takie, tylko ogólne, tak nie wiem, dlaczego Słońce świeci, cokolwiek i on nam udzieli jakieś odpowiedzi, które pewnie będzie prawdopodobne. A i tutaj wskazać na czym on się opierał będzie bardzo trudno.
Druga jest rzecz taka, że my mu przedstawiamy pewien kontekst, dajemy mu w tym naszym promcie, mówimy mu, powiedz mi dlaczego Słońce świeci i tu masz 5 artykułów na ten temat, to tutaj nam jest w stanie powiedzieć na co on popatrzył. Więc w przypadku, jak mamy do Binga Zaszytego czy do innych wyszukiwarek, które teraz się pojawiają, gdzie realnie do tego prąta są dorzucone wyniki z wyszukiwarki, no to tu jesteśmy w stanie zażądać od niego odwołania. Skąd ty to, chłopie, wziąłeś? Super. Teraz pojawia się trochę krytyki związanej z Chad GPT. Od początku pojawia się krytyka, głosy są często skrajne.
Z jednej strony ludzie mówią rewolucja, kolosalny przełom w tym, jak wchodzimy w interakcje z komputerami itd. Ale z drugiej strony ludzie mówią, nie na to wygaduje pstury, wymyśla, kompletnie fabrykuje rzeczy. Jak się czasami wpisze, wiem kto jest szefem Brand24, wpisuje jakąś nieistniejącą osobę, dziwne imię i nazwisko. I z czego to wynika? Z czego wynikają takie błędy? Z czego jakby wynikają te fabrykacje? Czy powinniśmy przywiązywać do nich tak dużą wagę? Czy to zawsze tak będzie działać? Czy są to pewne niedoskonałości, które z czasem będą wypolerowane? Niestety tak, że ten model, cała rodzina modeli, uczy się języka i ona się uczy pięknie, płynnie mówić.
W szczególności Chad GPT na GPT-4, dzięki mechanizmowi RHLF, są dotrenowane odpowiedzi w taki sposób, że się podobało człowiekowi. Więc to jest jej główne zadanie. Wszystko co zwiąże się z tym, że one mają jakąś wiedzę, wynika z tego, że one są po prostu duże. Jak model jest duży, to model zapamiętuje gdzieś, jakoś swojej waga, koduje fakty. Właśnie to jest to, że nie do końca wiemy jak on to robi, ale on po prostu zapamiętuje. To jest element, który dzisiaj się rozwalił. Nie wiedziałem tego.
Wiedziałem, że to nie jest z 30 IF-ów, ale wydawało mi się, że po prostu ściągając maskę, jesteśmy w stanie powiedzieć, co jest pod tą maską, dokładnie co w tym silniku siedzi. Możemy sobie nawet nie zdawać sprawę, dlaczego to paliwo wybucha w tym silniku, ale jednak wiemy, że trzeba nalać paliwa, ono wybucha, tworzy reakcję, która napędza mechanizm. My znamy mechanizm działania, bo mamy tam miliony miliardy parametrów.
Parametry są tak naprawdę liczby, to są wagi połączeń między kolejnymi neuronami w sieci, bo te modeli są niczym innym niż wielką siecią neuronową z paroma bardzo sprytnymi mechanizmami i zawsze tymi pod spodem, a sieć neuronowa się cekuje w tym, że mamy neurony i mamy połączenia między nimi. W tych połączeniach, w wagach, parametrach, jak teraz się to przyjęło nazywać, są właśnie zaszyte prawdopodobieństwa. Cała sieć to jest nic innego, jak jedna wielka funkcja prawdopodobieństwa, prawdopodobieństwa wszystkiego. Czyli my dajemy kawałek tekstu, no i on nam generuje prawdopodobieństwo kolejnego tokenu, kolejnego słowa.
Jeśli sieć jest duża, ona nauczy się, zapamięta więcej, czyli będzie wiedziała, że prawdopodobieństwo, kto jest szefem Brand24, no najbardziej prawdopodobny będzie Michał Sadowski. Mniejsza sieć bardziej się skupi na tym, kto jest szefem i że tam powinno być nazwisko. I po prostu zmyślę, napiszę jakieś nazwisko, które jest dla niej najbardziej prawdopodobne. Jeśli najczęściej znajduję, w takim kontekście szefem firmy i jest Cukierbeck, to wpiszę, że Brenda też jest Cukierbeck, bo to jest prawdopodobne. Zastanawiam się, bo wspomniałeś o tej sieci neuronów jako mechanizmy połączeń. Te parametry, o których słyszymy, że tam GPT-3 miał 175 chyba miliardów albo to GPT-4, w każdym razie te różnice między kolejnymi mechanizmami są bardzo logarytmiczne.
To jest odpowiednik połączeń między neuronami w ludzkim umyśleniu? Tak, taka była idea. Pierwsze podejście to miało modelować, stąd też ta nomenklatura. Ale te neurony w sieciach są trochę inaczej rozumiane, są trochę prostsze. W mózgu człowieka reakcje mechaniczne, które zachodzą, są wiele bardziej skomplikowane i też mniej zrozumiałe niż to, co się dzieje w sieciach. Nie da się tak poniwać, że ludzki umysł ma 100 miliardów komórek nerwowych i 100 milionów połączeń. GPT-3 ma 175 miliardów połączeń. To znaczy, że jeszcze nie są na naszym poziomie. Nie porównałem tego 1 do 1, bo to trochę, jakby mózg człowieka uczy się wszystkiego na podstawie obserwacji.
Sieć też się uczy na podstawie obserwacji, ale tego, co jej tam damy. Przed siecią dajemy konkretne zadanie, czy nie tylko generacje kolejnych tokenów. Człowiek jest wrzucony w świat i dziecko przez pierwszy rok swojego życia, czy dwa lata swojego życia nie robi nic innego niż się uczy. Tak naprawdę patrzy, obserwuje, słucha, stara się jakoś wchodzić w interakcje, patrzeć co się dzieje. To jest coraz bardziej zaawansowane, ale gdzieś w tym procesie się też modeluje odpowiednie prawdopodobieństwo, czy też zapamiętują pewne fakty w mózgu, ale nie jestem tutaj niestety neurobiologiem, a szkoda, bo to jest bardzo pasjonujące tak naprawdę, jak to się dzieje.
Wydaje mi się tutaj bardzo, bardzo dużo, zależy od tego czy pytamy go właśnie o coś ogólnego, czy dajemy mu jakiś kontekst. No choćby z naszych badań wynika, że jak wrzucimy odpowiednie dokumenty, czy odpowiednie kontekst do prąbna, to on bardzo się na tym skupia i możemy wtedy temu ufać, bo jakby dajemy mu pewne fakty i każemy na bazie tych faktów wygenerować teksty. I to jest zastosowanie, które działa bardzo dobrze. Ludzie często teraz mówią o zastosowaniu, zresztą sami fonderzy OpenAI mówią o tym, że to będzie rewolucja w edukacji, że każde dziecko na świecie będzie miało personalnego nauczyciela, do którego będzie dostęp.
Też w krajach, w których jest dużo ciężej niż tutaj w Europie czy na zachodzie. I stąd też pojawiają się pytania o to, na ile ten nauczyciel będzie miał kompletną wiedzę z różnych dziedzin. Oczywiście, tak jak mówisz, wszystko zależy od dobrego prąktu i od przekazania tego kontekstu, ale nadal chyba pojawiają się pewne takie podstawowe błędy, że nie wie, czy Mieszko pierwszy był ojcem Mieszka drugiego, czy raczej synem, czy bratem, czy jeszcze może jakimś innym. No tak, pytanie takie bez kontekstu rozbija się o pewne rzeczy. Wrzućmy do tego, jak to było uczone. To dostało masę danych i stara się nauczyć prawdopodobieństwa tego, jak te dane ze sobą połączyć.
Więc jeśli dostał mało danych o Mieszku pierwszym, no a pewnie nie było i za wiele, no to będzie tutaj się mylił. Jeśli spytamy o coś, czego miał dużo, co było mocno reprezentowane w Danach Uczących, to nie będzie się mylił, a przynajmniej aż tak. I tu jest problem, bo OpenAI jest bardzo skąpę, jak chodzi o dzielenie się tym, jak to uczyli i na czym to uczyli. Chociażby mamy teraz, nie aferę, ale no, lekkie zamieszanie w świecie szczególnie naukowym, no bo OpenAI wypuszcza technical report, w którym jest tak marketing report i nie ma za wiele informacji w ogóle o procesie uczenia o danych. No dosyć skąpi są, jak chodzi o dzielenie się tym.
Chwalam, znaczy chwalam, zasłaniają się tajemnicem przedsiębiorstwa, co tu jest zrozumiałe, ale no. Jasne. To jest w ogóle ciekawa firma, bo zaczynali jako non-profit, a gdzieś tam z czasem jednak poszli tą brutalistyczną drogą, pewnie też ze względu na finansowanie, bo bez tego zdobyć finansowanie, liczone w miliardach jest bardzo ciężko chyba. Nawet sami chwalili się, że jako pierwszy non-profit w historii zebrali 100 milionów, ale to już był totalnie jakby kap tego, co można osiągnąć, więc no ale rzeczywiście nazwa firmy by zobowiązywała trochę tutaj, żeby się tym dzielić. Podejrzewam, że to też może być związane z jakimiś aspektami prawnymi.
W tej chwili dużo się mówi o tych, na przykład stable diffusion zostało pozwalane na grupę klasę przez Get Images, po prostu w obrazkach, które generowała AI, można było dostrzec znaki wodne jakiegoś Shutterstocka, czyli Platform. Więc tutaj też pewnie jest podobnie. Zastanawiam się na ile groźne jest uczenie AI na bazie danych z Internetu, który jest też w swoim jakby specyficznym medium, w którym raczej zostawiamy negatywne, na przykład opinii o produktach, jeśli ktoś jest zadowolony z pralki, to raczej nic nie pisze, musiał być spektakularnie zadowolony, żeby napisać jakąś pozytywną opinię. Natomiast jak jest niezadowolony, to pisze bardzo mocno.
I zastanawiam się czy to już takie trochę filozoficzne pytanie, czy nie kształcimy AI jako bytu, który będzie miał jakby takie negatywne skrzywienie. Już nie wspominając o tym, że w Internecie jest dużo bzdur, czyli płaska ziemia, gład i tak dalej, czy docierając do wystarczająco, czy ucząc go na danych, w których będzie wystarczająco dużo zmianek na temat płaskiej ziemi, on będzie zaczął informować, że słuchajcie, ale jest jeszcze taka alternatywna teoria, że jednak nie jest z ziemią krowetką. Dokładnie tak zrobi, bo takie miał dane. Więc właśnie stąd ta otwartość na temat tego, na czym był uczony, jest kluczowa. No bo tutaj mówisz, bez tego to mamy solidny bajas.
Aczkolwiek naukowo od roku dwóch, trzech, może dłużej, ale teraz to zyskało bardzo dużo uwagi, właśnie the biasing modeli, czyli jak usunąć ten skrzywienie naszych danych uczących, które przychodzi na model. W szczególności to dotyczy się negatywności, jakichś treści rasistowskich czy polityki, właśnie takich skrajnych czy krzywdzących opinii, ale kwestia trzymania się faktów też jest tutaj jak najbardziej ważna. No to co się dzieje przy GPT-4 i chat GPT, to jest ta dodatkowa warstwa uczenia opierająca się na ludzkim sprawdzeniu i douczaniu do tego, żeby ludzie oceniają, co im się bardziej podoba i na ile to jest zgodne z rzeczywistością.
No więc powydać się być kierunek, w którym będą musiały pójść wszystkie te modele, no bo wcześniejsze modele miały to, co było w danych i umiały tak generować teksty, jak było w danych. To, co jest wielką przewagą chat GPT i GPT-4, to jest to, że generuje to tak, że to się podoba ludziom, bo realnie był do tego douczony. No i ludzie też mieli trochę wpływ na to, żeby nie ściemniał tak całkowicie. Jasne. No bo jest ten proces potem weryfikacji tego, żeby tam łapkę w górę lub w dół. Dokładnie, to też wpływa. Nie ma instytutów tesnerów, którzy to włapują. Dokładnie. Ciekawe.
Powiedz, czy są jakieś sposoby, tu założona chwilę czapkę Marketera i czy są jakieś sposoby na to, żeby wpływać na wyniki, jakie chat GPT pokazuje? Prawdopodobnie widziałeś w naszym slacku firmowym, że pojawiają się coraz częściej informacje o tym, że klient trafił do nas po poleceniu przez chat GPT. Ja mam z tym problem trochę, bo jest to coś kompletnie poza naszą kontrolą. O ile w Google, czy jakieś pozycjonowanie w Google itd. jest związane z jakimiś dobrymi praktykami. To znaczy nie ma publicznego algorytmu, otwartego algorytmu Google oczywiście, ale wiemy, że stosując takie dobre praktyki jest bardzo duża szansa, że przebijesz się do top 10. A tutaj na razie nie ma kompletnie. . .
To też rozumiem, to nie jest krytyka OpenAI akurat, bo myślę, że to urosło w tempie, w którym oni się nie spodziewali. Tam od zarady 100 milionów użytkowników szybciej niż jakikolwiek projekt do tej pory urosło, wleć licząc to Facebooki, Tik Toki itd. Ale zastanawiam się czy są jakieś sposoby, czy nawet jak nie wiemy tego, to jak sobie wyobrażasz, będzie wyglądało wpływanie na to, bo jakieś wpływanie będzie musiało być. Bo pewnie przyjdzie Shell i powie, słuchajcie, kurczę, ten skandal, który mamy w Afryce związek z tym, to pewnie akurat firma na to nie zareaguje. Musi być jakiś sposób na wpływanie tego, co on zwraca z czasem. Tak czysto technicznie trzeba przeuczyć model.
Nie wiemy jak to oni robią. Jak często będzie można przeuczać model? Czy będzie można to robić przez ten fine tuning? Nie, robiąc fine tuning, tworzysz swoją wersję modelu, która jest dostosowana do twoich danych, ale tylko tydzień możesz korzystać. Więc chcąc, dla marketerów, kluczowe byłoby zmiana głównego modelu, do którego wszyscy w Playground'zie sobie stukają. OpenAI mówi, że przeucza ten model, generuje też kolejne iteracje, poprawia te swoje wyniki. Nie wiemy jak. Więc ciężko powiedzieć jak na to. Odpowiednie dane musiałyby trafić do zbioru uczącego. Czyli jak otworzymy trochę tę wiedzę, związaną z tym na jakich danych uczą kolejne wersje modelu, to to stworzy pewnie jakieś ścieżki do tego, żeby się do kolejnych iteracji wbić.
Bardzo możliwe. Jeśli powiedzą, że wbiorą łapki w górę, w dół, które tam się zostawia, to wyobrażam sobie, że marketer może zrobić. Jaka jest najlepsza firma monitoringu internetu? No jak odpowie coś innego niż Brand24, to daj mu łapkę w dół. Może jakoś to wpłynie na kolejne iteracje, ale tutaj nie wiadomo. Ciekawe, czy udałoby się w tej chwili zhakować wierąc 300 sparystów, płacąc im za to, żeby wpisywali i de-like'owali te, które są innym niż Brand24? Może to jakoś wpłynie, ciężko powiedzieć. Przewaga rynkowa. Ciekawe, bo to jakby widać inny potencjał, bo w tej chwili Google ma 93% rynku Search. Wydaje mi się, że to będzie chwilowa moda.
Może się okaże, że to po prostu chwilowa moda. Taki viral, jak był Clubhouse, popularny na Twitterze i zdech bardzo szybko. Ale jeśli to się nie okaże chwilowa moda, to ja podejrzewam, że Google faktycznie może czuć ten oddech i może nawet już kilkanaście procent zapytań czy wyszukań jest w jakimś sensie przechodzących przez GPT. Niekoniecznie przez czata GPT, ale może przez binga, albo jeszcze coś innego. To tak, bardzo możliwe, że tak. Ale to też otwiera drugą drogę dla marketerów, bo dalej Bing czy Google, wwinając barda, wczoraj zaczęli go testować, będzie stukało do wyszukiwarki i brało pewnie top 10 wyników, żeby na ich podstawie wygenerować odpowiedź, bo chcą mieć aktualne dane.
Więc wbicie się wtedy do top 10 będzie tutaj kluczowe, a to już w miarę wiemy jak robić, mamy SEO i całą resztę zabaw. Pytanie czy wezmą top 10 na dane za pytanie z Google'a czy jakoś inaczej, ale to jest też jakaś ścieżka. Ciekawe. Mam takie nietypowe pytanie. Być może w tym kompletie nic nie ma, ale zacząłem się zastanawiać czy przypadkiem jest jakiś powód, dla którego Polacy są albo wydają się tak pozornie być bardzo nadreprezentowaną grupą ludzi w światowym AI.
Nie wiem, może to jest takie skrzywienie albo może wychodzą jakieś polskie kompleksje i to jest po prostu powinno być dla nas normalne, że Polak może być co-funderem takiej dużej firmy, bo tutaj jakby Wojciech Zaremba, który jest CTO OpenAI'a, tam jest też Jakub Pachocki, który jest Prisipal of Research. No jakby ty z zespołem tutaj na naszym poletku tworzycie. Trochę inny rząd wielkości. Na pewno inny rząd wielkości, ale jakby też rozwijasz produkty, z których korzystają tysiące marek na całym świecie, także z ponad seczki krajów.
Z czego to wynika? Czy to jest kompletny przypadek, czy trudno powiedzieć, czy może nie wiem, dobre polskie uczelnie, mamy dobrych matematyków, jakieś tradycje matematyczne? Czy chcesz sobie myślę kilka rzeczy na raz? Pierwsza to trochę mamy skrzywienie, nie wiem, ja miałem gdzieś dojrzeć do dojrza i teraz idąc na ulicy wszędzie widzę same dojrza, chociaż nie jeździch więcej niż TOJ czy czegoś innego, ale mój sentyment do tej barki powoduje, że jak tylko jakaś jedzie to ją widzę, a na inne nie zwracają uwagi. Więc to na pewno ma wpływ, nie myślisz ile zatrudnia osób, open ALE, ale jest ich dużo. I wymieniłeś dwie, pozostałe nacje też tam są reprezentowane.
To jest jedna rzecz, ale fakt jest faktem, że Polska ma długie tradycje matematyczne, przedwojenne, biorąc choćby słynnych matematyków rwowskich z bawachem na czele i całą resztą. Był swoją drogą mega ciekawą postacią, potrafił się postawić i Niemcom, i Ruskom, i nikt go nie tykał. Jest bardzo fajny odcinek, historia bez cenzury na temat banacha i matematycznej szkoły. Był naprawdę dobrą osobą w historii, ale też dużo zmienił i cała ta grupa, dużo polskich naukowców, szczególnie w naukach ścisłych, dało dużo podstaw matematycznych, logicznych do tego co się dzieje teraz. Nie można jeden do jeden tego wskazać, ale wiadomo w nauce jest tak, że to przyrostowo wszystko rośnie.
Mamy bardzo dobre uczelnie w tej chwili, nadal mamy bardzo solidne grupy machine learningowe. Choćby nasza na Politechnice katedra Szczucznej Inteligencji też jest naprawdę solidna i robi na światowym poziomie naukę. Nie wspomnę o Gmumie w Krakowie, który naprawdę robią bardziej podstawową naukę matematyczną w kontekście machine learningu, ale też na zaawansowanym poziomie. Czy chociażby Uniwersytet Warszawski, tam wszystkie, tam jest kilka grup, które też naprawdę robią to na poziomie światowym. To co jest naszym problemem, to to, że my to robimy na uczelniach, robimy naprawdę super rzeczy naukowe, odkrywcze, bardzo mało tego przecieka do biznesu.
Bardzo mało współpracujemy z biznesem, dlatego też Wojciech Zaremba jest w OpenAI, a nie w jakiejś otwarta Szczuczna Inteligencja u nas. No nie, choćby na nas patrząc, no Brand jest jedną z niewielu firm, która ma zespół badawczo-rozwojowy, który realnie robi też naukę, a nie tylko rozwija produkty. No mamy kilka tu naukowych dokonanicznych, że chodzi o to, patrząc na nasze badania z sentymentem i tym jakich modeli używać, a jakich nie i kiedy. No też to jest pewna kontrybucja firmy do ogólnego wkładu naukowego. To nie jest takie częste, tylko duże marki, ale Allegro chociażby robią dużo, jak chodzi o rozwój nauki NLP, ale to raczej są wyjątki niż normy.
No tutaj ogromny props, bo to przetwarzanie sentymentu, które zbudowali wewnątrz tej firmy, ja pamiętam jak pierwszą wersję w 2012-2013 roku robiliśmy jeszcze z Karolem Nukiewiczem, to były nie wiem, czy jest nawet fachowe określenie na to, jak my to robiliśmy, ale to było jakieś takie słownikowe, bardzo ładne. Ale słowniki też porzeliście ręcznie, ja pamiętam, najbardziej pozytywne słowo. Nigdy więcej nie spotkałem nie wiem czy twoja córka będzie usłuchać. Możnaś miał. Najbardziej pozytywne słowo w Brędzie swojego czasu był rozchujniacz, ale to jest jedyne użycie tego słowa, jakie ja widziałem, ja musiałem go google'ować, ja nie znałem tego słowa nigdzie, nie wiem skąd to wzięliście.
Wydaje mi się, że w razie Karol i jego młodzieżowy żarkon Karol zawsze był na bieżąco z wszystkimi młodzieżowymi tematami. Ja pamiętam, że tam było wyzwanie, bo byliśmy poirytowani, bo słowo przechuj było dużym wyzwaniem do zaklasyfikowania po jakiejś negatywnej, pozytywnej stronie. Ludzie czasami pisali, że ten film to jest przechuj jako pozytyw, a niektórzy mówili, że przechuj to jest negatywny, w oczywiście sposób. Nie zawsze się dało to zaklasyfikować metanami słownikowymi. Wyglądało to tak, że mieliśmy słowniki negatywnych zlotów, pozytywnych zlotów i szukaliśmy ich występowania w tym. W tym nadawaliśmy im niej różne wagi, więc to było powiedzmy dalekie od. . . Na tamty czas to działało i tak się to robiło tak naprawdę.
Tak, z tym zaczęliśmy, więc to była taka beta, ale potem przyszedł Krzysiek i wdrożyliśmy sieci neuronowe chyba na początku. Nie, ale nadal cieszę, że byliśmy w stanie tak szacowną technologię wyprzedzić nawet w pojedynczym zastosowaniu. To jest fajne. A powiedz jak w twoim zdaniem będzie jakby wyglądała adopcja sztucznej inteligencji, bo w tej chwili wszyscy się jarają tekstem, obrazem, trochę tematami związanymi z audio. Wtedy pojawiają się już pierwsze narzędzia, które potrafią po tekście generować jakieś wskromne filmiki. Dopiero co dwa dni temu bawiłem się takim, gdzie to jest jeszcze w powijakach. To nie da się jeszcze wykorzystywać tych filmików faktycznie komercyjnie czy jakoś w biznesie.
Jest to bardziej taka ciekawostka, bo można sobie na imprezie podczas wizyty w rodzinnym domu można się tym pobawić i pośpiać. Ale jest też bardzo dużo tych modeli sztucznej inteligencji związanych z wyciąganiem wniosków na bazie dużych zbiorów danych, podejmowaniem decyzji biznesowych opartych na właśnie rekomendacjach, które mogą podpowiadać te modele. My to wykorzystujemy na przykład w przebitywaniu, czy ostatnio zrobiliśmy tę analizę, jakiego typu zmianki najbardziej mogą się spodobać poszukiwanymi klientowi na bazie tego, w co klikają i tak dalej. To też jest trochę jak algorytmy Netflixa czy YouTube, które podpowiadają nam kolejny filmik. Jak to dalej będzie się zmieniało, twoim zdaniem? W które sfery życia będzie to wchodziło? Czy we wszystkie? Ciężko powiedzieć tak naprawdę.
To są takie zmiany, które są dosyć szerokie i nieprzewidywalne. Bo ile jesteś w stanie zrozumieć jakiś stopniowy rozwój, pojawiają się kolejnych rzeczy, to potem zdarza się coś, co tak naprawdę nie jest przełomowym odkryciem naukowym, ale trafia do szerszego grona i zaczyna się masa pomysłów, jak można tego użyć, jak można to zmienić, co napędza rozwój jeszcze dalej, jeszcze dalej. Wydaje mi się, że każda sfera życia, prędzej czy później, będzie tu przez AI zaatakowana, czy będzie używana, dotknięta, tak? Może bardziej tak? Nie dlatego, że AI jest głodne naszych danych czy chce nam zmienić świat. A jeśli tak, to niech pamięta, że Krzysiek i Michał są bardzo pro AI. Gwenty dajemy nasze do, wszystkich.
Bardziej myślę o tym, że to jest po prostu użyteczne. Od zarania dziejów, od początków pomysłu na szczęsze inteligencje, to były systemy decyzyjne, systemy eksperckie, to były pierwsze systemy, które można nazwać jakimś AI, które były tak jak mówisz, czysto maifami tak naprawdę, ale już i tak wtedy pozwalały coś pomóc, tak? Ale taki prosty system, że pierwsze systemy były hadla lekarzy, że wpisuje objawy i to mi daje 5 chorób, które to mogą być, przy czym pewnie najczęściej była to grypa, bo to pasuje do wszystkiego.
Ale tego typu rozwiązania po prostu oszczędzają czas i mamy w tej chwili genialną okazję, żeby oszczędzić czas na wielu polach, żeby zautomatyzować wiele rzeczy, zamiast ślęczeć i czytać 30 artyków, to możemy je sobie streślić, albo po prostu sięgnąć po informację, którą chcemy, albo za ręcznie kleić filmik możemy to przerzucić na AI, czy za nas odpisać na maile, możemy poprosić na jakieś wtyczkę do Froma, która nam zamiast nas to zrobi. To jest po prostu automatyzacja i to jest przydatne i wygodne, więc to będzie się rozwijało. Jeśli by to wiązało się z jakimś kosztem dla ludzi mentalnym i było ciężkie, to raczej by nikt w to nie szedł specjalnie. Super.
Mi się zawsze przypomina w takim momencie ta lista, którą przygotowałeś, chyba 70 różnych pól, w których można wdrożyć AI wewnątrz Brand24. 94. Czy 94, przepraszam. Bo już się tejście. Ale to jest właśnie ciekawe, że my w tej chwili postrzegamy to jako wsparcie produktu, tworzenie kontentu i rzeczywiście w tych obszarach jest to super mocne wsparcie, ale z drugiej strony bardzo dużo można zyskać poprzez jakieś modele predykcji czerno, modele predykcji sprzedaży. Może się okazać tak, że klienci, którzy będą najbardziej podatni na nasz produkt, są gdzie indziej niż nam się wydaje. I my skupiamy się na grupie X, a tak naprawdę grupa Y ma największy potencjał do tego, żeby tu uderzać.
Zastanawiam się w ogóle swoją drogą, na ile A-B testy są czasami takim najprostszą formą takiego mikron-neuroniku, który decyduje czy coś jest lepsze czy gorsze. Często w ramach tych A-B testów nam wychodzą, okazuje się, że nasze asumpcje były kompletnie nietrafione. Jak najbardziej. To co mówisz, to jest gdzieś w obszarze sztucznej inteligencji, danych, może czasem nawet mniej machine learningu i github. pl w szczególności, bo nie potrzeba takich rozwiązań, żeby zrobić pewne rzeczy. Czasem te przysłowie 4-Fila-Krzysz pozwolą nam zrobić o wiele, wiele bardziej użyteczne rzeczy i wyciągnąć wystarczająco dobrą wiedzę, tak naprawdę, niż takie wielkie kobyły. No nie wiem, choćby proste grupowanie odpowiednich danych pozwala już zauważyć pewne jakieś charakterystyczne grupy, korelacje czy trendy w danych, które mamy.
To jest kwestia, żebyśmy mieli dane, tym dany mogli ufać i mieli kogoś, kto będzie potrafił w miarę te dane przeczytać. Stąd nawet nie potrzeba koniecznie, nie wiadomo jak, turbo kozaków machine learningowych, żeby nam uczyli GPT od zera. Czasem wystarczy po prostu dobrze chwilę się zastanowić nad tymi danymi, żeby już mieć jakieś wnioski. No jasne. Jeszcze na chwilkę założę tę czapkę Marlera.
Czy są jakieś sposoby rozpoznawania treści, które były wyprodukowane wyłącznie przy pomocy czad GPT? Pomijam już takie oczywiste wygadywanie bzdur, gdzie Pomeril, nie wiem, czy Agur zmyślił totalnie szefa danej firmy, czy Pomeril mieszka pierwszego z drugim, ale zakładając, że wszystkie fakty wewnątrz konkretnego tekstu się zgadzają, czy jesteśmy w stanie jakoś przewidywać albo, wiadomo, że pewnie nie ze stu procentową pewnością, ale jednak z wysokim prawdopodobieństwem zgadywać, które teksty były wygrywane przez GPT-4 na przykład. Jest to dosyć ciężkie, bo mówimy o tekście.
W przypadku obrazów mamy po prostu link binarny, w którym mamy dużo informacji zakodowanej, której człowiek nie widzi, człowiek nie widzi, no bo człowiek widzi tą warstwę wyświetlaną tak naprawdę, ale tam jest pełno metadanych pod spodem, czy w samych pikselach można zaszyć znak wodny tak naprawdę, niewidoczny, tak dla gołym okiem, ale który można wykryć. No to z tekstem jest gorzej, no bo tekst jest tekstem, to są po prostu litery i one też w takiej formie są rozprzestrzeniane. Jak skopiujemy to i wkleimy dzień w dzień, no to po prostu będą litery i ciężko jest zaszyć, niewidoczne znaki czy coś.
Wszystkie te rozwiązania, które starają się wykryć, znaczy można by nauczyć model na tych danych, na których był powiedzmy uczony GPT, no żeby patrzeć jak bardzo podobne to jest do tych, to co wygeneruje, jest bardzo podobne do tych danych, na których wiemy, że on je wygenerował. To da nam jakąś podstawę do oceny, ale jeśli ktoś napisze po prostu podobny tekst, to będzie to podobny tekst. To nie daje na gwarancji, że to GPT zrobiło. Tak też wynika z rozwiązań, które są robione, że to tak działa średnio. Znaczy wiem, że pewnie jeśli OpenAIA chciałoby zaszyć w tekście jakąś informację, że to jest GPT, to pewnie mogliby, bo są te możliwości, że, nie wiem, czy druga litera pierwszego słowa, potem druga.
No tak, tak, tak, tak, zakładować coś w ten sposób. Ale bardziej mi chodzi o to właśnie, czy np. Google będzie w stanie depozycjonować teksty, które były tworzone wyłącznie przy pomocy GPT, bo jakby nie wierzę w to, że wspierany GPT-3 będą w stanie, na które wszedł człowiek i potem by polerował, coś tam dodał, coś pozmieniał, wprowadził jakiś taki bardziej ludzki sznyt może, jakby nie wierzę, że to jest do rozpoznania. Natomiast czy takie teksty, wiesz, jak gdyby ktoś chciał stworzyć zaplecze pozycjonerskie i tysiąc antykułów, to. . . Znaczy, nie to, żebyśmy chcieli coś takiego zrobić, bo to nie jest. . . Myślę, że to można rozpoznać po prosty sposób, widząc, że pewnego dnia pojawiło się tysiąc artykułów opartych na GPT-3.
I też jak po prostu te artykuły do siebie, to będą w miarę podobne, mimo wszystko. Wszystko jest pójne. Zostałem się po prostu, na ile. . . bo na przykład trochę z muzyką jest to tak, że jednak muzyka, która. . . która jest wyprodukowana w programie typu DAW, jakby. . . i często przez osobę powiedzmy początkującą taką jak ja, no to wszystko jest takie bardzo równiutkie, nie? Jakby wymuskane. A jednak w nagraniach, które są robione gdzieś tam w studio z użyciem ludzi, są te niedoskonałości, które sprawiają, że jednak to nam się bardziej podoba, lepiej brzmi dla ucha i tak dalej. I zastanawiam się, czy. . .
bo w muzyce też już są plug-iny, które potrafią nałożyć te niedoskonałości na muzykę i sprawić, żeby brzmiała studyjna. I domyślam się, że ponieważ GPT-3 był rozwijany na danych, które tworzyli ludzie, w celu tekstach, które tworzyli ludzie, on też już ma w sobie te niedoskonałości czasami, które utrudniałyby jego rozpoznanie. Czy raczej nie? I właśnie po tym może takim wymuskaniu można poznać, że jest to tekst, który. . . Ciężko powiedzieć tak naprawdę, no bo on był douczany tych odpowiedzów, które się najbardziej podobały, no i to były najbardziej poprawne, więc on odpowiada poprawnym językiem, grałatycznym, stylistycznym. Można oczywiście spróbować, zbadać, czy język jest bardziej poprawny, czy mniej poprawny.
Ale nie skreślałbym na tej podstawie, że jak coś jest bardzo poprawne, to to jest z GPT, no bo jeśli ktoś pisze poprawnie po polsku, no to to on to pisze, a nie GPT. No tak, jest dużo takich poszlak, które mogą na to wskazywać, ale nie ma chyba żadnej definitywnej, no poza takim zakodowaniem, że wszystkie litery co czwarta czy z jakimś innym ciągu będzie tworzyła coś konkretnego, no ale to już trzeba by zakodować GPT, żeby tak robił. W tej chwili tego tam raczej nie ma, no przyjaciół mi tym nie wiadomo. Więc, więc, więc w tej chwili jest to dosyć ciężkie. Jasne.
Rozmawialiśmy trochę o przyszłości, tego jak będzie wyglądało AI, jak będą wyglądały przy zastosowaniu, w cóż, tej inteligencji w różnych segmentach. Zastanawiam się też, jak będzie wyglądał, twoim zdaniem, ten rynek, bo rozmawialiśmy troszeczkę o tym, że jest trochę powiedzmy sprzeciw, związany z sukcesem niewątpliwym OpenAI i z tym, że jednak dużo rzeczy jest niepubliczne i jest wielko nie wiadomo, jak to działa. I powstają nowe technologie. Zdaje się, w zeszłym tygodniu Stanford wypuścił kolejną wersję ich własnego modelu Alpaca, który jest takim bardzo lekkim modelem, dużo pewnie uboższym niż GPT-4, ale z drugiej strony, dla wielu zastosowaniach, pewnie dającym porównywalne efekty i to jest model, który można sobie zainstalować na laptopie.
Więc nie trudno sobie wyobrazić, że firmy niekoniecznie będą płacić OpenAI za dostęp do API i wszystko będzie leciało przez OpenAI, które zdominuje krajobraz związany ze sztuczną inteligencją, ale że będzie wiele modeli, które będą bardzo bardzo dostępne z nową. To na pewno pójdzie w tę stronę, bo tak też jakby krajobraz sztucznej inteligencji jest i tak dosyć fajny pod tym względem, że dużo rzeczy już jest open source'owych, albo jest udostępnionych, nawet duże firmy, Facebooki, Google i tego typu firmy, które jako jedne z niewielu mają zasoby, żeby tworzyć od zera takie modele, bo to jednak umówmy się wymaga olbrzymiej farmy GPU i nie każdy jest w stanie sobie to postawić, żeby taki model wyuczyć. On te modele udostępniają.
Teraz tak i zazwyczaj jest opisała procedura uczenia, na jakiej było dane konkretnie, także wszystko jest jasne. Te zabawy z EPD są jednej z pierwszych, gdzie trochę się ukrywa te informacje. Zazwyczaj one są dostępne. Ale tak, konkurencji jest dużo już teraz i konkurencji będzie jeszcze więcej, bo to tak naprawdę nie jest magia. Przepraszam, jak chodzi o mechanizmy, o procedury, problemem mogą być dane, bo nie wszystkie firmy mogą sobie pozwolić, żeby te dane mieć, żeby te dane zebrać. Jeśli mówimy o takich danych internetowych, my dane mamy na przykład jako brand, ale nie tworzymy od zera takiej modele, bo nie mamy farmy GPU i też nie mamy aż takiego interesu w tej chwili, bo są inne modele dostępne.
Ale coś jeszcze chcę powiedzieć. Acha, jak chodzi o dane, to kluczowe tutaj są te dane, na których GPT było douczane, czyli te dane ludzkie tak naprawdę, które one przebiły, czy jakby zawładnęły, spowodowały, że GPT zawładnęło rynkiem. No bo wcześniej. . . I chyba pierwsza wersja opierała się na reviewsach z Amazona. Użur mnie w jednym z wywiadów ich CTO wspomniał o tym, że w pierwszej wersji zrobili algoritm analizy sentymentu oparty na reviewsach z Amazona. Tak, to jest taki standardowy zbiór tak naprawdę do sentymentu, tam jest ileś milionów tych reviewsów. To jest tekst powiązany z ratingiem. Z ratingiem, dokładnie. Przy czym ze wszystkich możliwych badań wynika, że takie rozumienie sentymentu jest bardzo, bardzo okrojone.
Ono się sprawdza do innych reviewsów, ale jeśli chcemy oceniać ogólny sentyment wypowiedzi, to pasowanie na gwiazdkach to nie jest droga. Ale tak, no jakby. . . Ja się zapędziłem. No właśnie wracając do tej komodityzacji tego dostępu, mówiliśmy o Alpaca od Stanford, a jest Lambda od Facebooka czy. . . ? Lama. I właśnie Alpaca jest okrojona wersją Lamy. OK. Stąd też czytam nazwę. Makes sense. I nawet w przypadku takich firm jak Meta, to jest dostępne open source'owo, nie? Myśmy mogli z tego skorzystać na pewnym etapie jako jakiś tam. . .
Lama jest do użytku naukowego, nie do użytku biznesowego, ale inne modele, które Facebook, czy wtedy jeszcze Facebook, teraz już Meta, ma bardzo duży wkład, jak chodzi o AI. Zrobili bardzo dużo modeli, bardzo dużo narzędzi i w ogóle technologii, które pozwalają na szereg różnych rzeczy. Nie tylko w NLP, w rozumieniu tekstu, ale w naprawdę dużej części AI Facebook ma duże dokonania. To czego im mam dać? A jak podchodzić do tego Google w twojej ocenie? To znaczy dużo krytyki ze Blaubart, prezentacja była nie live, kilka miesięcy temu. Zdaje się, wczoraj uruchomiło wersję bardziej dostępną. Wydawałoby się, że oni mają naprawdę idealną pozycję do tego, żeby zawładnąć tym światem.
Czy są to takie pytania, czy podchodzą do tego w sposób bardziej otwarty jak Facebook, czy Meta, czy bardziej zamknięty jako OpenAI? Dobre pytanie. To jest tak, że Google trochę jest pionierem w dziedzinie AI. Oni jako pierwsi stworzyli, że w Google, może tak, w Google, naukowcy pracujący w Google, przysług w współpracy z innymi uczelniami, bo najczęściej te prace są takie łączone, stworzyli chociażby model Transformera, na którym był oparty pierwszy Bert, czyli taki pierwszy językowy model, który potrafił sensownie rozumieć język. Od niego zaczęła się cała rewolucja w NLP. Dokonania Google'a są tutaj wielkie i tych modeli też oni wypuszczają na potęgę. To ciekawe, bo OpenAI trochę jedzie teraz na tej. . .
Tak, Google przespało moment tak naprawdę, czy nie wiem, z ręką do syku zostało złapane, bo oni tego typu modele na pewno mają, mieli. OpenAI zrobiło to, że dopracowało faktycznie tą ludzką formę odpowiedzi i wypuściło to z roku Interface, tak, i wypuścili to, żeby każdy mógł testować. No i to była ich zasługa. Ale to znowu zasługa bardziej produktowo-marketingowa niż naukowa. Nie wiem, po której stronie jestem w tej bitwie, czy bardziej produktowej, czy naukowej. Nie mam żadnego tytułu naukowego, więc. . . Zobacz, jaka historia jest. Muszę spieść, żeby to było kłóry. Kurde, muszę zmienić biorę LinkedIn. Ale to jest też właśnie ciekawe, że tutaj w pewnym sensie na swoich danych wychodowali sobie teraz głównego konkurenta w pewnym sensie.
No bo też OpenAI jest. . . tam duża maksymalna reszta jest Microsoft, więc Bing jest chyba jednym z największych w tej chwili beneficjantów tej rolnologii w takim komercyjnym wymiarze, bo. . . Bo wiadomo, że Microsoft o tym zarabia. To technologię teraz zmienia sposób korzystania z wyszukiwarek. Google'owi się nie opłacało zmieniać sposobu korzystania z wyszukiwarek, no bo. . . poszło dobre. Tak, dokładnie. Więc tak naprawdę ryzyko z Google'a byłoby ogromne, jakby z tym wyszli, no bo mogłoby to nie wypalić, dalej nie wiadomo jak to monetyzować. A Microsoft ma niewiele dopraw. Dokładnie, niewiele. Kilka prac, które działa. Nic z ostrocenia. Super, super. Mega wartościowa rozmowa. Powiedz, gdzie można Ciebie znaleźć w sieci, czy gdzieś można śledzić.
Jakieś LinkedIn. Na LinkedInie można mnie śledzić. Będę miał tam fotkas pewnie niedługo, tam gdzie mam jedno z pierwszych publikacji. Super. No i plus w updatach związanych z brandem, bo duża część tego co się dzieje jest maczarz w niej paluszki. Strona większość moich komunikacji idzie przez Brenda, a już przeze mnie osobiście. W pewnym sensie biurę, pasowę, płyśkę. Super. Dzięki bardzo za rozmowę. Dzięki Rekie za zaproszenie. I słyszymy się niebawem. .
S K R Y B O T
Skrybot. 2023, Video transcriptions from YouTube
By visiting or using our website, you agree that our website or the websites of our partners may use cookies to store information for the purpose of delivering better, faster, and more secure services, as well as for marketing purposes.