Erste Ausgabe im neuen Jahr – natürlich mit Sascha und Sascha. Und wie immer: Mit ganz spannenden und abwechslungsreichen Themen. Also hört einfach mal rein!
Hier alle Themen in der Übersicht:
– Saschas Island-Weihnachtsreise (ab 03:24 min)
– Ai: Stable Diffusion, ChatGPT, Ai-Zukunft? (ab 13:22 min)
– Raab, Trymacs und Eisfußball (ab 43:40 min)
– Gaming: Vorschau auf 2023 (ab 49:03 min)
– Serien/Filme: Severence, See 3, Luck, Bluey, Animes und Strange Worlds (ab 53:30 min)
– Keyboards, Fernseher und Smart TVs (ab 01:13 Std)
Anzeige
Der Hype um ChatGPT ist völlig überzogen. Es fühlt sich gut an, es verkauft quasi falsche Dinge, mit unglaublicher Überzeugung. Es hat Anwendungsfälle, aber die meisten verstehen nicht was Sprachmodelle sind und Sprachmodelle tun.
Um das zu demonstrieren, frag mal ChatGPT dir die lyrics eines liedes zu geben, z.B. stairway to heaven, feuer frei. Egal. Sprachmodelle geben anhand von Vorgängerzeichen, das nächst wahrscheinlichste Wort aus. Deshalb sind in Texten von Sprachmodellen (z.B. ChatGPT), ganz oft die Wörter „the/die/der/das“ und wiederholen sich sehr oft. Hinter den Kulissen, haben Sprachmodelle immernoch die gleichen Limitierungen wie vor 10 Jahren. Sie können kein Wissen generieren und sie können auch kein Wissen wiedergeben. Sie Reihen nur Worte aneinander, die wahrscheinlich zueinander passen. Was programmieren angeht: Es gibt gründe warum z.B. Stackoverflow, ChatGPT generierte Antworten verboten hat – weil diese zu schlecht sind.
Problem ist deutlich nuancierter. Einseits ist die „innovation“ von ChatGPT nichts wirklich Spannendes und das System hat viele Probleme. Als Wissenschaftler ist das aber unfassbar spannend, gerade weil gerade dutzende Probleme, die noch vor einem Jahr Unmengen an Arbeitskraft / Hirnschmalz erfordert haben, wegbrechen, in dem ich im Wesentlichen mit einem Sack Grafikkarten und Daten das Problem zu Tode prügel.
Nur um mal den Quantensprung zu verdeutlichen:
https://harrypotter.fandom.com/wiki/Harry_Potter_and_the_Portrait_of_what_Looked_Like_a_Large_Pile_of_Ash#:~:text=The%20Burrow-,Harry%20Potter%20and%20the%20Portrait%20of%20what%20Looked%20Like%20a,on%20their%20website%20in%202018.
Das war 2018 state-of-the-art, das ist heute ein schlechter Witz.
Aktuell versuchen wir vor allem mittels mehr Daten und mehr Rechenleistung emergentes Verhalten zu provozieren. In anderen Worten, die Methodik für das Training ChatGPT und Co. hat sich nicht fundamental zu dem verändert, was vorher da war.
Was sich verändert hat, ist die Datenmenge und die Rechenleistung.
Im Jahr 2012 galten zum Beispiel 1.000.00 Bilder als Trainingsdatensatz schon als üppig.
Heute trainiert man Vision Systeme mit 3.000.000.000 Bilder in fettere Modelle, aber spannenderweise scheint es zu reichen einfach mehr Rechenleistung und Daten in die Modelle zu pumpen, damit diese Systeme dieses natürliche Verhalten entwickeln.
chatGPT versucht tatsächlich immer nur das nächste Wort in einem Satz vorherzusagen, ist also technisch nicht anders als autocomplete, was wir ja alle kennen und hassen. Der Unterschied ist, dass chatGPT auf mehrere terabyte text trainiert wurde, und (ohne Übertreibung) dabei 10.000 Grafikkarten für ein paar Wochen komplett auslastet und das und ein paar kleinere Tricks beim training reicht wohl um so etwas zu produzieren.
Ich würde das daher nicht schlechtreden, das IST eine Revolution im Bereich KI auf sehr, sehr vielen Ebenen. Alleine, dass Nichtwissenschaftler damit interagieren können und den Mehrwert so eindrucksvoll sehen ist Irrsinn.
Als ich meine Doktorarbeit geschrieben habe, musste ich erst einmal 20 Minuten ausholen, ehe ich den Leuten erklären konnte, was ich da genau tue.
Heute reicht ein Link auf eines diese Systeme und er Drops ist gelutscht.
Naja, im Prinzip ist es doch, worauf auch unser wissen und können basiert. Was wegfällt ist halt eine Begabung – aber unterm Strich ist es üben, üben und üben. Wenn ich mehr Daten verarbeiten kann, dann hab ich mehr geübt und sollte damit besser sein.
Im Umkehrschluss würde das aber bedeuten, in der Analyse und Anwendung gab es eben keine Verbesserung, sondern ich schaffe es nur, der Maschine mehr beizubringen.
Das ist halt wenig spannend und eigentlich traurig – weil das halt weniger Forschung und Evolution bedeutet.
Nein, ist es nicht, biologische Analogien bei KI sind immer gerne genommen und sind irgendwo auch naheliegend aber gefährlich irreführend.
Das lernverfahren einer KI ist am nächsten mit der Kurvendiskussion aus dem Gymnasium verwandt, menschliches lernen ist extrem viel Daten und Recheneffizienter, hat andere Biases als ein Neuronales Netz, das aber wiederum andere Vorteile hat, je nachdem wie die Daten und Trainingsmethodik ausfallen.
Fortschritt im Bereich KI ist darüber hinaus die vielfältig und wird mit viel ehrgeiz (und Geld) betrieben. Als Wissenschaftler des Mila Instituts, einem der größten KI-Forschungsinstitute der Welt, kann ich das versichern.
Nur lange nicht alles hat eine so einfach zu verkaufende Breitenwirkung wie diese Systeme.
Das ist aber auch einfach die Natur der Wissenschaft.
Das, das weniger Forschung oder Evolution bedeutet unterschreibe ich so überhaupt nicht, dafür ist das Feld viel zu neu und unverstanden.
Es ist nur einfach so, dass manchmal relativ dumme Methoden effektiver zum Ziel führen.
Das ist halt Wissenschaft in a Nutshell, manchmal braucht es das Lebenswerk eines Genies, dann muss mal ein Reagenzglaß am Wochenende vergessen um die Welt zu revolutionieren.
Das bringt es eben mit sich wenn du an den Grenzen des menschlichen Verständnisses arbeitest – unerwartete Dinge passieren, auch recolutionen.
boah Steve! bin so hyped, dass dir Severance zusagt. die ganze Machart und der Stil der Serie ist soo etwas Besonderes und die Grundidee sooo beklemmend und aus philosophischer Sicht total interessant.
hatte erst bedenken, dass dir das Erzähltempo nicht zusagt, fands aber super, dass sie den Figuren Zeit zur Entfaltung und zum Atmen lassen. die 2-3 Twists und Turns haben mich so umgehauen. dazu kommt die unglaubliche letzte Folge, die absolut brilliant erzählt ist und mich wie kaum eine Serienepisode am Rande meines Sofas komplett aufgelöst zurückgelassen hat.
das Intro wäre ansonsten noch erwähnenswert gewesen + Ben Stiller hat in einem Großteil der Folgen Regie geführt 🙂 Hoffe auf eine tolle zweite Staffel.