{"id":7588,"date":"2026-09-27T11:13:24","date_gmt":"2026-09-27T11:13:24","guid":{"rendered":"https:\/\/technodidact.de\/?p=7588"},"modified":"2026-09-27T11:13:26","modified_gmt":"2026-09-27T11:13:26","slug":"von-pixeln-zur-intelligenz-eine-ingenieursgeschichte-des-deep-learning-und-der-transformer-revolution","status":"publish","type":"post","link":"https:\/\/technodidact.de\/en\/von-pixeln-zur-intelligenz-eine-ingenieursgeschichte-des-deep-learning-und-der-transformer-revolution\/","title":{"rendered":"Von Pixeln zur Intelligenz: Eine Ingenieursgeschichte des Deep Learning und der Transformer-Revolution"},"content":{"rendered":"

Autor: DerSchneider<\/strong><\/p>\n\n\n\n

Einleitung: Bevor Maschinen das \u201eSehen“ lernten<\/h2>\n\n\n\n

An einem Wintertag des Jahres 1989 leuchteten auf einem Bildschirm der Bell Labs handgeschriebene Postleitzahlen auf, die Frame f\u00fcr Frame erkannt wurden. Diese von Yann LeCun geleitete Forschung \u00fcbertraf erstmals mit einem Convolutional Neural Network (Faltungsnetzwerk) traditionelle Methoden bei einer realen Aufgabe. Niemand ahnte damals, dass dieser technische Pfad drei Jahrzehnte sp\u00e4ter zu gigantischen Modellen f\u00fchren w\u00fcrde, die mit Menschen sprechen, Code schreiben und Krankheiten diagnostizieren k\u00f6nnen.<\/p>\n\n\n\n

Die Geschichte des Deep Learning ist eine Ingenieursgeschichte des Repr\u00e4sentationslernens. Sie beantwortet die Kernfrage: Wie entdeckt eine Maschine automatisch n\u00fctzliche Merkmale aus Rohdaten, ohne dass Menschen Regeln von Hand entwerfen m\u00fcssen? Die Antwort auf diese Frage durchlief mehrere Phasen: von den mathematischen Durchbr\u00fcchen der Backpropagation \u00fcber architektonische Innovationen wie Faltungsnetzwerke bis zur Paradigmenrevolution der Attention-Mechanismen, die schlie\u00dflich in der Transformer-Architektur kulminierte.<\/p>\n\n\n\n

1. Die mathematischen Grundlagen: Backpropagation und Gradientenabstieg<\/h2>\n\n\n\n

1.1 Der Durchbruch von 1986 \u2013 und seine Vorgeschichte<\/h3>\n\n\n\n

Die mathematische Grundlage des modernen Deep Learning l\u00e4sst sich auf eine bahnbrechende Arbeit aus dem Jahr 1986 zur\u00fcckf\u00fchren, die David Rumelhart, Geoffrey Hinton und Ronald Williams in der Fachzeitschrift Nature<\/em> ver\u00f6ffentlichten. Darin beschrieben sie systematisch den Backpropagation-Algorithmus<\/strong> (R\u00fcckw\u00e4rtspropagierung) und zeigten, dass mehrschichtige neuronale Netze durch die Kettenregel der Differentialrechnung effizient Gradienten berechnen k\u00f6nnen, um interne Gewichte anzupassen und den Vorhersagefehler zu minimieren.<\/p>\n\n\n\n

Historische Pr\u00e4zisierung:<\/strong> Die Idee der R\u00fcckw\u00e4rtspropagierung wurde nicht 1986 erstmals formuliert. Paul Werbos<\/strong> hatte bereits 1974 in seiner Dissertation an der Harvard University die Grundlagen beschrieben. Auch andere Forscher wie Parker (1985) und LeCun (1985) entwickelten \u00e4hnliche Ideen unabh\u00e4ngig. Die Bedeutung der Arbeit von 1986 liegt daher nicht in der \u201eErfindung“ der Backpropagation, sondern in ihrer systematischen Darstellung und dem \u00fcberzeugenden Nachweis ihrer Wirksamkeit beim Training mehrschichtiger Netzwerke<\/strong>. Sie machte \u201eTiefe“ trainierbar und ebnete damit den Weg f\u00fcr alle sp\u00e4teren Fortschritte.<\/p>\n\n\n\n

1.2 Die Einf\u00fchrung nichtlinearer Aktivierungen: ReLU und ihre wahre Geschichte<\/h3>\n\n\n\n

Die blo\u00dfe Stapelung linearer Schichten ist bedeutungslos \u2013 die Komposition mehrerer linearer Transformationen bleibt eine lineare Transformation. Die eigentliche Ausdruckskraft entsteht durch nichtlineare Aktivierungsfunktionen<\/strong>.<\/p>\n\n\n\n

H\u00e4ufiger Fehler in Darstellungen:<\/strong> Die ReLU-Funktion wurde nicht 2010 von Nair und Hinton \u201eerfunden“. Die mathematische Form ReLU(x) = max(x, 0) wurde bereits 2000 von Hahnloser et al.<\/strong> in einem neuronalen Netzwerk mit biologischer Motivation verwendet. Der eigentliche Beitrag von Nair und Hinton (2010) bestand darin, ReLU erfolgreich in tiefen Netzwerken einzusetzen und ihre \u00dcberlegenheit gegen\u00fcber Sigmoid- und Tanh-Funktionen zu demonstrieren<\/strong>. Erst dadurch wurde ReLU zum Standard in der Deep-Learning-Praxis.<\/p>\n\n\n\n

Die ingenieurstechnischen Vorteile von ReLU sind offensichtlich: Die Berechnung ist extrem kosteng\u00fcnstig (nur ein Vergleich), der Gradient s\u00e4ttigt nicht (positive Werte haben einen konstanten Gradienten von 1), und sie beschleunigt die Konvergenz erheblich. Ohne ReLU und ihre Varianten (Leaky ReLU, ELU, GELU) w\u00e4re das Training tiefer Netzwerke praktisch undurchf\u00fchrbar gewesen.<\/p>\n\n\n\n

1.3 Die Rolle von GPUs<\/h3>\n\n\n\n

Ein oft \u00fcbersehener, aber entscheidender Faktor: Die Grafikprozessoren (GPUs)<\/strong>. Urspr\u00fcnglich f\u00fcr die parallele Verarbeitung von Pixeln in Computerspielen entwickelt, erwiesen sich GPUs als ideal f\u00fcr die Matrixmultiplikationen neuronaler Netze.<\/p>\n\n\n\n

Korrektur:<\/strong> Die CUDA-Plattform von NVIDIA wurde 2006<\/strong> eingef\u00fchrt (nicht 2007, wie oft f\u00e4lschlich angegeben). Sie erm\u00f6glichte es Forschern erstmals, die enorme Rechenleistung von GPUs f\u00fcr allgemeine wissenschaftliche Berechnungen zu nutzen. Der Trainingsdurchbruch von AlexNet im Jahr 2012<\/strong> \u2013 mit zwei handels\u00fcblichen GTX 580 GPUs<\/strong> trainiert \u2013 markierte den Beginn des GPU-Zeitalters der KI.<\/p>\n\n\n\n

2. Die Architekturrevolution: Vom Bild zur Sprache<\/h2>\n\n\n\n

2.1 Convolutional Neural Networks (CNNs)<\/h3>\n\n\n\n

Yann LeCuns LeNet-5 (1998)<\/strong> legte das Fundament f\u00fcr die Bildverarbeitung mit neuronalen Netzen \u2013 aufbauend auf seiner Arbeit von 1989. Die zentrale Idee: Statt jedes Pixel einzeln zu verarbeiten, verwendet ein CNN Faltungskerne (Filter), die \u00fcber das Bild gleiten und lokale Muster erkennen. Dies reduziert die Anzahl der Parameter drastisch und nutzt die r\u00e4umliche Struktur von Bildern aus.<\/p>\n\n\n\n

Die entscheidenden Konzepte:<\/p>\n\n\n\n

    \n
  • Lokale Konnektivit\u00e4t:<\/strong> Jedes Neuron ist nur mit einem kleinen Ausschnitt der vorherigen Schicht verbunden.<\/li>\n\n\n\n
  • Gewichtsteilung:<\/strong> Derselbe Filter wird an allen Positionen des Bildes angewendet.<\/li>\n\n\n\n
  • Pooling:<\/strong> Reduziert die r\u00e4umliche Aufl\u00f6sung und schafft Invarianz gegen\u00fcber kleinen Verschiebungen.<\/li>\n<\/ul>\n\n\n\n

    Der endg\u00fcltige Durchbruch kam 2012 mit AlexNet<\/strong> von Alex Krizhevsky, Ilya Sutskever und Geoffrey Hinton. AlexNet halbierte die Fehlerrate im ImageNet-Wettbewerb und l\u00e4utete die \u00c4ra des Deep Learning ein. Es folgten VGG (2014)<\/strong>, GoogLeNet (2014)<\/strong> und ResNet (2015)<\/strong>, das mit Skip Connections das Training von \u00fcber 100 Schichten erm\u00f6glichte.<\/p>\n\n\n\n

    2.2 Recurrent Neural Networks (RNNs) und ihre Grenzen<\/h3>\n\n\n\n

    F\u00fcr sequenzielle Daten \u2013 Sprache, Zeitreihen, Musik \u2013 wurden Recurrent Neural Networks<\/strong> (wiederkehrende neuronale Netze) entwickelt. Ein RNN verarbeitet Eingaben Schritt f\u00fcr Schritt und beh\u00e4lt einen versteckten Zustand, der Informationen aus der Vergangenheit weitergibt.<\/p>\n\n\n\n

    Die Probleme:<\/p>\n\n\n\n

      \n
    • Verschwindende Gradienten:<\/strong> Bei langen Sequenzen werden die Gradienten entweder extrem klein oder extrem gro\u00df.<\/li>\n\n\n\n
    • Sequenzielle Verarbeitung:<\/strong> RNNs k\u00f6nnen nicht parallelisiert werden, was das Training auf gro\u00dfen Datens\u00e4tzen extrem langsam macht.<\/li>\n\n\n\n
    • Begrenztes Ged\u00e4chtnis:<\/strong> Der versteckte Zustand hat eine feste Gr\u00f6\u00dfe und kann nicht beliebig viele Informationen speichern.<\/li>\n<\/ul>\n\n\n\n

      LSTM<\/strong> (Long Short-Term Memory, 1997 von Hochreiter und Schmidhuber) und GRU<\/strong> (Gated Recurrent Unit, 2014 von Cho et al.) milderten das Problem der verschwindenden Gradienten durch Gates, die den Informationsfluss steuern. Doch die grundlegende sequenzielle Natur blieb bestehen.<\/p>\n\n\n\n

      2.3 Der Attention-Mechanismus<\/h3>\n\n\n\n

      Die entscheidende Idee, die alles ver\u00e4nderte, war Attention<\/strong>. Urspr\u00fcnglich 2014 von Bahdanau, Cho und Bengio f\u00fcr die maschinelle \u00dcbersetzung vorgeschlagen, erm\u00f6glichte Attention dem Modell, beim Generieren jedes Ausgabeworts auf alle Eingabew\u00f6rter zu \u201eschauen“ und deren Relevanz zu gewichten.<\/p>\n\n\n\n

      Wie funktioniert Attention?<\/strong><\/p>\n\n\n\n

      Gegeben seien drei Matrizen:<\/p>\n\n\n\n

        \n
      • Query (Q):<\/strong> Was suche ich?<\/li>\n\n\n\n
      • Key (K):<\/strong> Was biete ich an?<\/li>\n\n\n\n
      • Value (V):<\/strong> Was gebe ich weiter?<\/li>\n<\/ul>\n\n\n\n

        Die Attention-Berechnung lautet:<\/p>\n\n\n\n

        text<\/p>\n\n\n\n

        Attention(Q, K, V) = softmax(QK^T \/ \u221ad_k) \u00b7 V<\/pre>\n\n\n\n
        Der Term QK^T berechnet die \u00c4hnlichkeit zwischen jeder Query und jedem Key. Die Softmax-Funktion normalisiert diese \u00c4hnlichkeiten zu Gewichten. Das Ergebnis ist eine gewichtete Summe der Values \u2013 eine kontextabh\u00e4ngige Repr\u00e4sentation.<\/p>\n\n\n\n
        Self-Attention:<\/strong> Wenn Q, K und V aus derselben Sequenz stammen, spricht man von Self-Attention. Jedes Wort kann auf alle anderen W\u00f6rter derselben Sequenz zugreifen und deren Beziehung zueinander modellieren.<\/p>\n\n\n\n
        3. Die Transformer-Revolution<\/h2>\n\n\n\n
        3.1 \u201eAttention Is All You Need“ (2017)<\/h3>\n\n\n\n
        Im Jahr 2017 ver\u00f6ffentlichten acht Forscher von Google \u2013 Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser und Polosukhin \u2013 die Arbeit \u201eAttention Is All You Need“. Sie stellten den Transformer<\/strong> vor, eine Architektur, die vollst\u00e4ndig auf Attention basiert und ohne Rekurrenz oder Faltung auskommt.<\/p>\n\n\n\n
        Die Kerninnovationen:<\/p>\n\n\n\n
          \n
        • Multi-Head Attention:<\/strong> Statt einer einzigen Attention-Funktion werden mehrere \u201eK\u00f6pfe“ parallel verwendet. Jeder Kopf kann unterschiedliche Beziehungen erfassen \u2013 z. B. ein Kopf f\u00fcr syntaktische Abh\u00e4ngigkeiten, ein anderer f\u00fcr semantische \u00c4hnlichkeiten.<\/li>\n\n\n\n
        • Positionskodierung:<\/strong> Da der Transformer keine inh\u00e4rente Reihenfolge kennt (Attention ist permutationsinvariant), werden Positionsinformationen explizit als Sinus- und Kosinusfunktionen zu den Eingabe-Embeddings addiert.<\/li>\n\n\n\n
        • Feed-Forward Networks:<\/strong> Jede Transformer-Schicht enth\u00e4lt ein vollst\u00e4ndig verbundenes Feed-Forward-Netzwerk, das auf jede Position separat angewendet wird.<\/li>\n\n\n\n
        • Residual Connections und Layer Normalization:<\/strong> Diese Techniken stabilisieren das Training tiefer Netzwerke.<\/li>\n<\/ul>\n\n\n\n
          Anmerkung zur Rezeption:<\/strong> Die Arbeit \u201eAttention Is All You Need“ hat mittlerweile \u00fcber 150.000 Zitierungen<\/strong> erreicht (je nach Quelle bis zu 190.000) und geh\u00f6rt damit zu den meistzitierten Papers der KI-Geschichte.<\/p>\n\n\n\n
          3.2 Encoder-Decoder-Architektur<\/h3>\n\n\n\n
          Der urspr\u00fcngliche Transformer wurde f\u00fcr maschinelle \u00dcbersetzung entwickelt und bestand aus einem Encoder und einem Decoder:<\/p>\n\n\n\n
            \n
          • Encoder:<\/strong> Verarbeitet die Eingabesequenz und erzeugt kontextreiche Repr\u00e4sentationen. Besteht aus N identischen Schichten, jede mit Multi-Head Self-Attention und Feed-Forward-Netzwerk.<\/li>\n\n\n\n
          • Decoder:<\/strong> Generiert die Ausgabesequenz autoregressiv. Besteht aus N Schichten, jede mit maskierter Self-Attention (damit nicht auf zuk\u00fcnftige Tokens zugegriffen wird), Cross-Attention (die auf die Encoder-Ausgabe zugreift) und Feed-Forward-Netzwerk.<\/li>\n<\/ul>\n\n\n\n
            3.3 Die drei Transformer-Familien<\/h3>\n\n\n\n
            Aus dem urspr\u00fcnglichen Design entwickelten sich drei Hauptvarianten:<\/p>\n\n\n\n
            Typ<\/th>Architektur<\/th>Beispiele<\/th>Anwendung<\/th><\/tr><\/thead>
            Encoder-only<\/td>Nur Encoder<\/td>BERT, RoBERTa<\/td>Klassifikation, NER, Fragebeantwortung<\/td><\/tr>
            Decoder-only<\/td>Nur Decoder<\/td>GPT, LLaMA, Claude<\/td>Textgenerierung, Chat, Code<\/td><\/tr>
            Encoder-Decoder<\/td>Beide<\/td>T5, BART, original Transformer<\/td>\u00dcbersetzung, Zusammenfassung<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
            BERT<\/strong> (Bidirectional Encoder Representations from Transformers, 2018 von Google) revolutionierte das Verst\u00e4ndnis von Sprache durch Masked Language Modeling<\/strong>: 15 % der Eingabetokens werden maskiert, und das Modell muss sie vorhersagen. BERT kann dadurch bidirektionalen Kontext nutzen \u2013 es \u201esieht“ sowohl links als auch rechts von jedem Token.<\/p>\n\n\n\n
            GPT<\/strong> (Generative Pre-trained Transformer, 2018 von OpenAI) setzt auf autoregressive Sprachmodellierung<\/strong>: Vorhersage des n\u00e4chsten Tokens. GPT-1 (2018), GPT-2 (2019), GPT-3 (2020, 175 Milliarden Parameter), GPT-4 (2023) und die nachfolgenden Modelle zeigten, dass Skalierung allein erstaunliche F\u00e4higkeiten hervorbringt.<\/p>\n\n\n\n
            Wichtige Korrektur zu GPT-4:<\/strong> Entgegen mancher Darstellungen wurde GPT-4 nicht auf H100-GPUs trainiert<\/strong>. Die H100-Architektur wurde erst 2022 angek\u00fcndigt und war 2023 breit verf\u00fcgbar. GPT-4 wurde mit hoher Wahrscheinlichkeit auf NVIDIA A100<\/strong>-GPUs trainiert. H100 kam erst f\u00fcr sp\u00e4tere Modelle (GPT-4 Turbo, Claude 3 etc.) zum Einsatz.<\/p>\n\n\n\n
            4. Skalierung und Emergenz<\/h2>\n\n\n\n
            4.1 Scaling Laws<\/h3>\n\n\n\n
            Im Jahr 2020 ver\u00f6ffentlichten Kaplan et al. von OpenAI die Scaling Laws<\/strong> f\u00fcr neuronale Sprachmodelle. Die zentrale Erkenntnis: Die Leistung eines Modells (gemessen als Kreuzentropie-Verlust) folgt einem Potenzgesetz in Abh\u00e4ngigkeit von:<\/p>\n\n\n\n
              \n
            • Modellgr\u00f6\u00dfe<\/strong> (Anzahl der Parameter N)<\/li>\n\n\n\n
            • Datengr\u00f6\u00dfe<\/strong> (Anzahl der Trainings-Tokens D)<\/li>\n\n\n\n
            • Rechenbudget<\/strong> (Compute C)<\/li>\n<\/ul>\n\n\n\n
              Die Formel lautet vereinfacht:<\/p>\n\n\n\n
              text<\/p>\n\n\n\n
              L(N, D) \u2248 (N_c \/ N)^\u03b1 + (D_c \/ D)^\u03b2 + L_\u221e<\/pre>\n\n\n\n
              wobei \u03b1 \u2248 0,076, \u03b2 \u2248 0,095 und L_\u221e der irreduzible Verlust ist.<\/p>\n\n\n\n
              Praktische Implikation:<\/strong> Wenn man Modellgr\u00f6\u00dfe, Datenmenge und Rechenleistung im richtigen Verh\u00e4ltnis skaliert, sinkt der Fehler vorhersehbar. Dies erm\u00f6glichte es Unternehmen, die Leistung eines noch nicht trainierten Modells vorherzusagen, bevor sie Millionen in das Training investierten.<\/p>\n\n\n\n
              4.2 Chinchilla und die Optimierung<\/h3>\n\n\n\n
              Die urspr\u00fcnglichen Scaling Laws von Kaplan et al. legten nahe, dass Modellgr\u00f6\u00dfe wichtiger sei als Datenmenge. Die Chinchilla-Arbeit<\/strong> von Hoffmann et al. (2022) korrigierte dies: F\u00fcr ein gegebenes Rechenbudget sollte ein Modell etwa 20 Tokens pro Parameter<\/strong> sehen. Ein 70-Milliarden-Parameter-Modell sollte also auf etwa 1,4 Billionen Tokens trainiert werden.<\/p>\n\n\n\n
              Diese Erkenntnis f\u00fchrte zu einer neuen Generation effizienterer Modelle: LLaMA<\/strong> (Meta, 2023) mit 7B, 13B, 33B und 65B Parametern, trainiert auf 1\u20131,4 Billionen Tokens, \u00fcbertraf deutlich gr\u00f6\u00dfere Modelle wie GPT-3.<\/p>\n\n\n\n
              4.3 Emergente F\u00e4higkeiten<\/h3>\n\n\n\n
              Ein faszinierendes Ph\u00e4nomen: Bei bestimmten Modellgr\u00f6\u00dfen treten emergente F\u00e4higkeiten<\/strong> auf \u2013 F\u00e4higkeiten, die in kleineren Modellen schlicht nicht vorhanden sind und nicht durch Extrapolation vorhergesagt werden k\u00f6nnen. Dazu geh\u00f6ren:<\/p>\n\n\n\n
                \n
              • Few-Shot Learning:<\/strong> Das Modell kann neue Aufgaben anhand weniger Beispiele in der Eingabeaufforderung l\u00f6sen.<\/li>\n\n\n\n
              • Chain-of-Thought Reasoning:<\/strong> Schrittweises Denken bei komplexen Problemen.<\/li>\n\n\n\n
              • Code-Generierung:<\/strong> Das Schreiben funktionierenden Codes in verschiedenen Programmiersprachen.<\/li>\n\n\n\n
              • Mehrsprachigkeit:<\/strong> \u00dcbersetzung und Verst\u00e4ndnis in Dutzenden von Sprachen.<\/li>\n<\/ul>\n\n\n\n
                Diese Emergenz ist nicht unumstritten. Arbeiten wie die von Schaeffer et al. (2023) argumentieren, dass emergente F\u00e4higkeiten teilweise auf Metriken zur\u00fcckzuf\u00fchren<\/strong> sind \u2013 bei kontinuierlichen Metriken (wie Genauigkeit) verschwinden die scharfen Spr\u00fcnge.<\/p>\n\n\n\n
                5. Training in der Praxis: Pre-Training und Post-Training<\/h2>\n\n\n\n
                5.1 Pre-Training<\/h3>\n\n\n\n
                Das Pre-Training ist die erste und rechenintensivste Phase. Ein Transformer beginnt mit zuf\u00e4lligen Gewichten und wird auf einer riesigen Mischung aus Text und Code trainiert \u2013 oft Billionen von Tokens. Die Aufgabe ist Selbst\u00fcberwachung<\/strong>: Vorhersage des n\u00e4chsten Tokens (bei Decoder-Modellen) oder Masked Language Modeling (bei Encoder-Modellen).<\/p>\n\n\n\n
                Datenquellen:<\/strong><\/p>\n\n\n\n
                  \n
                • Web-Crawls (Common Crawl, C4, RefinedWeb)<\/li>\n\n\n\n
                • B\u00fccher (Books1, Books2, Gutenberg)<\/li>\n\n\n\n
                • Wikipedia<\/li>\n\n\n\n
                • Code (GitHub, StackOverflow)<\/li>\n\n\n\n
                • Wissenschaftliche Artikel (arXiv, PubMed)<\/li>\n<\/ul>\n\n\n\n
                  Herausforderungen:<\/strong><\/p>\n\n\n\n
                    \n
                  • Datenqualit\u00e4t:<\/strong> Duplikate, Spam, toxische Inhalte m\u00fcssen gefiltert werden.<\/li>\n\n\n\n
                  • Datenmischung:<\/strong> Das Verh\u00e4ltnis von Code zu nat\u00fcrlicher Sprache zu wissenschaftlichen Texten beeinflusst die F\u00e4higkeiten des Modells.<\/li>\n\n\n\n
                  • Rechtliche Fragen:<\/strong> Urheberrechte, Datenschutz, Lizenzbedingungen.<\/li>\n<\/ul>\n\n\n\n
                    5.2 Post-Training<\/h3>\n\n\n\n
                    Das Pre-Training erzeugt ein Basismodell (Foundation Model)<\/strong>, das Text vervollst\u00e4ndigen kann, aber nicht unbedingt Anweisungen befolgt. Die zweite Phase, das Post-Training<\/strong>, macht es zu einem n\u00fctzlichen Assistenten.<\/p>\n\n\n\n
                    Methoden:<\/strong><\/p>\n\n\n\n
                      \n
                    • Supervised Fine-Tuning (SFT):<\/strong> Das Modell wird auf einem Datensatz von menschlich erstellten Frage-Antwort-Paaren trainiert.<\/li>\n\n\n\n
                    • Reinforcement Learning from Human Feedback (RLHF):<\/strong>\n
                        \n
                      1. Menschen bewerten die Ausgaben des Modells.<\/li>\n\n\n\n
                      2. Ein Reward-Modell wird trainiert, um diese Bewertungen vorherzusagen.<\/li>\n\n\n\n
                      3. Das Sprachmodell wird mit PPO (Proximal Policy Optimization) optimiert, um den Reward zu maximieren.<\/li>\n<\/ol>\n<\/li>\n\n\n\n
                      4. Constitutional AI (CAI):<\/strong> Von Anthropic entwickelt, verwendet das Modell eine Reihe von Prinzipien (eine \u201eVerfassung“), um seine eigenen Ausgaben zu kritisieren und zu verbessern \u2013 mit minimalem menschlichem Feedback.<\/li>\n\n\n\n
                      5. Direct Preference Optimization (DPO):<\/strong> Eine einfachere Alternative zu RLHF, die ohne separates Reward-Modell auskommt und direkt auf Pr\u00e4ferenzdaten optimiert.<\/li>\n<\/ul>\n\n\n\n
                        5.3 Parameter-Efficient Fine-Tuning (PEFT)<\/h3>\n\n\n\n
                        Das vollst\u00e4ndige Fine-Tuning eines gro\u00dfen Modells ist teuer. PEFT-Methoden wie LoRA<\/strong> (Low-Rank Adaptation) frieren die urspr\u00fcnglichen Gewichte ein und trainieren nur kleine, niedrigrangige Matrizen, die zu den Gewichten addiert werden. Dies reduziert die trainierbaren Parameter um mehrere Gr\u00f6\u00dfenordnungen und erm\u00f6glicht das Fine-Tuning auf einer einzelnen GPU.<\/p>\n\n\n\n
                        6. Inferenz und Deployment<\/h2>\n\n\n\n
                        6.1 Die Kosten der Inferenz<\/h3>\n\n\n\n
                        W\u00e4hrend das Training einmalig ist, l\u00e4uft die Inferenz millionenfach. Die Kosten skalieren mit:<\/p>\n\n\n\n
                          \n
                        • Modellgr\u00f6\u00dfe:<\/strong> Gr\u00f6\u00dfere Modelle ben\u00f6tigen mehr Speicher und Rechenleistung.<\/li>\n\n\n\n
                        • Kontextl\u00e4nge:<\/strong> Die Attention-Berechnung w\u00e4chst quadratisch mit der Sequenzl\u00e4nge.<\/li>\n\n\n\n
                        • Batch-Gr\u00f6\u00dfe:<\/strong> Gr\u00f6\u00dfere Batches erh\u00f6hen den Durchsatz, aber auch den Speicherbedarf.<\/li>\n<\/ul>\n\n\n\n
                          6.2 Optimierungstechniken<\/h3>\n\n\n\n
                            \n
                          • Quantisierung:<\/strong> Reduzierung der Pr\u00e4zision von 32-Bit auf 16-Bit, 8-Bit oder sogar 4-Bit. Dies halbiert oder viertelt den Speicherbedarf bei minimalem Genauigkeitsverlust.<\/li>\n\n\n\n
                          • Knowledge Distillation:<\/strong> Ein kleineres \u201eSch\u00fclermodell“ wird trainiert, das Verhalten eines gr\u00f6\u00dferen \u201eLehrermodells“ nachzuahmen.<\/li>\n\n\n\n
                          • Pruning:<\/strong> Entfernung unwichtiger Gewichte oder Neuronen.<\/li>\n\n\n\n
                          • KV-Cache:<\/strong> Bei autoregressiver Generierung werden die Key- und Value-Matrizen fr\u00fcherer Tokens zwischengespeichert, um redundante Berechnungen zu vermeiden.<\/li>\n\n\n\n
                          • Speculative Decoding:<\/strong> Ein kleines Modell generiert mehrere Tokens, die vom gro\u00dfen Modell parallel verifiziert werden.<\/li>\n<\/ul>\n\n\n\n
                            6.3 Kontextfenster<\/h3>\n\n\n\n
                            Das Kontextfenster begrenzt, wie viele Tokens das Modell gleichzeitig verarbeiten kann. Die standardm\u00e4\u00dfige Self-Attention hat eine quadratische Komplexit\u00e4t O(n\u00b2)<\/strong>: Bei 1.000 Tokens sind es etwa 1 Million Vergleichsoperationen; bei 10.000 Tokens bereits 100 Millionen.<\/p>\n\n\n\n
                            L\u00f6sungsans\u00e4tze:<\/strong><\/p>\n\n\n\n
                              \n
                            • Sparse Attention:<\/strong> Nur ausgew\u00e4hlte Tokens werden verglichen.<\/li>\n\n\n\n
                            • Sliding Window Attention:<\/strong> Jedes Token achtet nur auf die letzten k Tokens.<\/li>\n\n\n\n
                            • FlashAttention:<\/strong> Eine hardwareoptimierte Implementierung, die den Speicherverbrauch reduziert und die Geschwindigkeit erh\u00f6ht.<\/li>\n\n\n\n
                            • Ring Attention:<\/strong> Verteilung der Attention-Berechnung auf mehrere GPUs.<\/li>\n<\/ul>\n\n\n\n
                              Moderne Modelle wie Claude 3, GPT-4 Turbo und Gemini 1.5 Pro bieten Kontextfenster von 100.000 bis \u00fcber 1 Million Tokens. Doch ein gr\u00f6\u00dferes Fenster garantiert keine perfekte Erinnerung \u2013 wichtige Details k\u00f6nnen in der Mitte verloren gehen (das \u201eLost in the Middle“<\/strong>-Ph\u00e4nomen).<\/p>\n\n\n\n
                              7. Jenseits von Text: Multimodalit\u00e4t<\/h2>\n\n\n\n
                              7.1 Vision Transformers (ViT)<\/h3>\n\n\n\n
                              Die Transformer-Architektur ist nicht auf Text beschr\u00e4nkt. Vision Transformers<\/strong> (Dosovitskiy et al., 2020) zerlegen ein Bild in Patches (z. B. 16\u00d716 Pixel), behandeln diese wie Tokens und wenden Standard-Transformer-Bl\u00f6cke an. ViT \u00fcbertraf nach ausreichendem Training CNNs bei Bildklassifikationsaufgaben.<\/p>\n\n\n\n
                              7.2 Multimodale Modelle<\/h3>\n\n\n\n
                              Modelle wie CLIP<\/strong> (OpenAI, 2021) lernen gemeinsame Repr\u00e4sentationen von Bildern und Text durch kontrastives Lernen<\/strong>: \u00c4hnliche Paare werden n\u00e4her zusammengebracht, un\u00e4hnliche weiter auseinander. Dies erm\u00f6glicht Zero-Shot-Bildklassifikation und Bildsuche mit nat\u00fcrlicher Sprache.<\/p>\n\n\n\n
                              GPT-4V, Claude 3, Gemini und andere multimodale Modelle kombinieren Text-, Bild- und teilweise Audioverarbeitung in einem einzigen Transformer. Sie k\u00f6nnen Bilder beschreiben, Diagramme interpretieren, OCR durchf\u00fchren und visuelle Fragen beantworten.<\/p>\n\n\n\n
                              7.3 Diffusion Models<\/h3>\n\n\n\n
                              F\u00fcr die Bildgenerierung haben sich Diffusion Models<\/strong> durchgesetzt. Sie lernen, Rauschen schrittweise zu entfernen, um aus reinem Zufall ein Bild zu erzeugen. Stable Diffusion (2022), DALL-E 2\/3 und Midjourney basieren auf dieser Technik.<\/p>\n\n\n\n
                              8. Die aktuelle Landschaft: Modelle und Anbieter<\/h2>\n\n\n\n
                              8.1 Geschlossene Modelle<\/h3>\n\n\n\n
                              Modell<\/th>Anbieter<\/th>Parameter<\/th>Besonderheit<\/th><\/tr><\/thead>
                              GPT-4 \/ GPT-4o<\/td>OpenAI<\/td>nicht ver\u00f6ffentlicht<\/td>Multimodal, breite F\u00e4higkeiten<\/td><\/tr>
                              Claude 3 \/ 3.5<\/td>Anthropic<\/td>nicht ver\u00f6ffentlicht<\/td>Constitutional AI, langes Kontextfenster<\/td><\/tr>
                              Gemini 1.5<\/td>Google DeepMind<\/td>nicht ver\u00f6ffentlicht<\/td>1M+ Token Kontext, multimodal<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
                              8.2 Offene Modelle<\/h3>\n\n\n\n
                              Modell<\/th>Anbieter<\/th>Parameter<\/th>Lizenz<\/th><\/tr><\/thead>
                              LLaMA 3<\/td>Meta<\/td>8B, 70B, 405B<\/td>Llama Community License<\/td><\/tr>
                              Mistral \/ Mixtral<\/td>Mistral AI<\/td>7B, 8x7B, 8x22B<\/td>Apache 2.0<\/td><\/tr>
                              Qwen 2<\/td>Alibaba<\/td>0.5B\u201372B<\/td>Apache 2.0 \/ eigene<\/td><\/tr>
                              Gemma 2<\/td>Google<\/td>2B, 9B, 27B<\/td>Gemma License<\/td><\/tr>
                              Phi-3<\/td>Microsoft<\/td>3.8B, 7B, 14B<\/td>MIT<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n
                              8.3 Mixture of Experts (MoE)<\/h3>\n\n\n\n
                              Mixture of Experts<\/strong> ist eine Architektur, bei der nur ein Teil der Parameter f\u00fcr jede Eingabe aktiviert wird. Ein Router entscheidet, welche \u201eExperten“ (Feed-Forward-Netzwerke) f\u00fcr ein bestimmtes Token zust\u00e4ndig sind. Dies reduziert die Inferenzkosten erheblich, w\u00e4hrend die Gesamtparameterzahl hoch bleibt. Mixtral 8x7B<\/strong> von Mistral AI ist ein prominentes Beispiel \u2013 wobei anzumerken ist, dass die Gesamtparameterzahl bei etwa 46,7 Milliarden liegt und nicht alle Experten gleichzeitig aktiv sind.<\/p>\n\n\n\n
                              9. Ethische und gesellschaftliche Implikationen<\/h2>\n\n\n\n
                              9.1 Bias und Fairness<\/h3>\n\n\n\n
                              Sprachmodelle lernen aus menschlichen Texten \u2013 und \u00fcbernehmen deren Vorurteile. Studien haben gezeigt, dass Modelle stereotype Assoziationen reproduzieren k\u00f6nnen (z. B. Berufe mit Geschlechtern verkn\u00fcpfen). Die Forschung zu Fairness in KI versucht, solche Verzerrungen zu messen und zu mildern, st\u00f6\u00dft jedoch auf grundlegende Zielkonflikte.<\/p>\n\n\n\n
                              9.2 Halluzinationen<\/h3>\n\n\n\n
                              Modelle \u201ehalluzinieren“ \u2013 sie erzeugen plausibel klingende, aber falsche Informationen. Dies liegt in der Natur der autoregressiven Generierung: Das Modell optimiert auf Wahrscheinlichkeit, nicht auf Wahrheit. Retrieval-Augmented Generation (RAG)<\/strong> und Tool-Nutzung (z. B. Websuche, Taschenrechner) sind Ans\u00e4tze, um Halluzinationen zu reduzieren.<\/p>\n\n\n\n
                              9.3 Urheberrecht und Datenschutz<\/h3>\n\n\n\n
                              Die Trainingsdaten enthalten urheberrechtlich gesch\u00fctzte Werke und personenbezogene Informationen. Klagen von Autoren, K\u00fcnstlern und Verlagen gegen KI-Unternehmen werfen grundlegende Fragen auf: Ist das Training auf gesch\u00fctzten Werken Fair Use? Sollten Rechteinhaber verg\u00fctet werden? Wie kann Datenschutz gew\u00e4hrleistet werden, wenn Modelle Informationen aus Trainingsdaten reproduzieren k\u00f6nnen?<\/p>\n\n\n\n
                              9.4 Arbeitsmarkt und Wirtschaft<\/h3>\n\n\n\n
                              KI ver\u00e4ndert Arbeitsm\u00e4rkte \u2013 nicht nur durch Automatisierung, sondern auch durch Augmentation<\/strong>. Studien deuten darauf hin, dass KI die Produktivit\u00e4t in bestimmten Berufen steigert (z. B. Kundenservice, Programmierung, \u00dcbersetzung), w\u00e4hrend sie in anderen T\u00e4tigkeiten ersetzt. Die langfristigen Auswirkungen auf Besch\u00e4ftigung und L\u00f6hne sind Gegenstand intensiver Forschung und politischer Debatten.<\/p>\n\n\n\n
                              9.5 Existenzielle Risiken<\/h3>\n\n\n\n
                              Einige Forscher \u2013 darunter Geoffrey Hinton, Yoshua Bengio und Stuart Russell \u2013 warnen vor existenziellen Risiken durch fortgeschrittene KI. Die Sorge: Ein System, das m\u00e4chtiger ist als der Mensch, k\u00f6nnte Ziele verfolgen, die nicht mit menschlichen Werten \u00fcbereinstimmen. AI Alignment<\/strong> ist das Forschungsfeld, das versucht, solche Risiken zu adressieren.<\/p>\n\n\n\n
                              10. Ausblick: Wohin f\u00fchrt der Weg?<\/h2>\n\n\n\n
                              10.1 Effizienz und Nachhaltigkeit<\/h3>\n\n\n\n
                              Das Training gro\u00dfer Modelle verbraucht enorm viel Energie. GPT-3 verbrauchte sch\u00e4tzungsweise 1.287 MWh \u2013 genug, um einen durchschnittlichen Haushalt \u00fcber Jahrzehnte zu versorgen. Die Forschung konzentriert sich auf effizientere Architekturen, bessere Hardware (z. B. TPUs, neuromorphe Chips) und nachhaltige Rechenzentren.<\/p>\n\n\n\n
                              10.2 Agenten und Tool-Nutzung<\/h3>\n\n\n\n
                              Die n\u00e4chste Generation von KI-Systemen sind Agenten<\/strong>: Modelle, die nicht nur antworten, sondern handeln \u2013 im Web surfen, APIs aufrufen, Dateien bearbeiten, Code ausf\u00fchren. AutoGPT, BabyAGI und LangChain sind fr\u00fche Beispiele. Die Herausforderung: Zuverl\u00e4ssigkeit, Sicherheit und Kontrolle.<\/p>\n\n\n\n
                              10.3 Reasoning und Planung<\/h3>\n\n\n\n
                              Modelle wie OpenAI o1 und DeepSeek-R1 setzen auf Chain-of-Thought Reasoning<\/strong> und Reinforcement Learning, um komplexe Probleme schrittweise zu l\u00f6sen. Die Frage bleibt: K\u00f6nnen solche Systeme kausal verstehen oder nur statistische Korrelationen nutzen?<\/p>\n\n\n\n
                              10.4 Neuro-Symbolische Ans\u00e4tze<\/h3>\n\n\n\n
                              Die Kombination von neuronalen Netzen (Mustererkennung) mit symbolischer KI (logisches Schlie\u00dfen, Wissensgraphen) k\u00f6nnte die St\u00e4rken beider Paradigmen vereinen. Neuro-symbolische Systeme versprechen Interpretierbarkeit, Robustheit und Dateneffizienz.<\/p>\n\n\n\n
                              10.5 Quantencomputing<\/h3>\n\n\n\n
                              Quantencomputer k\u00f6nnten bestimmte Probleme exponentiell beschleunigen \u2013 darunter auch Teile des maschinellen Lernens. Ob und wann Quanten-KI praktische Relevanz erlangt, ist jedoch offen.<\/p>\n\n\n\n
                              Fazit: Eine Ingenieursgeschichte mit offenem Ende<\/h2>\n\n\n\n
                              Die Reise von den ersten Perzeptronen \u00fcber Backpropagation, CNNs, RNNs und Attention bis zum Transformer ist eine Geschichte menschlicher Kreativit\u00e4t und ingenieurstechnischer Beharrlichkeit. Sie zeigt, wie mathematische Eleganz, architektonische Innovation und rohe Rechenleistung zusammenwirken, um Systeme zu schaffen, die einst Science-Fiction waren.<\/p>\n\n\n\n
                              Doch die Geschichte ist nicht abgeschlossen. Die aktuellen Modelle sind beeindruckend und begrenzt zugleich: Sie k\u00f6nnen Texte verfassen, Code schreiben und Bilder generieren, aber sie verstehen nicht im menschlichen Sinne. Sie halluzinieren, reproduzieren Bias und versagen bei Aufgaben, die r\u00e4umliches oder kausales Denken erfordern.<\/p>\n\n\n\n
                              Die Zukunft wird zeigen, ob die n\u00e4chsten Durchbr\u00fcche durch noch gr\u00f6\u00dfere Modelle, neue Architekturen oder fundamental andere Paradigmen kommen. Sicher ist: Die Ingenieursgeschichte des Deep Learning ist eine der faszinierendsten des 21. Jahrhunderts \u2013 und wir stehen erst am Anfang.<\/p>\n\n\n\n
                              Quellen<\/h2>\n\n\n\n
                                \n
                              1. Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1986). Learning representations by back-propagating errors. Nature<\/em>, 323(6088), 533\u2013536.<\/li>\n\n\n\n
                              2. Werbos, P. J. (1974). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. PhD Thesis, Harvard University.<\/li>\n\n\n\n
                              3. LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE<\/em>, 86(11), 2278\u20132324.<\/li>\n\n\n\n
                              4. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems<\/em>, 25.<\/li>\n\n\n\n
                              5. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition<\/em>, 770\u2013778.<\/li>\n\n\n\n
                              6. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural Computation<\/em>, 9(8), 1735\u20131780.<\/li>\n\n\n\n
                              7. Cho, K., van Merri\u00ebnboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing<\/em>, 1724\u20131734.<\/li>\n\n\n\n
                              8. Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural machine translation by jointly learning to align and translate. International Conference on Learning Representations<\/em>.<\/li>\n\n\n\n
                              9. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, \u0141., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems<\/em>, 30.<\/li>\n\n\n\n
                              10. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics<\/em>, 4171\u20134186.<\/li>\n\n\n\n
                              11. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI Blog<\/em>, 1(8), 9.<\/li>\n\n\n\n
                              12. Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems<\/em>, 33, 1877\u20131901.<\/li>\n\n\n\n
                              13. Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., … & Amodei, D. (2020). Scaling laws for neural language models. arXiv preprint arXiv:2001.08361<\/em>.<\/li>\n\n\n\n
                              14. Hoffmann, J., Borgeaud, S., Mensch, A., Buchatskaya, E., Cai, T., Rutherford, E., … & Sifre, L. (2022). Training compute-optimal large language models. arXiv preprint arXiv:2203.15556<\/em>.<\/li>\n\n\n\n
                              15. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., … & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems<\/em>, 35, 27730\u201327744.<\/li>\n\n\n\n
                              16. Bai, Y., Jones, A., Ndousse, K., Askell, A., Chen, A., DasSarma, N., … & Kaplan, J. (2022). Training a helpful and harmless assistant with reinforcement learning from human feedback. arXiv preprint arXiv:2204.05862<\/em>.<\/li>\n\n\n\n
                              17. Rafailov, R., Sharma, A., Mitchell, E., Ermon, S., Manning, C. D., & Finn, C. (2023). Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems<\/em>, 36.<\/li>\n\n\n\n
                              18. Hu, E. J., Shen, Y., Wallis, P., Allen-Zhu, Z., Li, Y., Wang, S., … & Chen, W. (2022). LoRA: Low-rank adaptation of large language models. International Conference on Learning Representations<\/em>.<\/li>\n\n\n\n
                              19. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., … & Houlsby, N. (2021). An image is worth 16×16 words: Transformers for image recognition at scale. International Conference on Learning Representations<\/em>.<\/li>\n\n\n\n
                              20. Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., … & Sutskever, I. (2021). Learning transferable visual models from natural language supervision. International Conference on Machine Learning<\/em>, 8748\u20138763.<\/li>\n\n\n\n
                              21. Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-resolution image synthesis with latent diffusion models. Proceedings of the IEEE\/CVF Conference on Computer Vision and Pattern Recognition<\/em>, 10684\u201310695.<\/li>\n\n\n\n
                              22. Dao, T., Fu, D. Y., Ermon, S., Rudra, A., & R\u00e9, C. (2022). FlashAttention: Fast and memory-efficient exact attention with IO-awareness. Advances in Neural Information Processing Systems<\/em>, 35.<\/li>\n\n\n\n
                              23. Jiang, A. Q., Sablayrolles, A., Roux, A., Mensch, A., Savary, B., Bamford, C., … & Sayed, W. E. (2024). Mixtral of experts. arXiv preprint arXiv:2401.04088<\/em>.<\/li>\n\n\n\n
                              24. Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M. A., Lacroix, T., … & Lample, G. (2023). LLaMA: Open and efficient foundation language models. arXiv preprint arXiv:2302.13971<\/em>.<\/li>\n\n\n\n
                              25. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency<\/em>, 610\u2013623.<\/li>\n\n\n\n
                              26. Schaeffer, R., Miranda, B., & Koyejo, S. (2023). Are emergent abilities of large language models a mirage? Advances in Neural Information Processing Systems<\/em>, 36.<\/li>\n\n\n\n
                              27. Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. (2023). Lost in the middle: How language models use long contexts. arXiv preprint arXiv:2307.03172<\/em>.<\/li>\n\n\n\n
                              28. Strubell, E., Ganesh, A., & McCallum, A. (2019). Energy and policy considerations for deep learning in NLP. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics<\/em>, 3645\u20133650.<\/li>\n\n\n\n
                              29. Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control<\/em>. Viking.<\/li>\n\n\n\n
                              30. Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies<\/em>. Oxford University Press.<\/li>\n\n\n\n
                              31. Marcus, G. (2020). The next decade in AI: Four steps towards robust artificial intelligence. arXiv preprint arXiv:2002.06177<\/em>.<\/li>\n\n\n\n
                              32. Hahnloser, R. H., Sarpeshkar, R., Mahowald, M. A., Douglas, R. J., & Seung, H. S. (2000). Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit. Nature<\/em>, 405(6789), 947\u2013951.<\/li>\n\n\n\n
                              33. Nair, V., & Hinton, G. E. (2010). Rectified linear units improve restricted Boltzmann machines. Proceedings of the 27th International Conference on Machine Learning<\/em>, 807\u2013814.<\/li>\n<\/ol>","protected":false},"excerpt":{"rendered":"
                                Autor: DerSchneider Einleitung: Bevor Maschinen das \u201eSehen“ lernten An einem Wintertag des Jahres 1989 leuchteten auf einem Bildschirm der Bell Labs handgeschriebene Postleitzahlen auf, die Frame f\u00fcr Frame erkannt wurden. Diese von Yann LeCun geleitete Forschung \u00fcbertraf erstmals mit einem Convolutional Neural Network (Faltungsnetzwerk) traditionelle Methoden bei einer realen Aufgabe. Niemand ahnte damals, dass dieser […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[41,17,18,37],"tags":[11110,1450,3725,10131,11112,6570,11111],"class_list":["post-7588","post","type-post","status-publish","format-standard","hentry","category-digitalkultur","category-im-herz","category-im-kopf-methoden-werkzeuge","category-wissenspeicher","tag-attention","tag-deep-learning","tag-ki-ethik","tag-neuronale-netze","tag-skalierung","tag-sprachmodelle","tag-transformer"],"_links":{"self":[{"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/posts\/7588","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/comments?post=7588"}],"version-history":[{"count":1,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/posts\/7588\/revisions"}],"predecessor-version":[{"id":7589,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/posts\/7588\/revisions\/7589"}],"wp:attachment":[{"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/media?parent=7588"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/categories?post=7588"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/tags?post=7588"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}