{"id":7739,"date":"2026-10-27T04:02:55","date_gmt":"2026-10-27T04:02:55","guid":{"rendered":"https:\/\/technodidact.de\/?p=7739"},"modified":"2026-10-23T04:07:42","modified_gmt":"2026-10-23T04:07:42","slug":"die-stille-revolution-der-gleitkommarechnung-wie-fused-multiply-add-die-numerische-welt-veraendert","status":"publish","type":"post","link":"https:\/\/technodidact.de\/en\/die-stille-revolution-der-gleitkommarechnung-wie-fused-multiply-add-die-numerische-welt-veraendert\/","title":{"rendered":"Die stille Revolution der Gleitkommarechnung: Wie Fused Multiply-Add die numerische Welt ver\u00e4ndert"},"content":{"rendered":"

Von DerSchneider<\/strong><\/p>\n\n\n\n

Es gibt Entscheidungen in der Computergeschichte, die so unscheinbar daherkommen, dass sie selbst von Fachleuten oft nur als Fu\u00dfnote wahrgenommen werden. Die Einf\u00fchrung der Fused-Multiply-Add-Instruktion (FMA) in breite Consumer-Prozessoren mit Intels Haswell-Architektur im Jahr 2013 geh\u00f6rt zweifellos dazu. Auf den ersten Blick mag es wie eine weitere Optimierung unter vielen wirken: eine Hardware-Operation, die a \u00d7 b + c<\/code> in einem einzigen Schritt berechnet. Doch wer genauer hinsieht, erkennt, dass hier nicht blo\u00df eine Rechenoperation beschleunigt wurde. Es wurde das fundamentale Verh\u00e4ltnis zwischen Geschwindigkeit und Genauigkeit neu verhandelt \u2013 mit Konsequenzen, die von der Klimamodellierung \u00fcber die kryptographische Sicherheit bis hin zur Frage reichen, ob zwei Computer \u00fcberhaupt jemals dasselbe Ergebnis liefern k\u00f6nnen.<\/p>\n\n\n\n

Was FMA tats\u00e4chlich tut \u2013 und warum das mehr ist als eine Abk\u00fcrzung<\/h3>\n\n\n\n

Die konventionelle Berechnung von a \u00d7 b + c<\/code> erfolgt in zwei getrennten Schritten: Zuerst wird das Produkt a \u00d7 b<\/code> berechnet und auf die Zielgenauigkeit gerundet. Dann wird dieses gerundete Produkt zu c<\/code> addiert und das Ergebnis erneut gerundet. Jeder dieser Schritte f\u00fchrt zu einem Informationsverlust, der sich in der numerischen Analyse als \u201eRundungsfehler“ manifestiert. FMA hingegen berechnet das Produkt mit voller interner Pr\u00e4zision \u2013 das hei\u00dft, der Zwischenwert der Multiplikation bleibt mit allen signifikanten Stellen erhalten \u2013 und f\u00fchrt erst bei der finalen Addition die Rundung durch. Das Ergebnis ist eine Operation mit nur einer einzigen Rundung statt zweier.<\/p>\n\n\n\n

Diese scheinbar triviale Differenz hat es in sich. Die IEEE-754-Norm f\u00fcr Gleitkommaarithmetik, die seit 2008 auch die fused multiply-add Operation spezifiziert, fordert explizit, dass (A \u00d7 B) + C<\/code> so berechnet wird, \u201eals ob mit unbegrenzter Genauigkeit und Reichweite gerechnet und erst am Ende auf das Zielformat gerundet w\u00fcrde“ . In der Praxis bedeutet dies: Der maximale Fehler halbiert sich im Vergleich zur konventionellen Methode. F\u00fcr eine einzelne Operation mag das vernachl\u00e4ssigbar erscheinen. F\u00fcr eine Matrixmultiplikation mit Millionen von Operationen, f\u00fcr ein Skalarprodukt in einem iterativen L\u00f6sungsverfahren oder f\u00fcr die Auswertung eines Polynoms hohen Grades summiert sich dieser Vorteil jedoch zu einem qualitativen Sprung in der Vertrauensw\u00fcrdigkeit numerischer Ergebnisse.<\/a><\/p>\n\n\n\n

Besonders anschaulich wird die Bedeutung an einem klassischen Problem der numerischen Mathematik: der Berechnung der Diskriminante einer quadratischen Gleichung. Die Formel \u0394 = b\u00b2 - 4ac<\/code> ist ber\u00fcchtigt f\u00fcr katastrophale Ausl\u00f6schung, wenn b\u00b2<\/code> und 4ac<\/code> nahezu gleich gro\u00df sind. Wird b\u00b2<\/code> zun\u00e4chst gerundet und dann von einem ebenfalls gerundeten 4ac<\/code> subtrahiert, k\u00f6nnen die entscheidenden Stellen im Rauschen untergehen. FMA hingegen erlaubt es, den Fehler der Operation zu extrahieren und f\u00fcr eine kompensierte Berechnung zu nutzen \u2013 ein Verfahren, das als \u201eError-Free Transformation“ bekannt ist und die Genauigkeit signifikant erh\u00f6ht . Der franz\u00f6sische Informatiker Claude-Pierre Jeannerod und seine Kollegen haben gezeigt, dass sich mit FMA sogar Algorithmen konstruieren lassen, die das exakte Ergebnis einer Gleitkommaoperation in zwei Zahlen aufspalten \u2013 eine Technik, die als \u201eDouble-Word-Arithmetik“ die Grundlage f\u00fcr hochpr\u00e4zise Berechnungen auf Standardhardware bildet .<\/a><\/a><\/p>\n\n\n\n

Der lange Weg von der Idee zur Siliziumfl\u00e4che<\/h3>\n\n\n\n

So elegant die mathematische Idee auch ist, so anspruchsvoll ist ihre hardwaretechnische Umsetzung. Ein FMA-f\u00e4higer Gleitkommaprozessor muss das Produkt der beiden Operanden mit voller Breite berechnen \u2013 bei doppelter Genauigkeit sind das 106 Bit f\u00fcr das Produkt aus zwei 53-Bit-Mantissen \u2013 und dieses breite Zwischenergebnis dann mit dem dritten Operanden alignen, addieren, normalisieren und runden. Die Herausforderung besteht darin, diese Schritte zu pipelinisieren, ohne dass die Latenz unakzeptabel wird oder die Chipfl\u00e4che explodiert. Eine Studie aus dem Jahr 2012 zeigte, dass eine IEEE-konforme FMA-Einheit etwa 5 bis 10 Prozent mehr Ressourcen ben\u00f6tigt als eine nicht-fusionierte Implementierung, daf\u00fcr aber den entscheidenden Genauigkeitsvorteil liefert .<\/a><\/p>\n\n\n\n

Interessant ist dabei die historische Entwicklung: W\u00e4hrend FMA in der Welt der Hochleistungsrechner und Grafikprozessoren bereits deutlich fr\u00fcher Einzug hielt \u2013 IBM bot entsprechende Instruktionen in der Power-Architektur, und GPUs nutzten FMA intensiv f\u00fcr Grafikberechnungen \u2013, dauerte es bis zur x86-Welt deutlich l\u00e4nger. AMD f\u00fchrte FMA3 mit der Piledriver-Architektur ein, Intel zog mit Haswell nach . Die Ironie dabei: Intel hatte zuvor mit FMA4 eine konkurrierende Variante unterst\u00fctzt, die vier Operanden verwendete, w\u00e4hrend FMA3 mit drei Operanden auskommt. Der Markt entschied sich schlie\u00dflich f\u00fcr FMA3, und mit Haswell wurde die Instruktion \u00fcber die AVX2-Befehlssatzerweiterung breit verf\u00fcgbar .<\/a><\/p>\n\n\n\n

Die Auswirkungen auf die Rechenleistung waren betr\u00e4chtlich. Wie das NAS Supercomputing Support Center dokumentiert, konnte ein Haswell-Kern durch die Kombination von 256-Bit-Vektorregistern mit zwei FMA-f\u00e4higen Gleitkommaeinheiten bis zu 16 Gleitkommaoperationen pro Taktzyklus ausf\u00fchren \u2013 doppelt so viele wie die Vorg\u00e4ngergeneration Sandy Bridge . F\u00fcr wissenschaftliche Anwendungen, die von dichten Matrixmultiplikationen dominiert werden, bedeutete dies eine Verdopplung des theoretischen Spitzen durchsatzes. Doch der eigentliche Gewinn lag nicht in der Geschwindigkeit, sondern in der M\u00f6glichkeit, bei gleicher Geschwindigkeit genauere Ergebnisse zu erzielen \u2013 oder bei gleicher Genauigkeit schneller zu rechnen.<\/a><\/p>\n\n\n\n

Die Schattenseite der Genauigkeit: Reproduzierbarkeit als Opfer<\/h3>\n\n\n\n

Hier beginnt die eigentliche Kontroverse, die bis heute nachhallt. Denn so segensreich FMA f\u00fcr die numerische Genauigkeit einzelner Operationen ist, so problematisch ist seine Einf\u00fchrung f\u00fcr die Reproduzierbarkeit von Berechnungen. Das liegt an einer fundamentalen Eigenschaft der Gleitkommaarithmetik: Sie ist nicht assoziativ. Die Reihenfolge, in der Operationen ausgef\u00fchrt werden, beeinflusst das Ergebnis. Wenn ein Compiler nun entscheidet, ob er a \u00d7 b + c<\/code> als FMA-Instruktion oder als zwei getrennte Operationen ausf\u00fchrt, kann dies das Ergebnis ver\u00e4ndern \u2013 und zwar nicht nur im letzten Bit, sondern unter Umst\u00e4nden dramatisch, wenn die Berechnung sensitiv auf Rundungsfehler reagiert.<\/p>\n\n\n\n

Der franz\u00f6sische Informatiker Florent de Dinechin hat dieses Problem pointiert zusammengefasst: Wenn Sie sqrt(b*b - 4*a*c)<\/code> schreiben, wissen Sie dann, wie es kompiliert wird? Die Antwort h\u00e4ngt vom Compiler, den Optimierungsflags und der Zielarchitektur ab . GCC etwa deaktiviert die FMA-Nutzung standardm\u00e4\u00dfig, es sei denn, spezielle Flags wie -mfma<\/code> oder -march=haswell<\/code> werden gesetzt. Doch selbst dann bleibt die Frage, ob der Compiler eine gegebene Operation tats\u00e4chlich fusioniert oder nicht, oft undurchsichtig. Das NASA-Support-Dokument bringt es auf den Punkt: \u201eTurn off FMA if you want your results to match legacy ones“ . Mit anderen Worten: Wer reproduzierbare Ergebnisse \u00fcber verschiedene Architekturen hinweg ben\u00f6tigt, muss auf den Genauigkeitsvorteil von FMA verzichten \u2013 ein Dilemma, das particularly in der Klimaforschung, der Finanzmodellierung und allen Bereichen schmerzt, in denen numerische Simulationen \u00fcber Jahre hinweg vergleichbar bleiben m\u00fcssen.<\/a><\/a><\/p>\n\n\n\n

Diese Spannung zwischen Genauigkeit und Reproduzierbarkeit ist keineswegs ein nebens\u00e4chliches Implementierungsdetail. Sie ber\u00fchrt eine Grundfrage der wissenschaftlichen Informatik: Was bedeutet es, wenn zwei Computer dasselbe Programm ausf\u00fchren und unterschiedliche Ergebnisse liefern? Die IEEE-754-Norm hat durch die Einf\u00fchrung von FMA eine neue Dimension der Unsicherheit geschaffen \u2013 nicht weil die Norm fehlerhaft w\u00e4re, sondern weil sie eine Operation definiert, deren Verwendung im Ermessen des Compilers liegt. Die Folge ist eine Situation, in der die numerische Analyse zwar immer pr\u00e4zisere Fehlerschranken liefern kann, die tats\u00e4chliche Fehlercharakteristik einer konkreten Berechnung jedoch von Faktoren abh\u00e4ngt, die f\u00fcr den Anwender oft intransparent bleiben.<\/p>\n\n\n\n

Jenseits der CPU: FMA als universelles Prinzip<\/h3>\n\n\n\n

W\u00e4hrend die x86-Debatte um FMA3 und FMA4 l\u00e4ngst Geschichte ist, hat die Idee der fusionierten Multiply-Add-Operation l\u00e4ngst weitere Kreise gezogen. In der Welt der k\u00fcnstlichen Intelligenz ist FMA aus den Tensor-Prozessoren nicht mehr wegzudenken. Google’s TPU, NVIDIAs Tensor Cores und eine Vielzahl von KI-Beschleunigern setzen auf Varianten der fusionierten Multiplikation-Addition, oft in reduzierten Genauigkeiten wie FP16 oder sogar FP8. Ein Patent aus dem Jahr 2023 beschreibt eine Mixed-Precision-FMMA-Einheit, die zwei FP8-Produkte gleichzeitig mit einem FP16-Addenden verrechnet \u2013 eine Operation, die f\u00fcr das Training tiefe neuronaler Netze essenziell ist . Die Ironie: W\u00e4hrend die wissenschaftliche Gemeinschaft \u00fcber die Reproduzierbarkeitsprobleme von FMA auf CPUs diskutiert, hat die KI-Hardware FMA l\u00e4ngst als selbstverst\u00e4ndlichen Grundbaustein integriert \u2013 mit ganz eigenen Genauigkeitsimplikationen, die noch kaum systematisch untersucht sind.<\/a><\/p>\n\n\n\n

Auch auf FPGAs und in eingebetteten Systemen spielt FMA eine wachsende Rolle. Eine Arbeit \u00fcber die Implementierung einer Single-Precision-FMA-Einheit auf einem Virtex-4-FPGA zeigt, dass die fusionierte Architektur dort besonders attraktiv ist, weil die Pipeline-Struktur von FPGAs die zus\u00e4tzlichen Pipelinestufen der FMA-Einheit quasi kostenlos bereitstellt . F\u00fcr Anwendungen in der Fahrzeugtechnik oder der industriellen Steuerung, wo Zuverl\u00e4ssigkeit und Determinismus oft wichtiger sind als rohe Rechenleistung, er\u00f6ffnet dies neue M\u00f6glichkeiten \u2013 vorausgesetzt, die Entwickler sind sich der ver\u00e4nderten Rundungseigenschaften bewusst.<\/a><\/p>\n\n\n\n

Die unbeantwortete Frage der Verantwortung<\/h3>\n\n\n\n

Nach \u00fcber einem Jahrzehnt breiter FMA-Verf\u00fcgbarkeit in Consumer-Hardware bleibt eine Frage erstaunlich unbeantwortet: Wie viele der unz\u00e4hligen Programme, die tagt\u00e4glich auf FMA-f\u00e4higen Prozessoren laufen, wurden tats\u00e4chlich im Hinblick auf die ver\u00e4nderten Rundungseigenschaften \u00fcberpr\u00fcft? Die ehrliche Antwort lautet: vermutlich die wenigsten. Die meisten Entwickler verlassen sich darauf, dass ihre Compiler \u201edas Richtige“ tun, ohne zu wissen, ob FMA aktiviert ist oder nicht. Die meisten Numerik-Bibliotheken \u2013 von BLAS \u00fcber LAPACK bis zu den mathematischen Funktionen der Standard-C-Bibliothek \u2013 wurden l\u00e4ngst f\u00fcr FMA optimiert, oft mit dem Argument der h\u00f6heren Genauigkeit. Doch die Kehrseite, die ver\u00e4nderte Reproduzierbarkeit, wird selten kommuniziert.<\/p>\n\n\n\n

Dabei g\u00e4be es durchaus Ans\u00e4tze, das Dilemma zu entsch\u00e4rfen. Die Forschung zu \u201eError-Free Transformations“ und Double-Word-Arithmetik zeigt, dass sich mit FMA nicht nur genauere, sondern auch robusterere Algorithmen konstruieren lassen \u2013 Algorithmen, die den Rundungsfehler explizit berechnen und kompensieren, anstatt sich auf das Standardverhalten zu verlassen . Doch diese Techniken sind rechenintensiver und haben sich in der Breite nicht durchgesetzt. Solange der Markt Geschwindigkeit \u00fcber Vorhersagbarkeit stellt, wird die stille Revolution der Gleitkommarechnung weitergehen \u2013 mit allen Segnungen und allen Unsicherheiten, die sie mit sich bringt.<\/a><\/a><\/p>\n\n\n\n

Fazit: Eine Operation, die mehr ver\u00e4ndert hat, als sie berechnet<\/h3>\n\n\n\n

Fused Multiply-Add ist mehr als eine Hardware-Instruktion. Es ist ein Kompromiss, der die numerische Genauigkeit einzelner Operationen erh\u00f6ht, indem er die Reproduzierbarkeit \u00fcber Architekturgrenzen hinweg opfert. Es ist ein Beispiel daf\u00fcr, wie eine scheinbar technische Entscheidung \u2013 die Definition einer IEEE-Norm und ihre Umsetzung in Silizium \u2013 weitreichende Konsequenzen f\u00fcr die wissenschaftliche Praxis hat. Und es ist eine Erinnerung daran, dass Fortschritt in der Informatik selten eindimensional ist: Jede Erh\u00f6hung der Rechenleistung oder Genauigkeit bringt neue Komplexit\u00e4t mit sich, die verstanden und beherrscht werden muss.<\/p>\n\n\n\n

Die n\u00e4chste Generation von Prozessoren wird FMA nicht mehr als optionale Erweiterung betrachten, sondern als selbstverst\u00e4ndliche Grundlage. In einer Welt, in der KI-Modelle mit Billionen von Parametern auf Hardware trainiert werden, die auf fusionierte Multiply-Add-Operationen optimiert ist, wird die Frage nach der Reproduzierbarkeit dieser Berechnungen nicht leiser werden. Vielleicht ist es an der Zeit, dass die Informatikgemeinschaft beginnt, FMA nicht nur als Werkzeug zu nutzen, sondern seine Implikationen ebenso ernsthaft zu diskutieren wie die Algorithmen, die darauf aufbauen. Denn am Ende z\u00e4hlt nicht nur, wie schnell wir rechnen, sondern ob wir den Ergebnissen trauen k\u00f6nnen.<\/p>\n\n\n\n

\n\n\n\n

<\/p>\n\n\n\n

Quellen:<\/strong><\/p>\n\n\n\n

    \n
  1. Boldo, S., & Melquiond, G. (2008). Emulation of FMA and correctly-rounded sums: proved algorithms using rounding to odd. IEEE Transactions on Computers<\/em>, 57(4), 462-471. (sowie die darauf aufbauende Arbeit: \u201eEmulation of the FMA in rounded-to-nearest floating-point arithmetic“, HAL preprint hal-04575249, 2024) <\/a><\/a><\/li>\n\n\n\n
  2. IEEE Computer Society. (2008). IEEE Standard for Floating-Point Arithmetic (IEEE 754-2008). DOI: 10.1109\/IEEESTD.2008.4610935. <\/a><\/li>\n\n\n\n
  3. Ozaki, K., & Koizumi, T. (2025). Fast and accurate algorithm for matrix multiplication using fused multiply-add. JSIAM Letters<\/em>, 17, 13-16. <\/a><\/li>\n\n\n\n
  4. De Dinechin, F. (2013). FMA: the good, the bad, and the ugly. Pr\u00e4sentation, CNRS\/INRIA. <\/a><\/li>\n\n\n\n
  5. NASA High-End Computing Capability. (2020). Haswell Processors: Main Features of AVX2. NAS Support Knowledge Base. <\/a><\/li>\n\n\n\n
  6. Galal, S., & Horowitz, M. (2011). Energy-Efficient Floating-Point Unit Design. IEEE Transactions on Computers<\/em>, 60(7), 913-922. (sowie die zugeh\u00f6rige Stanford-Dissertation \u201eFloating Point Arithmetic is Crucial to Computer Performance“) <\/a><\/li>\n\n\n\n
  7. EPFL Graph Search. FMA instruction set \u2013 \u00dcberblick \u00fcber FMA3\/FMA4 und Prozessorunterst\u00fctzung.<\/li>\n\n\n\n
  8. Patent US 11,455,142 B2 (2023). Mixed-precision fused multiply-add (FMMA) architecture for neural network acceleration. <\/a><\/li>\n\n\n\n
  9. FPGA-Implementierung: \u201eFloating-Point Single-Precision Fused Multiplier-adder Unit on FPGA“, Max-Planck-Institut f\u00fcr Plasmaphysik \/ IPFN-ATCA Projekt<\/li>\n<\/ol>","protected":false},"excerpt":{"rendered":"

    Von DerSchneider Es gibt Entscheidungen in der Computergeschichte, die so unscheinbar daherkommen, dass sie selbst von Fachleuten oft nur als Fu\u00dfnote wahrgenommen werden. Die Einf\u00fchrung der Fused-Multiply-Add-Instruktion (FMA) in breite Consumer-Prozessoren mit Intels Haswell-Architektur im Jahr 2013 geh\u00f6rt zweifellos dazu. Auf den ersten Blick mag es wie eine weitere Optimierung unter vielen wirken: eine Hardware-Operation, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[40,18],"tags":[11430,11423,11432,11428,11431,11429,11416],"class_list":["post-7739","post","type-post","status-publish","format-standard","hentry","category-denkwerkzeuge","category-im-kopf-methoden-werkzeuge","tag-fused-multiply-add","tag-gleitkommaarithmetik","tag-haswell-architektur","tag-ieee-754-2","tag-numerische-genauigkeit","tag-reproduzierbarkeit","tag-rundungsfehler"],"_links":{"self":[{"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/posts\/7739","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/comments?post=7739"}],"version-history":[{"count":1,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/posts\/7739\/revisions"}],"predecessor-version":[{"id":7740,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/posts\/7739\/revisions\/7740"}],"wp:attachment":[{"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/media?parent=7739"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/categories?post=7739"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/technodidact.de\/en\/wp-json\/wp\/v2\/tags?post=7739"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}