Matrixmultiplikationen spielen eine wichtige Rolle in Bereichen wie Deep Learning, Videospiele und wissenschaftliches Rechnen. Daher können sogar minimale Beschleunigungen dieser Prozesse zu erheblichen Zeit- und Ressourcenersparnissen führen. Die renommierte Forschungsorganisation DeepMind hat kürzlich eine bahnbrechende Methode entwickelt, um die Effizienz der Matrixmultiplikation zu steigern: AlphaTensor, eine künstliche Intelligenz, die Algorithmen entdeckt und multipliziert schneller verglichen mit bisher bekannten menschlichen Algorithmen.
Matrixmultiplikation erfordert wesentlich mehr Rechenleistung als Addition und Subtraktion. Entwickler nutzen häufig algebraische Eigenschaften, um manuell Algorithmen für Matrixmultiplikation zu finden, die weniger Multiplikationen benötigen. Eine Möglichkeit, die Anzahl der Multiplikationen systematisch zu reduzieren, besteht darin, Tensoren (hochdimensionale Matrizen) zu verwenden, um Matrixmultiplikationsalgorithmen zu repräsentieren. Es ist einfach, einen Tensor aus drei Matrizen zu erstellen, aber das Zerlegen eines Tensors in einzelne Matrizen ist komplexer und kann zu Tausenden von potenziellen Matrixkombinationen führen. Jede gültige Zerlegung des Tensors in drei Matrizen entspricht einem gültigen Algorithmus für die Matrixmultiplikation. Die Anzahl der Spalten in den Matrizen entspricht der Anzahl der benötigten Multiplikationen.
Die Forscher von DeepMind verwendeten den Ansatz des Reinforcement Learning, der bereits bei AlphaZero erfolgreich war, um AlphaTensor zu entwickeln. Dabei wurde der Algorithmus darauf trainiert, das Zerlegen von Tensoren in Matrizen mit möglichst wenigen Spalten (und daher weniger Multiplikationen) zu optimieren.
Der Trainingsdatensatz für AlphaTensor bestand aus Zerlegungen von Tensoren, die durch zufällige Generierung von drei Matrizen und deren Zusammensetzung zu einem Tensor erzeugt wurden.
AlphaTensor wurde mit einem Belohnungssystem trainiert, das darauf abzielte, die Anzahl der benötigten Multiplikationen zu minimieren. Während des Trainingsprozesses versuchte der Algorithmus, den Tensor in drei Matrizen zu zerlegen, dabei wurden die Werte in den vorhergesagten Spalten auf {-2, -1, 0, 1, 2} beschränkt, um Präzisionsprobleme zu vermeiden, die bei Gleitkommazahlen auftreten könnten.
Die Ergebnisse des AlphaTensor-Modells sind beeindruckend: Es gelang der KI, bekannte Matrixmultiplikationsalgorithmen für Matrizen mit bis zu fünf Reihen und Spalten (5x5) wiederzuentdecken.
Besonders bemerkenswert ist ein von AlphaTensor entdeckter Algorithmus zum Multiplizieren von zwei 4x4 Matrizen mit Binärzahlen, der nur 47 Multiplikationen benötigt. Das entspricht einer signifikanten Verbesserung gegenüber dem Strassen-Algorithmus, der 49 Multiplikationen benötigt und seit seiner Erstellung im Jahr 1969 nicht weiter verbessert wurde.
Darüber hinaus konnte AlphaTensor bei der Multiplikation von 4x5- und 5x5-Matrizen mit reellen Zahlen einen Algorithmus entwickeln, der nur 76 Multiplikationen benötigt, während das bisherige Bestverfahren 80 Multiplikationen erforderte.
Als zusätzlichen Vorteil entdeckte das Team hinter AlphaTensor Algorithmen, die auf der Nvidia V100-GPU im Median 8,5 Prozent schneller und auf TPUs 10,3 Prozent schneller arbeiten als die herkömmliche Implementierung.
AlphaTensor zeigt, dass KI-Modelle in der Lage sind, in exakten wissenschaftlichen Feldern wie Mathematik, Ergebnisse von höchster Qualität zu erzielen, und zwar mit einer Genauigkeit, die bisher nur menschliche Experten erreicht haben. Darüber hinaus zeigt AlphaTensor das enorme Potenzial der Synergie zwischen Mensch und Maschine: Menschen liefern einen Algorithmus (z. B. zur Matrixmultiplikation), und KI beschleunigt seinen Ablauf.