Ich arbeite aktuell an einem Hobbyprojekt bei dem ich mittels KI deutsche Sätze ins Bairische übersetzen möchte, wie beispielsweise auf der Webseite Dialektl.com. Ich arbeite hierfür mit Tensorflow, eine Open-Source-Plattform für maschinelles Lernen und Deep Learning. Tensorflow ist eine der am häufigsten verwendeten Bibliotheken für Deep Learning, da sie eine breite Palette von Funktionen und eine sehr aktive Entwicklergemeinschaft bietet. Für fast alle Machine Learning Modelle ist der Trainingsprozess äußert rechenaufwendig. Um die Geschwindigkeit des Trainingsprozesses zu erhöhen empfiehlt es sich die Grafikkarte (GPU) des Computers anstelle des Prozessors (CPU) zu verwenden.
Mein naiver Gedanke war, dass Tensorflow automatisch die GPU benutzen würde. Man muss allerdings erst die nachfolgende Schritt für Schritt Anleitung befolgen, damit Tensorflow die GPU überhaupt erkennt und nutzt.
Das könnte dich auch interessieren: Tensorflow.js oder Tensorflow (Python) nutzen?
DISCLAIMER: Ab Version 2.11 unterstütz Tensorflow keine GPUs mehr unter Windows! Entweder wechselt man das Betriebssystem oder downgraded Tensorflow auf Version 2.10. Außerdem wird eine Grafikkarte von NVIDIA benötigt!
1. Überprüfen der gewünschten CUDA und cuDNN Versionen
Zunächst sollte man herausfinden welche CUDA und cuDNN Version von TensorFlow benötigt wird. Auf der Webseite werden alle Versionen von Tensorflow und die gewünschte CUDA Versionen bzw. cuDNN Versionen aufgelistet: https://www.tensorflow.org/install/source_windows#gpu
2. Überprüfen der eigenen Grafikkarte
Wie bereits im Disclaimer erwähnt muss die Grafikkarte von NVIDIA sein. Auf der Webseite https://developer.nvidia.com/cuda-gpus kann man seine eigene GPU suchen und die „Compute Capability“ überprüfen. Mindestvoraussetzung für Tensorflow ist ein Wert von 3.5, der aber von allen aktuellen Grafikkarten erfüllt wird.
3. Installieren der neusten NVIDIA-Treiber
Um die GPU für TensorFlow zu aktivieren, müssen die neuesten NVIDIA-Treiber installiert sein. Einfach auf die NVIDIA-Website gehen den neuesten Treiber die eigene Grafikkarte herunterladen.
4. Installieren von Visual Studio (optional)
In TensorFlow wurden einige Teile der Bibliothek in C++ geschrieben, um die Leistung zu maximieren. Daher kann die Installation von Visual Studio dazu beitragen, die Kompatibilität und Leistung von TensorFlow zu verbessern: https://visualstudio.microsoft.com/de/vs/
Es reicht hier einzelne Komponenten auszuwählen. Ich habe hier alles mit C++ in „Compiler, Buildtools und Runtimes“ ausgewählt und zusätzlich noch MS Build, was wiederum ein paar weitere Komponenten automatisch installiert. Insgesamt aber trotzdem über 25 GB!
5. Installieren von CUDA-Toolkit
Das CUDA-Toolkit ist ein Toolkit für die Entwicklung von CUDA-Anwendungen, das von NVIDIA bereitgestellt wird. TensorFlow benötigt CUDA, um auf der GPU ausgeführt zu werden. Die in Schritt 1 verlangte Version des CUDA-Toolkits einfach von der NVIDIA-Website herunterladen und installieren: https://developer.nvidia.com/cuda-downloads
6. Installieren der cuDNN-Bibliotheken
cuDNN ist eine Bibliothek von Deep-Learning-Primitiven, die von NVIDIA bereitgestellt wird. TensorFlow benötigt zusätzlich cuDNN, um auf der GPU ausgeführt zu werden. cuDNN ist kostenlos, aber man muss einen Account als NVIDIA Developer erstellen: https://developer.nvidia.com/rdp/cudnn-download
Nach dem Download muss der Inhalt entpackt werden. Der Inhalt wirdin dem Programme Ordner in „NVIDIA GPU Computing Toolkit“ hinein verschoben. Nach dem Verschieben den Dateipfad des „bin“ Ordners kopieren.
7. PATH Variable setzen
Öffne die Umgebungsvariablen in dem du den Begriff einfach in die Windows Suche eingibst. Dann die Systemvariable „path“ bearbeiten und einen neuen Eintrag hinzufügen mit dem Dateipfad des „bin“ Ordners aus dem vorherigem Schritt.
8. Erstellen einer virtuellen Umgebung
Es wird empfohlen, TensorFlow in einer virtuellen Umgebung zu installieren, um Konflikte mit anderen Python-Paketen zu vermeiden. Idealerweise mittels Anaconda. Einfach hier downloaden und installieren: https://www.anaconda.com/download
Anschließend den Anaconda Navigator starten. Unter Environments > Create neue Umgebung erstellen. Danach wieder auf Home klicken und eine vorhandene Python IDE von hier aus launchen. Es sollten auch zusätzliche IDEs wie PyCharm nach dem Download automatisch hier angezeigt werden.
9. Verifizieren der Tensorflow GPU Unterstützung
Um zu überprüfen, ob die TensorFlow GPU Unterstützung erfolgreich erkannt wurde, sollte zunächst in der Python IDE das Tensorflow Package installiert werden. Aber dabei beachten unter Windows wird die GPU nur bis Version 2.10 erkannt! In den nachfolgenden Versionen nicht mehr! Es muss also Tensorflow 2.10 installiert werden.
Anschließend folgenden Code laufen lassen um eine liste der verfügbaren GPUs anzuzeigen:
import tensorflow as tf
tf.config.list_physical_devices('GPU')
Ein Gedanke zu “Tensorflow GPU aktivieren unter Windows”