Ist ein Sonderfall des Überwachten Lernens, die Modelle basieren auf neuronalen Netzen mit extrem vielen verdeckten Schichten. Diese Anzahl an Schichten ist namensgebend und unterscheidet sie von regulären neuronalen Netzen.
Die Rechenleistung zum Training solcher Modelle ist erst seit dem Jahr ~2000 allgemein verfügbar. Dieses aufwändige Training erfordert enorm viele gelabelte Trainingsdaten.
Tensoren
Ein Tensor ist eine Struktur um Daten in mehrdimensionalen Arrays zu halten.
- 0D Tensor oder ‘Skalar’ ist ein einzelner Zahlenwert
- 1D Tensor ist ein Vektor
- 2D Tensor ist eine Matrix
- Höhere Dimensionen (n-D Tensor)
Sie werden eingesetzt um Datentypen wie Bilder oder Texte darzustellen und Eingabedaten zu organisieren.
Auch die Gewichte der Netze werden als Tensoren dargestellt.
Keras
Eine Python Library mit der Neuronale Netzte erstellt und trainiert werden können.
In den Präsentationsfolien wird beschrieben wie man die Netze konstruiert und welche Parameter wann gesetzt werden sollten.
Beispielsweise sollte in einem Netz zur Klassifikation in mehrere Kategorien “Softmax” als Aktivierungsfunktion verwendet werden. So werden die Ausgaben normiert und geben eine Art Wahrscheinlichkeit an.
Ebenfalls wird beschrieben wie die Berechnung durch Einsatz von GPUs oder Google-Cloud-Rechenleistung beschleunigt werden kann.