NeuronaleNetze05

12. Mai 05 

Wdh. Gradientenabstieg & Lernen
- bei sigmoider/logist. Fkt. wird Fehler nicht 0 (103)
- Lernrate kann zu klein (105) oder zu grosz (106) sein
- Problem: lokale & globalen Minima ohne weiteres nicht unterscheidbar (107)
- Erweiterungen / Varianten des Gradientenabstiegs (108ff)
    - Manhattantraining berücksichtigt nur das Vorzeichen des Gradienten
    - Momentum term berücksichtigt Vorgänger > Beschleunigung
    - Self-adaptive Backpropagation: individuelle Lernrate je Parameter
    - Quickpropagation: Fehlerfkt. durch Parabel angenähert
- Beispiel (115ff)
    - Analyse von Aktionenindizes über 10 Jahre um DAX-Entwicklung zu prognostizieren
- Notwendige Analysen  
    1. Sensitivitätsanalyse (117)
        - Relevanz von Werten und kleinen Änderungen für das Ergebnis
    2. Fitting
        - overfitting
            - mehr Parameter als eigentliche Punkte
            - N.N. lernt die Punkte auswendig
        - underfitting
            - Lösung zu einfach, trifft nur geringe Anzahl an Punkten
        -> Herangehensweise
            - Wahl der # Schichten und # Neuronen
            - Pruning: irrelevante Schichten/Neuronen entfernen
            - Optical brain damage: durch Zerstörung von Neuronen bessere Lösung
    3. Integration von Vorwissen
        - z.B. Neuro-Fuzzy-Systeme
    4. Validierung
        - nach Entwicklung des Systems mit neuen Daten testen, nicht mit denen, die 
          zur Entwicklung des NNs bereitstanden
        - z.B. cross validation
        
das ist soweit alles etabliert und viele Leute kennen sich damit aus ...



- globale Klassifikation
    - g. Trennung der Werte durch Gerade
- lokale Klassifikation
    - Prototyp aus jeweiliger Menge klassifiziert via Entfernung
    - eukl. Abstand > äquidistant auf Kreis
    - Verallgemeinerung: eine Metrik
        - alle Funktionen die zwei Punkte in eine reelle Zahl abbilden
            d(x,y) = 0              ~ Punkte identisch
            d(x,y) = d(y,x)         ~ umkehrbar
            d(x,z) < d(x,y)+d(y,z)  ~ Dreiecksungleichung
        - Beispiele (123)


Radiales Basis-Funktions-Netzwerk (121)

1 nicht untereinander verbundene Eingabe- und Ausgabeschicht
2 verborgene Schicht
    - Eingabge von Ausgabe der Eingabeschicht
    - Ausgabe an Eingabe von Ausgabeschicht

Radiale Funktion: Aktivierungsfunktion der verborgenen Schicht (122)
- monoton fallend bei f(0)=1 und f(unendlich)=0

Beispiel

zurück: Neuronale Netze