Ein von Grund auf programmiertes Feedforward-Netz mit Backpropagation. Kein Framework, jeder Rechenschritt nachvollziehbar.
1 · Beispiel & Daten iTrainingsdaten sind die Beispiele, aus denen das Netz die Regel selbst herausfinden soll – nie die Regel direkt. Jede Zeile ist ein Beispiel: links die Eingänge, rechts (nach dem >) die gewünschten Ausgänge. Das Netz vergleicht seine Vorhersage mit dem Soll und justiert nach. Was dich erwartet: Mit den Vorlagen unten lädst du fertige Aufgaben (Kurven, Trennflächen, Mini-Bilder). Du kannst Werte auch frei ändern oder eigene Daten eintippen. Faustregel: mehr und sauberere Beispiele → bessere Vorhersage; zu wenige → das Netz rät.
Erste Zeile = Spaltennamen. Trenne Eingänge von Ausgängen mit ">". Werte mit Komma. Beliebig viele Spalten und Zeilen.
iHält einen Teil der Daten vom Training zurück und misst den Fehler nur darauf. So sieht man Überanpassung: sinkt der Trainingsfehler weiter, während der Testfehler wieder steigt, lernt das Netz die Daten auswendig statt die Regel. Probiere „Gerade + Rauschen" mit einem großen Netz.
Im Tab „Fehler-Kurve" erscheint dann eine zweite, rote Kurve für die Testdaten.
2 · Architektur iArchitektur: hier legst du fest, wie das Netz gebaut ist – Aufgabentyp, Anzahl und Größe der versteckten Schichten, Aktivierungsfunktion, Optimierer, Lernrate und Skalierung. Mehr/größere Schichten können Komplexeres lernen, brauchen aber mehr Daten und neigen eher zur Überanpassung.
iRegression: das Netz sagt eine fortlaufende Zahl vorher (z. B. Kochzeit). Linearer Ausgang, Fehlermaß MSE. Klassifikation: das Netz entscheidet zwischen Klasse 0 und 1 (z. B. innen/außen). Sigmoid-Ausgang von 0..1, Fehlermaß BCE (Kreuzentropie), zusätzlich die Genauigkeit.
Bestimmt Ausgangs-Funktion und Fehlermaß. Bei Klassifikation bleiben die Soll-Werte roh (0/1) und werden nicht skaliert.
iJede Zahl ist eine Schicht, der Wert ist die Anzahl Neuronen darin. 8,8 = zwei Schichten mit je 8 Neuronen. Jedes Neuron berechnet eine gewichtete Summe seiner Eingänge plus einen Bias und schickt das Ergebnis durch die Aktivierungsfunktion. Mehr Neuronen = das Netz kann kompliziertere, stärker gekrümmte Zusammenhänge abbilden – aber es wird langsamer und kann überanpassen.
z.B. "8,8" = zwei Schichten mit je 8 Neuronen. "12" = eine Schicht. Mehr Neuronen = mehr Kapazität für nichtlineare Muster.
iWie groß ein Lernschritt ist. Nach jedem Beispiel ändert das Netz jedes Gewicht um −Lernrate × Gradient. Der Gradient zeigt die Richtung, die den Fehler erhöht – wir gehen das Lernrate-fache in die Gegenrichtung. Zu groß: das Training springt über das Ziel und zappelt. Zu klein: es kriecht ewig. Typisch 0.01–0.1.
iDie Knickfunktion nach der gewichteten Summe. Ohne sie wäre das ganze Netz nur eine Gerade. tanh: S-Kurve von −1 bis 1, glatt, symmetrisch. sigmoid: S-Kurve von 0 bis 1. ReLU: gibt 0 für negative, sonst den Wert selbst – einfach und schnell, aber eckig. Sie macht das Netz erst fähig, Krümmungen zu lernen.
iDie Strategie, wie Gewichte angepasst werden. SGD: geht stur in Gradientenrichtung, bleibt in flachen Stellen hängen. Momentum: sammelt Schwung wie eine rollende Kugel und rollt durch flache Stellen. Adam: Schwung + individuelle Schrittweite pro Gewicht – lernt am zuverlässigsten. Alle drei nutzen denselben Gradienten, nur anders.
SGD = nur Gradientenrichtung, bleibt leicht in Plateaus hängen. Momentum = sammelt Schwung. Adam = Schwung + automatische Schrittweite pro Gewicht. Bei Wechsel zu Adam meist Lernrate ~0.01 wählen.
iSkaliert alle Werte in einen kleinen Bereich, bevor sie ins Netz gehen, und rechnet die Ausgabe danach zurück. Nötig, weil ein Neuron mit Rohwerten wie „180 Sekunden" und „3 Größe" gemischte Größenordnungen schlecht verarbeitet. [0,1]: Standard. [−1,1]: symmetrisch um Null – passt zu tanh und zu Funktionen wie x³ oder Sinus.
Symmetrisch hilft enorm bei Funktionen, die um Null punktsymmetrisch sind (z.B. x³, Sinus). tanh-Neuronen sind selbst symmetrisch um Null – dann passen Daten und Bausteine zusammen.
iEine Epoche = ein Durchgang durch alle Trainingszeilen. Dieser Wert legt fest, wie viele Epochen ein Klick auf „Training starten" rechnet. Mehr Epochen = mehr Übung = kleinerer Fehler, bis es sich nicht mehr verbessert. Nach dem Training einfach erneut klicken, um weitere Epochen anzuhängen.
iOnline: nach jedem einzelnen Beispiel wird sofort angepasst – schnell, aber zappelig. Batch: die Gradienten aller Beispiele werden gemittelt, dann ein Schritt pro Epoche – ruhigere, glattere Lernkurve. Das S in SGD steht für genau diesen Unterschied (stochastisch = einzeln).
Online passt oft schneller an, Batch ergibt stabilere Kurven.
3 · Curriculum (abschnittweise lernen) iCurriculum: begrenzt das Training zunächst auf einen Teil des Wertebereichs und weitet ihn dann aus – wie ein Lehrplan, der einfach beginnt. Das hilft bei schwierigen Funktionen, weil das Netz erst die grobe Form lernt, bevor Details dazukommen. „Auto-Curriculum“ weitet das Fenster während des Trainings automatisch.
Wähle ein Fenster: trainiere nur einen Abschnitt der Kurve (links, rechts oder Mitte). Hilft, wenn das Netz sonst in der Mitte hängenbleibt. Bezug ist der erste Eingang.
aktiv: gesamter Bereich
Auto: startet links klein und weitet das Fenster während des Trainings selbsttätig bis zum Ende aus.
4 · Mehrfach-Training (Statistik) iMehrfach-Training: startet dieselbe Aufgabe mehrmals mit zufälliger Anfangsinitialisierung und zeigt die Streuung der Endfehler. So erkennt man, ob ein Ergebnis stabil ist oder vom Zufall des Starts abhängt – wichtig, weil neuronale Netze nicht jedes Mal gleich gut lernen.
Trainiert N-mal von vorn, jeweils mit frischen Zufallsgewichten. Zeigt, wie stark das Ergebnis vom Startpunkt abhängt. Das beste Netz bleibt am Ende geladen.
5 · Versuch speichern / laden iSpeichert alle Einstellungen (Aufgabe, Schichten, Lernrate, Aktivierung, Optimierer, Skalierung, Update-Stil, Test-Anteil, Epochen) und die Trainingsdaten in einer JSON-Datei. So kannst du gezielte Versuche aufbauen, sichern und später oder mit anderen exakt wiederholen. Wahlweise wird auch der trainierte Zustand (die gelernten Gewichte) mitgespeichert – dann erscheint nach dem Import sofort das fertige Ergebnis, sonst muss noch trainiert werden. Es werden keine Daten im Browser gespeichert – nur eine Datei herunter- oder hochgeladen.
Als JSON-Datei – die Trainingsdaten sind immer dabei. Nichts wird im Browser gespeichert.
Epoche
0
Fehler (MSE)
–
Test-Fehler
–
Genauigkeit
–
Parameter
0
Datenzeilen
0
Netz-Struktur
Fehler-Kurve
Soll vs. Netz
Ebene · ansehen
Ebene · malen
Latent-Raum
Fehler-Landschaft
Mathematik
Was die Korrektur gerade macht
Rechnung im Detail
Trainiert genau diese eine Zeile einmal – Zahlen ändern sich sichtbar.
Klick „1 Lernschritt rechnen", um zu sehen, welche Gewichte sich wie ändern.
Rechnung dieses Neurons iDas ist exakt, was das Neuron tut, mit den aktuellen Zahlen. Du kannst es Schritt für Schritt auf Papier nachrechnen: jeden Eingang mit seinem Gewicht multiplizieren, alles plus Bias aufsummieren, dann durch die Aktivierungsfunktion schicken.
Klicke im Tab „Netz-Struktur" auf ein Neuron, um seine Rechnung Schritt für Schritt zu sehen.
Vorhersage testen iHier gibst du eigene Eingabewerte ein und das trainierte Netz sagt das Ergebnis voraus – auch für Werte, die nicht in den Trainingsdaten stehen. So prüfst du, ob das Netz die Regel wirklich verallgemeinert hat oder nur die Beispiele auswendig kennt. In der Trennfläche kannst du einen Punkt anklicken, um seine Werte hierher zu übernehmen.
Eingabewerte eingeben und „Berechnen" klicken.
Komplette Berechnung anzeigen
Hier sammelt das Netz seine Trainingsdaten selbst, statt aus einer Tabelle. Der Dino sieht 6 Sinne und steuert 2 Dinge: ob er springt und ob er den Sprung verlängert (höher). Bei hohen Kakteen lohnt sich das Strecken.
Lern-Methode iBeide suchen dasselbe: gute Gewichte – das „Gehirn“ des Dinos. Nur der Weg dahin ist gegensätzlich.
Selektion (Evolution): rechnet keine Richtung aus. Viele Dinos, jeder mit zufällig leicht veränderten Gewichten (Mutation). Gewertet wird nur, wie weit einer kommt – die Besten vererben, der Rest fällt weg. Fortschritt durch Auslese. Braucht keine ableitbare Fehlerformel, dafür viele Dinos und Geduld.
Belohnung (Versuch und Irrtum): ein einziger Dino. Aus jedem Ausgang (geschafft/Crash) berechnet Backpropagation die Richtung, in die jedes Gewicht muss, um den Fehler zu senken – Gradientenabstieg. Der Adam-Optimierer rollt mit Schwung (Momentum) ins „Tal“ des kleinsten Fehlers und wählt die Schrittweite pro Gewicht selbst. Zufällig ist hier nur, welchen Sprung-Abstand er ausprobiert.
Güte statt nur Überleben: Ein Durchgang zählt nicht bloß als „geschafft“, sondern wird nach Sicherheit bewertet – viel Luft über dem Kaktus und genug Abstand zum nächsten sind gut. Ein knapper Durchgang lehrt, etwas früher oder höher zu springen; so verbessert sich der Dino auch, ohne dafür sterben zu müssen.
Erfahrungsspeicher: Jeder Erfolg und jeder Crash landet in einem kleinen Gedächtnis und wird fortlaufend nachgeübt – so lernt der Dino auch zwischen den Kakteen weiter und kommt schneller voran.
Nachahmung (Lehrer): Du machst vor (Space = springen, halten = höher). Jede Boden-Entscheidung wird sofort zum Lehrbeispiel: „warten“ bei diesem Abstand bzw. „springen“ mit dieser Höhe. Das Netz stellt seine Gewichte so ein, dass es in jeder Lage deine Aktion vorhersagt (überwachtes Lernen). Es lernt nur, solange du steuerst – bei „KI übernimmt“ ist es eingefroren, und es kann nur, was du ihm zeigst.
Wann steigt die Kurve (Lehrer)? Sie misst, wie weit der weiße Schüler-Geist kommt. Sie steigt, sobald dein Sprung-Timing gut genug im Netz steckt, dass der Geist mehr Kakteen schafft – also wenn die Abstand→Aktion-Regel von dir übernommen ist.
Merksatz: Selektion = zufällig ändern und das Beste behalten. Belohnung = ausrechnen, wo es besser wird, und dorthin rollen. Nachahmung = nachmachen, was du vorzeigst.
Curriculum: beide starten leicht (langsam, niedrige Kakteen); hohe Kakteen kommen erst, wenn der Grundsprung sitzt.
Tipp: Du kannst denselben Dino in beiden Methoden weitertrainieren – einfach die Methode umschalten.
Versuch & Irrtum: ein Dino lernt aus jedem Ergebnis – geschafft bestärkt, Crash entmutigt. Mehr im (i).
iDie versteckten Schichten zwischen den 6 Eingängen und den 2 Ausgängen. Eine Zahl = eine Schicht (z. B. 6); mit Komma mehrere (z. B. „8,4“ = zwei Schichten). Probiere ruhig verschiedene Größen aus.
Eine Zahl = eine Schicht; mit Komma mehrere, z. B. „8,4“.
iWie viele Dinos gleichzeitig pro Generation laufen. Mehr = mehr Vielfalt, langsamer.
iAnteil der Gewichte, die bei der Vererbung zufällig verändert werden. Niedrig = Population konvergiert schnell, bleibt aber leicht in einer Sackgasse (lokales Optimum). Hoch = viel Erkundung, aber unruhig und selten stabil.
iSpielgeschwindigkeit. Schneller = Lernen sichtbar in Sekunden, aber ruckeliger. Das Tempo ändert nur, wie schnell geübt wird – nicht, was der Dino lernt.
Hält Tempo & Höhe konstant und dämpft den Zufall, damit der Dino den idealen Sprung in Ruhe einübt und schließlich sicher durchläuft. Markiert zudem die gelernte Sprung-Auslöse-Distanz.
iZeigt und setzt die Schwierigkeitsstufe (höher = schneller, engere Abstände, größere Kakteen). In der Automatik steigt sie selbst und das Feld zählt mit; im eingefrorenen Modus bleibt sie fest auf deinem Wert.
Aktuelles Level – einstellbar. Eingefroren bleibt es fest, sonst steigt es automatisch.
Was gerade passiert
Noch nicht gestartet.
Die Entscheidung des Dinos iLive: die 6 Sinne, die das Netz sieht, und seine 2 Ausgänge. Ausgang „Springen” über 0,5 = Sprung; Ausgang „Halten” über 0,5 = Sprung verlängern (höher). Klick auf ein Eingangsneuron im Gewichte-Canvas schaltet diesen Eingang stumm (∅) – ideal um zu beobachten, welche Sinne das Netz wirklich braucht.
–
Dino speichern / laden iSpeichert Methode und Einstellungen; mit Häkchen auch den trainierten Zustand, sodass du einen fertigen Dino später laden und weiter trainieren kannst.
Mit Häkchen wird das Gehirn mitgespeichert – ein fertiger Dino lässt sich später laden und weiter trainieren (auch im jeweils anderen Modus).
Hier erscheint live, was das Netz gerade lernt.
Lernfortschritt
Gelernte Gewichte iDas ist das Gehirn des Dinos – dasselbe Netz wie oben im Labor, nur für 6 Eingänge → versteckte Schicht → 2 Ausgänge. Grün = verstärkende, rot = hemmende Verbindung; Dicke = Stärke.