Ein deterministisches Netzwerk ist ein Netzwerk, in dem die Ausgabe vollständig durch die Eingabe bestimmt wird. Mit anderen Worten, angesichts der gleichen Eingabe erzeugt das Netzwerk immer die gleiche Ausgabe. Es gibt keine Zufälligkeit oder Stochastizität.
Dies steht im Gegensatz zu einem stochastischen Netzwerk (oder probabilistischen Netzwerk), in dem die Ausgabe durch zufällige Elemente beeinflusst wird, was bedeutet, dass dieselbe Eingabe zu unterschiedlichen Ausgängen auf verschiedenen Läufen führen kann.
Hier ist eine Aufschlüsselung:
* deterministische Netzwerke: Diese Netzwerke sind vorhersehbar. Sobald die Architektur (Gewichte, Schichten, Aktivierungsfunktionen usw.) festgelegt ist, ist die Antwort auf einen bestimmten Eingang immer gleich. Die meisten traditionellen neuronalen Feed-Forward-Netzwerke mit festen Gewichten sind deterministisch.
* Stochastische Netzwerke: Diese Netzwerke beinhalten Zufälligkeit, häufig durch Techniken wie Tropfen (vorübergehend ignorieren Neuronen während des Trainings), Hinzufügen von Rauschen zu Eingängen oder Gewichten oder Verwendung stochastischer Aktivierungsfunktionen. Diese Zufälligkeit kann die Verallgemeinerung und Robustheit verbessern, macht den Ausgang jedoch für einen bestimmten Eingang weniger vorhersehbar.
Implikationen:
* Reproduzierbarkeit: Deterministische Netzwerke sind stark reproduzierbar. Die gleichen Ergebnisse können wiederholt erzielt werden.
* Debugging: Einfacher zu debuggen, da das Verhalten konsistent und vorhersehbar ist.
* Training: Könnte langsamer konvergieren oder in einigen Fällen im lokalen Optima stecken bleiben.
* Generalisierung: Kann manchmal zu Überanpassung führen, wenn sie nicht sorgfältig gestaltet werden.
Zusammenfassend liegt der Hauptunterschied in Gegenwart oder Abwesenheit von Zufälligkeit im Betrieb des Netzwerks. Die Wahl zwischen einem deterministischen und stochastischen Netzwerk hängt von der spezifischen Anwendung und ihren Anforderungen an Vorhersagbarkeit, Robustheit und Generalisierungsfähigkeit ab.
