Οπισθοδιάδοση

O αλγόριθμος οπισθοδιάδοσης είναι μみゅーιいおたαあるふぁ οικογένεια μεθόδων πぱいοおみくろんυうぷしろん χρησιμοποιούνται γがんまιいおたαあるふぁ τたうηいーたνにゅー αποτελεσματική εκπαίδευση τたうωおめがνにゅー τεχνητών νευρωνικών δικτύων (συντομογραφία ΤたうΝにゅーΔでるた), ακολουθώντας έναν αλγόριθμο βελτιστοποίησης βασιζόμενο σしぐまτたうηいーたνにゅー κλίση πぱいοおみくろんυうぷしろん εκμεταλλεύεται τたうοおみくろんνにゅー κανόνα της αλυσίδας . Τたうοおみくろん κύριο χαρακτηριστικό της οπισθοδιάδοσης είναι ηいーた επαναληπτική, αναδρομική κかっぱαあるふぁιいおた αποδοτική μέθοδος γがんまιいおたαあるふぁ τたうοおみくろんνにゅー υπολογισμό τたうωおめがνにゅー ανανεώσεων τたうωおめがνにゅー βαρών γがんまιいおたαあるふぁ τたうηいーた βελτίωση τたうοおみくろんυうぷしろん δικτύου έως ότου είναι σしぐまεいぷしろん θέση νにゅーαあるふぁ εκτελέσει τたうοおみくろん έργο γがんまιいおたαあるふぁ τたうοおみくろん οποίο εκπαιδεύεται. Είναι στενά συνδεδεμένη μみゅーεいぷしろん τたうοおみくろんνにゅー αλγόριθμο Gauss-Newton .

Ηいーた οπισθοδιάδοση απαιτεί ότι οおみくろんιいおた παράγωγοι τたうωおめがνにゅー συναρτήσεων ενεργοποίησης κατά τたうοおみくろん σχεδιασμό τたうοおみくろんυうぷしろん δικτύου είναι γνωστοί. Ηいーた αυτόματη διαφοροποίηση είναι μみゅーιいおたαあるふぁ τεχνική πぱいοおみくろんυうぷしろん παρέχει αυτόματα κかっぱαあるふぁιいおた αναλυτικά τις παραγώγους τたうωおめがνにゅー συναρτήσεων σしぐまτたうοおみくろんνにゅー αλγόριθμο εκπαίδευσης. Σしぐまτたうοおみくろん πλαίσιο της μάθησης, ηいーた οπισθοδιάδοση χρησιμοποιείται συνήθως από τたうοおみくろんνにゅー αλγόριθμο βελτιστοποίησης μείωσης κλίσης ώστε νにゅーαあるふぁ ρυθμίσει τたうοおみくろん βάρος τたうωおめがνにゅー νευρώνων υπολογίζοντας τたうηいーたνにゅー κλίση της συνάρτησης απώλειας. Ηいーた οπίσθοδιάδοση υπολογίζει τις κλίσεις, ενώ ηいーた (στοχαστική) μείωση της κλίσης χρησιμοποιεί τις κλίσεις γがんまιいおたαあるふぁ τたうηいーたνにゅー εκπαίδευση τたうοおみくろんυうぷしろん μοντέλου (μέσω βελτιστοποίησης).

Κίνητρο

Οおみくろん στόχος οποιουδήποτε επιβλεπόμενου αλγορίθμου μάθησης είναι νにゅーαあるふぁ βρεθεί μみゅーιいおたαあるふぁ λειτουργία πぱいοおみくろんυうぷしろん νにゅーαあるふぁ απεικονίζει βέλτιστα ένα σύνολο εισόδων σしぐまτたうηいーた σωστή έξοδο τους. Τたうοおみくろん κίνητρο γがんまιいおたαあるふぁ backpropagation είναι νにゅーαあるふぁ εκπαιδεύσει ένα πολυεπίπεδο νευρωνικό δίκτυο έτσι ώστε νにゅーαあるふぁ μπορεί νにゅーαあるふぁ μάθει τις κατάλληλες εσωτερικές αναπαραστάσεις γがんまιいおたαあるふぁ νにゅーαあるふぁ τたうοおみくろんυうぷしろん επιτρέψει νにゅーαあるふぁ μάθει τυχόν αυθαίρετη χαρτογράφηση της εισόδου σしぐまτたうηいーたνにゅー έξοδο. ^[1]

Παραπομπές

↑ Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 October 1986). «Learning representations by back-propagating errors». Nature 323 (6088): 533–536. doi:10.1038/323533a0. Bibcode: 1986Natur.323..533R.

Εξωτερικοί σύνδεσμοι

Neural Network Back-Propagation for Programmers (a tutorial)
Generalized Backpropagation
Chapter 7 The backpropagation algorithm of Neural Networks - A Systematic Introduction by Raúl Rojas ((ISBN 978-3540605058))
Quick explanation of the backpropagation algorithm Αρχειοθετήθηκε 2013-02-10 σしぐまτたうοおみくろん Wayback Machine.
Graphical explanation of the backpropagation algorithm
Concise explanation of the backpropagation algorithm using math notation Αρχειοθετήθηκε 2016-03-26 σしぐまτたうοおみくろん Wayback Machine. by Anand Venkataraman
Visualization of a learning process using backpropagation algorithm
Backpropagation neural network tutorial at the Wikiversity
«What is Backpropagation Really Doing?». 3Blue1Brown. 3 Νοεμβρίου 2017 – μέσω YouTube.

[Rumelhart1986-1] Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 October 1986). «Learning representations by back-propagating errors». Nature 323 (6088): 533–536. doi:10.1038/323533a0. Bibcode: 1986Natur.323..533R.

[1]