Δίκτυα Μακράς Βραχύχρονης Μνήμης

Τたうαあるふぁ Δίκτυα Μακράς Βραχύχρονης Μνήμης (αγγλικά Long Short-term Memory - LSTM) είναι μορφή τεχνητών ανατροφοδοτούμενων νευρωνικών δικτύων πぱいοおみくろんυうぷしろん χρησιμοποιούνται σしぐまτたうοおみくろんνにゅー τομέα της βαθειάς μάθησης. Σしぐまεいぷしろん αντίθεση μみゅーεいぷしろん τたうαあるふぁ συνηθέστερα εμπροσθοδοτούμενα νευρωνικά δίκτυα, τたうαあるふぁ ανατροφοδοτούμενα νευρωνικά δίκτυα διαθέτουν συνδέσμους ανατροφοδότησης πぱいοおみくろんυうぷしろん τたうαあるふぁ επιτρέπουν νにゅーαあるふぁ επεξεργάζονται δεδομένα ως σειρές (συνήθως χρονοσειρές όπως δεδομένα ήχου ή βίντεο). Τたうαあるふぁ Δίκτυα Μακράς Βραχύχρονης Μνήμης χρησιμοποιούνται σしぐまεいぷしろん εφαρμογές όπως τたうηいーたνにゅー αυτόματη ανάγνωση χειρογράφων ^[1] τたうηいーたνにゅー αναγνώριση ομιλίας ^[2]^[3] κかっぱαあるふぁιいおた τたうηいーたνにゅー ανίχνευση ανωμαλιών σしぐまεいぷしろん δικτυακές επικοινωνίες.

Ηいーた αρχιτεκτονική της Μακράς Βραχύχρονης Μνήμης αναπτύχθηκε ως λύση σしぐまτたうοおみくろん πρόβλημα εξαφάνισης κλίσεων πぱいοおみくろんυうぷしろん σημειώνεται σしぐまτたうαあるふぁ παραδοσιακά ανατροφοδοτούμενα νευρωνικά. Ηいーた βασική της μονάδα απαρτίζεται από ένα κελί κかっぱαあるふぁιいおた πύλες εισόδου, εξόδου κかっぱαあるふぁιいおた λήθης. Τたうοおみくろん κελί κράταει πληροφορίες αあるふぁπぱいοおみくろん προηγούμενες θέσεις χρόνου ενώ οおみくろんιいおた τρεις πύλες ρυθμίζουν τたうηいーたνにゅー ροή πληροφορίας εντός κかっぱαあるふぁιいおた εκτός τたうοおみくろんυうぷしろん κελιού. Έτσι, τたうοおみくろん δίκτυο μπορεί νにゅーαあるふぁ μοντελοποιήσει τις σχέσεις χρονοσειρών μみゅーεいぷしろん καθυστερήσεις άγνωστης διάρκειας μεταξύ σημαντικών γεγονότων. Αυτή ηいーた σχετικά χαμηλή ευαισθησία σしぐまτたうηいーたνにゅー χρονική απόσταση πληροφοριών αποτελεί κかっぱαあるふぁιいおた τたうοおみくろん βασικό πλεονέκτιμα τたうωおめがνにゅー Δικτύων Μακράς Βραχύχρονης Μνήμης σしぐまεいぷしろん σχέση μみゅーεいぷしろん τたうαあるふぁ παραδοσιακά ανατροφοδοτούμενα, τたうαあるふぁ κρυφά Μαρκοβιανά μοντέλα κかっぱαあるふぁιいおた άλλες μεθόδους μάθησης σειρών.

Παραπομπές[Επεξεργασία | επεξεργασία κώδικα]

↑ Graves, A.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (2009). «A Novel Connectionist System for Improved Unconstrained Handwriting Recognition». IEEE Transactions on Pattern Analysis and Machine Intelligence 31 (5): 855–868. doi:10.1109/tpami.2008.137. PMID 19299860. http://www.idsia.ch/~juergen/tpami_2008.pdf.
↑ Sak, Hasim· Senior, Andrew· Beaufays, Francoise (2014). «Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling» (PDF). Αρχειοθετήθηκε από τたうοおみくろん πρωτότυπο (PDF) στις 24 Απριλίου 2018.
↑ Li, Xiangang; Wu, Xihong (2014-10-15). «Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition». arXiv:1410.4281 [cs.CL].

[1] Graves, A.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (2009). «A Novel Connectionist System for Improved Unconstrained Handwriting Recognition». IEEE Transactions on Pattern Analysis and Machine Intelligence 31 (5): 855–868. doi:10.1109/tpami.2008.137. PMID 19299860. http://www.idsia.ch/~juergen/tpami_2008.pdf.

[sak2014-2] Sak, Hasim· Senior, Andrew· Beaufays, Francoise (2014). «Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling» (PDF). Αρχειοθετήθηκε από τたうοおみくろん πρωτότυπο (PDF) στις 24 Απριλίου 2018.

[liwu2015-3] Li, Xiangang; Wu, Xihong (2014-10-15). «Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition». arXiv:1410.4281 [cs.CL].

[1]

[2]

[3]