Q:
Mengapa rangkaian neural berulang tiruan sering sukar dilatih?
A:Kesukaran melatih rangkaian neural berulang buatan mempunyai kaitan dengan kerumitan mereka.
Salah satu cara yang paling mudah untuk menerangkan mengapa rangkaian neural berulang sukar dilatih adalah bahawa mereka tidak menjana rangkaian saraf.
Dalam rangkaian saraf feedforward, isyarat hanya bergerak satu arah. Isyarat bergerak dari lapisan input ke pelbagai lapisan tersembunyi, dan ke hadapan, ke lapisan output sistem.
Sebaliknya, rangkaian neural berulang dan pelbagai jenis rangkaian saraf yang lain mempunyai pergerakan isyarat yang lebih kompleks. Diklasifikasikan sebagai rangkaian "maklum balas", rangkaian neural berulang boleh mempunyai isyarat yang bergerak ke hadapan dan ke belakang, dan mungkin mengandungi pelbagai "gelung" dalam rangkaian di mana nombor atau nilai diberi makan kembali ke rangkaian. Pakar mengaitkannya dengan aspek rangkaian neural berulang yang berkaitan dengan ingatan mereka.
Di samping itu, terdapat satu lagi kompleksiti yang mempengaruhi rangkaian saraf berulang. Satu contoh yang sangat baik dalam bidang pemprosesan bahasa semulajadi.
Dalam pemprosesan bahasa semula jadi yang canggih, rangkaian saraf perlu dapat mengingati perkara. Ia juga perlu mengambil input dalam konteks juga. Katakan ada program yang ingin menganalisis atau meramalkan perkataan dalam kalimat perkataan lain. Mungkin ada, sebagai contoh, panjang lima perkataan yang tetap untuk sistem untuk dinilai. Ini bermakna rangkaian saraf perlu mempunyai input untuk setiap kata-kata ini, bersama-sama dengan keupayaan untuk "ingat" atau berlatih mengikut konteks kata-kata ini. Bagi mereka dan sebab-sebab yang serupa, rangkaian neural berulang biasanya mempunyai gelung tersembunyi dan umpan balik yang tersembunyi di dalam sistem.
Pakar merungut bahawa komplikasi ini menjadikannya sukar untuk melatih rangkaian. Salah satu cara yang paling biasa untuk menerangkan ini adalah dengan memetik masalah kecerunan yang meletup dan lenyap. Pada asasnya, berat rangkaian akan sama ada membawa kepada meletus atau menghilangkan nilai-nilai dengan sejumlah besar pas.
Perintis rangkaian neural Geoff Hinton menerangkan fenomena ini di web dengan mengatakan bahawa pas linear mundur akan menyebabkan berat yang lebih kecil untuk mengecilkan berat badan yang exponentially dan lebih besar untuk meletup.
Masalah ini, dia terus bertambah buruk dengan urutan yang panjang dan langkah-langkah lebih banyak masa, di mana isyarat tumbuh atau merosot. Berat permulaan boleh membantu, tetapi cabaran-cabaran itu dibina ke dalam model rangkaian neural berulang. Selalunya akan ada isu yang melekat pada reka bentuk dan pembinaan mereka. Pada asasnya, beberapa jenis rangkaian neural yang lebih kompleks benar-benar menentang keupayaan kami untuk menguruskannya dengan mudah. Kita boleh mencipta kerumitan yang hampir tidak terhingga, tetapi kita sering melihat cabaran ramalan dan skalabiliti berkembang.
