Q:
Mengapa "hambatan maklumat" merupakan teori penting dalam pembelajaran mendalam?
A:Idea "kesesakan maklumat" dalam rangkaian saraf tiruan (ANNs) beroperasi berdasarkan prinsip khas yang berkaitan dengan penyebaran pelbagai jenis isyarat. Ia dilihat sebagai alat praktikal untuk mengkaji perihal yang menjadikan sistem perisikan buatan ini mengoptimumkan diri sendiri. Artikel Berwayar yang menggambarkan konsep kesesakan maklumat yang disampaikan oleh Tishby et. al. perbincangan tentang "mengetepikan data masukan yang bising daripada butiran luaran seolah-olah dengan menekan maklumat melalui hambatan" dan "hanya mengekalkan ciri-ciri yang paling relevan dengan konsep umum."
Sebagai konsep yang agak baru, idea kesesakan maklumat dapat membantu untuk meningkatkan dan mengubah cara kita menggunakan ANN dan sistem yang berkaitan untuk memodelkan fungsi kognitif. Satu cara yang dapat membantu teori ini adalah dengan membantu kita untuk lebih memahami paradigma yang menyokong fungsi rangkaian saraf. Sebagai contoh, jika prinsip menggambarkan bagaimana hanya satu set ciri tertentu yang disimpan oleh sistem, kita mula melihat bagaimana "diskriminasi data" ini menjadikan rangkaian "kera" otak manusia, dan para jurutera dapat menambahkannya ke dalam model rangkaian saraf. Idea di sini ialah, akhirnya, teknologi rangkaian neural akan menjadi lebih "konsep" sejagat, bukan hanya wilayah yang sedikit istimewa. Pada masa ini, syarikat sedang memburu bakat AI yang terhad; teori seperti teori hambatan maklumat dapat membantu menyebarkan pengetahuan tentang rangkaian saraf kepada orang awam dan kepada "pengguna tengah" - mereka yang mungkin bukan "ahli" tetapi boleh membantu dalam kemunculan dan penyebaran teknologi rangkaian neural.
Satu lagi nilai penting kesesakan maklumat ialah jurutera boleh mula melatih sistem untuk bekerja dengan cara yang lebih tepat. Memandangkan beberapa garis panduan peringkat tinggi untuk seni bina sistem dapat menyelaraskan evolusi jenis teknologi ini, dan mempunyai idea yang lebih jelas mengenai prinsip pembelajaran mendalam adalah sangat berharga di dunia IT.
Secara umumnya, pelopor yang bekerja di AI akan terus melihat bagaimana rangkaian neural berfungsi, termasuk idea "maklumat yang relevan" dan bagaimana sistem diskriminasi untuk melaksanakan fungsi. Satu contohnya adalah dalam pemprosesan imej atau ucapan, di mana sistem perlu belajar untuk mengenal pasti banyak variasi sebagai "objek." Secara umum, kesesakan maklumat menunjukkan pandangan tertentu bagaimana rangkaian neural akan berfungsi dengan objek tersebut, dan khususnya bagaimana model data ini maklumat proses.
