Menemui Rangkaian Neural Tanpa Berat dan Evolusi Pembelajaran Mendalam

  • Pembelajaran mendalam menggunakan seni bina berbilang lapisan untuk memproses data kompleks menggunakan pemberat dan fungsi pengaktifan.
  • Rangkaian saraf tanpa berat menggantikan pendaraban matematik yang mahal dengan jadual carian binari.
  • Seni bina baharu ini membolehkan pengurangan drastik dalam penggunaan tenaga dan saiz model untuk peranti pinggir.

Sistem rangkaian neural

Jika anda pernah tertanya-tanya bagaimana mesin boleh mengecam wajah anda atau memahami apa yang anda katakan, jawapannya terletak pada daya tarikan terhadap otak manusia. Struktur biologi ini, yang terdiri daripada neuron yang saling berkaitan yang menghantar isyarat elektrikMereka telah berfungsi sebagai pelan tindakan untuk mewujudkan apa yang kita kenali hari ini sebagai rangkaian saraf tiruan, yang pada asasnya merupakan algoritma yang direka untuk menyelesaikan teka-teki matematik yang kompleks.

Dalam dunia hari ini, kita telah terbiasa dengan kecerdasan buatan yang sinonim dengan superkomputer dan penggunaan tenaga yang besar. Walau bagaimanapun, satu trend yang sangat menarik sedang muncul yang bertujuan untuk... mengoptimumkan kecekapan tenagamempersoalkan sama ada kita benar-benar perlu memproses berjuta-juta pendaraban untuk mendapatkan jawapan yang mudah, sekali gus meniru ketenangan tenaga otak kita sendiri.

pengkomputeran analog
Artikel berkaitan:
Pengkomputeran analog dalam ingatan: pertaruhan untuk mengurangkan penggunaan tenaga AI

Seni bina klasik: dari perceptron hingga Pembelajaran Mendalam

Untuk memahami hala tuju kita, kita perlu tahu dari mana kita datang. Rangkaian saraf asas biasanya disusun kepada tiga peringkat. Semuanya bermula pada lapisan inputDi sinilah sistem menerima data dari luar, menganalisisnya, dan menghantarnya ke hadapan. Kemudian datanglah lapisan tersembunyiyang boleh terdiri daripada satu atau berpuluh-puluh daripadanya; di sinilah pemprosesan sebenar berlaku, memperhalusi maklumat pada setiap peringkat.

Akhirnya, kami tiba di lapisan keluaranyang memberikan kita keputusan muktamad. Bergantung pada apa yang kita cari, kita mungkin mempunyai satu nod untuk jawapan ya atau tidak (pengelasan binari), atau beberapa nod jika masalahnya lebih kompleks dan memerlukan pilihan antara berbilang kategori.

Apabila kita bercakap tentang Pembelajaran MendalamKita merujuk kepada rangkaian dengan banyak lapisan tersembunyi dan berjuta-juta sambungan. Dalam model ini, hubungan antara neuron ditakrifkan oleh a nilai berangka yang dipanggil beratMasalahnya ialah rangkaian ini adalah babi data dan tenaga, memerlukan berjuta-juta contoh untuk mengelakkan kesilapan.

AIoT
Artikel berkaitan:
AIoT: apakah itu dan bagaimana ia berbeza daripada IoT konvensional?

Inti latihan: Perambatan Ke Hadapan dan Ke Belakang

Agar rangkaian dapat belajar, ia mesti cuba meneka terlebih dahulu. Proses Penyebaran Hadapan Ia pada asasnya merupakan perjalanan dari kiri ke kanan: data masuk, didarabkan dengan pemberat, pelarasan yang dipanggil bias ditambah, dan ia melalui fungsi pengaktifan (seperti Sigmoid atau ReLu) untuk menentukan sama ada neuron "berfungsi" atau tidak.

Tetapi memandangkan rangkaian itu tidak tahu apa-apa pada mulanya, ia akan gagal dengan drastik. Di sinilah Penyebaran balikdi situlah keajaiban berlaku. Algoritma kini bergerak dari kanan ke kiri, mengira ralat antara hasil yang diperoleh dan hasil sebenar. Menggunakan derivatif matematikRangkaian melaraskan pemberat untuk meminimumkan ralat tersebut dalam lelaran seterusnya.

Satu butiran penting dalam proses ini ialah kadar pembelajaranJika terlalu tinggi, rangkaian akan belajar dengan cepat tetapi tidak tepat; jika terlalu rendah, prosesnya menjadi tidak berkesudahan. Matlamat utama adalah untuk mencapai minimum global bagi fungsi kos, membolehkan rangkaian untuk menggeneralisasikan maklumat dengan betul.

Revolusi rangkaian saraf tanpa berat

Di sinilah keadaan menjadi menarik. Profesor Lizy K. John dan pasukannya sedang memecahkan acuan dengan mencadangkan rangkaian saraf tanpa beratWalaupun AI konvensional bergantung pada pelaksanaan berbilion pendaraban (operasi yang sangat mahal untuk perkakasan), pendekatan ini menggunakan jadual carian yang saling berkaitan.

Daripada mengira operasi aritmetik yang kompleks, rangkaian hanya merujuk jawapan yang disimpan berdasarkan input binari. Ia adalah sistem yang lebih menyerupai cara manusia menaakul: kita tidak mendarab nombor di kepala kita untuk memutuskan sama ada hendak berjalan ke kiri atau ke kanan, tetapi sebaliknya kami memproses isyarat pengaktifan.

Raspberry Pi AI HAT+ 2
Artikel berkaitan:
Raspberry Pi AI HAT+ 2: pertaruhan baharu untuk membawa AI generatif ke tahap yang lebih tinggi

Hasilnya sungguh menakjubkan. Dalam tugas seperti pemantauan perubatan (ECG atau EEG) atau pengecaman kata kunci, rangkaian ini boleh seribu kali lebih kecil dan lebih cekapBayangkan beralih daripada model 17 megabait kepada salah satu daripada hanya 14 kilobait. Ini membolehkan AI hidup terus di dalam sensor melalui Pengkomputeran Edge tanpa perlu menghantar data ke awan, yang juga merupakan Satu perkara yang memihak kepada privasi pengguna.

Ke arah AI yang mampan dan ringan

Ia bukan sahaja tentang menghilangkan berat badan; terdapat juga trend... rangkaian saraf ringanIni direka bentuk untuk menggunakan tenaga dan memori yang paling minimum, menggunakan teknik seperti latihan atau pemangkasan yang jarangyang terdiri daripada menghapuskan sambungan yang tidak menyumbang apa-apa kepada hasil akhir.

Pendekatan ini penting dalam sektor seperti pengurusan tenaga bangunan atau penyejukan pusat data, yang mana pengoptimuman penggunaan boleh bermakna penjimatan tenaga sehingga 30%Matlamatnya jelas: AI bukan lagi masalah iklim, tetapi sebahagian daripada penyelesaian, membolehkan peranti berkos rendah, seperti Mikropengawal ARM Cortex, melaksanakan tugas pintar dalam masa nyata.

Daripada transformer yang menggerakkan chatbot moden kepada rangkaian saraf konvolusi (CNN) yang berfokuskan imej, laluan kepada kecekapan membawa melalui mengurangkan kerumitan pengiraanLonjakan daripada perceptron klasik kepada AI generatif telah berlaku secara besar-besaran dari segi data dan kuasa, tetapi teknologi canggih sebenar kini berusaha untuk melakukan lebih banyak perkara dengan lebih sedikit penggunaan.

Peralihan daripada seni bina yang padat dan sarat dengan pendaraban kepada sistem berdasarkan carian binari dan model yang dipangkas membolehkan kecerdasan buatan menjadi berdaya maju pada peranti kecil. Dengan mengintegrasikan kecekapan tenaga dan penyederhanaan matematik, pemprosesan data menjadi lebih pantas dan mampan secara dramatik, membuka jalan untuk pengkomputeran tempatan dan persendirian yang tidak lagi bergantung pada GPU besar-besaran untuk berfungsi dengan baik.

kamera hiperspektral dengan kecerdasan buatan
Artikel berkaitan:
Kamera hiperspektral dengan kecerdasan buatan: kegunaan dan teknologi sebenar

Tambahkan sebagai sumber pilihan dalam Google