Jaringan saraf secara singkat. Jaringan saraf: jenis, prinsip operasi dan ruang lingkup

Jaringan saraf

Diagram jaringan saraf sederhana. Hijau memasukkan elemen, kuning - libur elemen

Jaringan syaraf tiruan(ANN) - model matematika, serta implementasi perangkat lunak atau perangkat kerasnya, dibangun berdasarkan prinsip pengorganisasian dan fungsi jaringan saraf biologis - jaringan sel saraf organisme hidup. Konsep ini muncul saat mempelajari proses yang terjadi di otak selama berpikir, dan saat mencoba memodelkan proses tersebut. Model otak yang pertama adalah perceptron. Selanjutnya, model-model ini mulai digunakan untuk tujuan praktis, sebagai aturan, dalam masalah peramalan.

Jaringan saraf tidak diprogram dalam arti kata yang biasa, mereka dilatih. Kemampuan belajar adalah salah satu keunggulan utama jaringan saraf dibandingkan algoritma tradisional. Secara teknis, belajar adalah tentang menemukan koefisien koneksi antar neuron. Dalam proses pembelajaran, jaringan saraf mampu mengidentifikasi hubungan yang kompleks antara input dan output, serta melakukan generalisasi. Artinya, jika pelatihan berhasil, jaringan akan dapat mengembalikan hasil yang benar berdasarkan data yang hilang dalam sampel pelatihan.

Kronologi

Penggunaan penting

Kekelompokan

Clustering dipahami sebagai pembagian sekumpulan sinyal input ke dalam kelas-kelas, terlepas dari kenyataan bahwa baik jumlah maupun karakteristik kelas tidak diketahui sebelumnya. Setelah pelatihan, jaringan tersebut dapat menentukan kelas mana sinyal masukan. Jaringan juga dapat memberi sinyal bahwa sinyal input bukan milik salah satu kelas yang dipilih - ini adalah tanda data baru yang hilang dari sampel pelatihan. Jadi jaringan seperti itu dapat mendeteksi kelas sinyal baru yang sebelumnya tidak dikenal. Korespondensi antara kelas-kelas yang diidentifikasi oleh jaringan dan kelas-kelas yang ada di area subjek ditetapkan oleh seseorang. Pengelompokan dilakukan, misalnya, oleh jaringan saraf Kohonen.

Pemilihan eksperimental karakteristik jaringan

Setelah seleksi struktur keseluruhan Anda perlu memilih parameter jaringan secara eksperimental. Untuk jaringan seperti perceptron, ini akan menjadi jumlah lapisan, jumlah blok di lapisan tersembunyi (untuk jaringan Word), ada tidaknya koneksi bypass, dan fungsi transfer neuron. Saat memilih jumlah lapisan dan neuron di dalamnya, seseorang harus melanjutkan dari fakta itu kemampuan jaringan untuk menggeneralisasi semakin tinggi, semakin besar jumlah koneksi antar neuron. Di sisi lain, jumlah koneksi dibatasi dari atas oleh jumlah record dalam data pelatihan.

Pemilihan eksperimental parameter pembelajaran

Setelah memilih topologi tertentu, Anda perlu memilih parameter pelatihan untuk jaringan saraf. Langkah ini sangat penting untuk jaringan yang diawasi. Pilihan parameter yang tepat tidak hanya menentukan seberapa cepat respons jaringan akan menyatu dengan respons yang benar. Misalnya, memilih kecepatan pembelajaran yang rendah akan meningkatkan waktu konvergensi, tetapi terkadang menghindari kelumpuhan jaringan. Peningkatan momen pembelajaran dapat menyebabkan peningkatan dan penurunan waktu konvergensi, tergantung pada bentuk permukaan kesalahan. Berdasarkan pengaruh parameter yang kontradiktif tersebut, dapat disimpulkan bahwa nilainya harus dipilih secara eksperimental, dipandu oleh kriteria penyelesaian pembelajaran (misalnya meminimalkan kesalahan atau membatasi waktu pelatihan).

Pelatihan jaringan itu sendiri

Selama proses pembelajaran, jaringan memindai sampel pelatihan dalam urutan tertentu. Urutan penelusuran dapat berurutan, acak, dll. Beberapa jaringan yang tidak diawasi, seperti jaringan Hopfield, memindai sampel hanya sekali. Lainnya, seperti jaringan Kohonen, serta jaringan yang diawasi, memindai sampel berkali-kali, dengan satu kali melewati sampel yang disebut era pembelajaran. Saat belajar dengan seorang guru, kumpulan data awal dibagi menjadi dua bagian - sampel pelatihan aktual dan data uji; prinsip pemisahan bisa sewenang-wenang. Data pelatihan diumpankan ke jaringan untuk pelatihan, dan data uji digunakan untuk menghitung kesalahan jaringan (data uji tidak pernah digunakan untuk melatih jaringan). Jadi, jika kesalahan berkurang pada data uji, maka jaringan melakukan generalisasi. Jika error pada data training terus berkurang, dan error pada data test meningkat, maka jaringan berhenti melakukan generalisasi dan hanya “mengingat” data training. Fenomena ini disebut overfitting jaringan atau overfitting. Dalam kasus seperti itu, pelatihan biasanya dihentikan. Selama proses pelatihan, masalah lain mungkin muncul, seperti kelumpuhan atau jaringan masuk ke permukaan kesalahan minimum lokal. Tidak mungkin untuk memprediksi sebelumnya manifestasi dari masalah tertentu, serta memberikan rekomendasi yang tidak ambigu untuk penyelesaiannya.

Memeriksa kecukupan pelatihan

Bahkan dalam kasus pelatihan yang berhasil, pada pandangan pertama, jaringan tidak selalu mempelajari dengan tepat apa yang diinginkan pembuatnya darinya. Ada kasus yang diketahui ketika jaringan dilatih untuk mengenali gambar tank dari foto, tetapi kemudian ternyata semua tank difoto dengan latar belakang yang sama. Akibatnya, jaringan "belajar" mengenali jenis medan ini, bukannya "belajar" mengenali tank. Jadi, jaringan “memahami” bukan apa yang diminta darinya, tetapi apa yang paling mudah untuk digeneralisasikan.

Klasifikasi berdasarkan jenis informasi masukan

  • Jaringan saraf analog (menggunakan informasi dalam bentuk bilangan real);
  • Jaringan saraf biner (beroperasi dengan informasi yang disajikan dalam bentuk biner).

Klasifikasi berdasarkan sifat pelatihan

  • Pembelajaran yang diawasi - ruang keputusan keluaran dari jaringan saraf diketahui;
  • Pembelajaran tanpa pengawasan - jaringan saraf menghasilkan ruang keputusan keluaran hanya berdasarkan tindakan masukan. Jaringan seperti itu disebut mengatur diri sendiri;
  • Pembelajaran penguatan adalah sistem untuk menetapkan hukuman dan penghargaan dari lingkungan.

Klasifikasi menurut sifat penyetelan sinaps

Klasifikasi berdasarkan waktu transmisi sinyal

Di sejumlah jaringan saraf, fungsi pengaktifan mungkin tidak hanya bergantung pada koefisien bobot koneksi w SayaJ, tetapi juga pada saat transmisi impuls (sinyal) melalui saluran komunikasi τ SayaJ. Oleh karena itu, secara umum fungsi komunikasi pengaktifan (transmisi). C SayaJ dari elemen kamu Saya ke elemen kamu J memiliki bentuk: . Kemudian jaringan sinkron SayaJ setiap ikatan adalah nol atau konstanta tetap τ . asinkron disebut jaringan yang waktu transmisinya τ SayaJ untuk setiap tautan antar elemen kamu Saya Dan kamu J sendiri, tetapi juga permanen.

Klasifikasi berdasarkan sifat hubungan

Jaringan umpan maju

Semua koneksi diarahkan secara ketat dari neuron input ke neuron output. Contoh jaringan tersebut adalah perceptron Rosenblatt, perceptron multilayer, jaringan Word.

Jaringan Neural Berulang

Sinyal dari neuron output atau neuron lapisan tersembunyi sebagian ditransmisikan kembali ke input dari neuron lapisan input (umpan balik). Jaringan berulang Jaringan Hopfield "menyaring" data input, kembali ke keadaan stabil dan, dengan demikian, memungkinkan penyelesaian masalah kompresi data dan membangun memori asosiatif. Kasus khusus dari jaringan berulang adalah jaringan dua arah. Dalam jaringan seperti itu, ada koneksi antar lapisan baik dalam arah dari lapisan input ke lapisan output, dan dalam arah yang berlawanan. Contoh klasiknya adalah Cosco Neural Network.

Fungsi basis radial

Jaringan saraf tiruan yang menggunakan jaringan saraf dasar radial sebagai fungsi aktivasi (jaringan semacam itu disingkat jaringan RBF). Bentuk umum fungsi basis radial:

, Misalnya,

Di mana X- vektor sinyal input neuron, σ - lebar jendela fungsi, φ( y) adalah fungsi menurun (paling sering sama dengan nol di luar segmen tertentu).

Jaringan dasar radial dicirikan oleh tiga fitur:

1. Satu-satunya lapisan tersembunyi

2. Hanya neuron pada lapisan tersembunyi yang memiliki fungsi aktivasi non linier

3. Bobot sinaptik dari koneksi input dan lapisan tersembunyi sama dengan satu

Tentang prosedur pelatihan - lihat literatur

Peta Pengorganisasian Sendiri

Jaringan semacam itu adalah jaringan saraf kompetitif tanpa pengawasan yang melakukan tugas visualisasi dan pengelompokan. Ini adalah metode memproyeksikan ruang multidimensi ke ruang dengan dimensi yang lebih rendah (paling sering, dua dimensi), juga digunakan untuk memecahkan masalah pemodelan, peramalan, dll. Ini adalah salah satu versi jaringan saraf Kohonen. Peta pengaturan mandiri Kohonen berfungsi terutama untuk visualisasi dan analisis data awal ("kecerdasan").

Sinyal ke jaringan Kohonen dikirim ke semua neuron sekaligus, bobot sinapsis yang sesuai ditafsirkan sebagai koordinat posisi simpul, dan sinyal keluaran dibentuk sesuai dengan prinsip "pemenang mengambil semua" - yaitu, neuron terdekat (dalam hal bobot sinapsis) ke sinyal input memiliki objek sinyal keluaran bukan nol. Selama proses pembelajaran, bobot sinapsis disesuaikan sedemikian rupa sehingga simpul kisi "terletak" di tempat kondensasi data lokal, yaitu, mereka menggambarkan struktur cluster awan data, sebaliknya, koneksi antara neuron sesuai dengan hubungan ketetanggaan antara cluster yang sesuai di ruang fitur.

Akan lebih mudah untuk menganggap peta seperti itu sebagai kisi dua dimensi dari simpul yang terletak di ruang multidimensi. Awalnya, peta yang mengatur sendiri adalah kisi-kisi node yang dihubungkan oleh tautan. Kohonen mempertimbangkan dua opsi untuk menghubungkan simpul - dalam kisi persegi panjang dan heksagonal - perbedaannya adalah bahwa dalam kisi persegi panjang setiap simpul terhubung ke 4 simpul tetangga, dan dalam kisi heksagonal - ke 6 simpul terdekat. Untuk dua grid seperti itu, proses membangun jaringan Kohonen hanya berbeda di tempat tetangga terdekat ke node tertentu dilalui.

Bersarang awal grid di ruang data dipilih secara sewenang-wenang. Paket SOM_PAK penulis menawarkan opsi untuk lokasi awal node secara acak dalam ruang dan varian untuk lokasi node dalam bidang. Setelah itu, node mulai bergerak di ruang angkasa sesuai dengan algoritma berikut:

  1. Titik data dipilih secara acak X .
  2. Yang terdekat ditentukan X simpul peta (BMU - Unit Pencocokan Terbaik).
  3. Node ini memindahkan langkah yang diberikan menuju x. Namun, itu tidak bergerak sendiri, tetapi membawa sejumlah node terdekat dari beberapa lingkungan di peta. Dari semua node yang bergerak, node pusat yang paling dekat dengan titik data bergerak paling banyak, dan sisanya mengalami perpindahan yang lebih kecil semakin jauh dari BMU. Ada dua tahap dalam penyetelan peta - tahap penyetelan kasar (pengaturan) dan tahap penyetelan halus (penyetelan halus). Pada tahap pertama, nilai lingkungan yang besar dipilih dan pergerakan node bersifat kolektif - akibatnya, peta "menyebar" dan secara kasar mencerminkan struktur data; di panggung mencari setelan radius lingkungan adalah 1-2 dan posisi masing-masing node sudah disesuaikan. Selain itu, nilai bias meluruh secara seragam dengan waktu, yaitu besar di awal setiap tahap pelatihan dan mendekati nol di akhir.
  4. Algoritme berulang untuk sejumlah zaman tertentu (jelas bahwa jumlah langkah dapat sangat bervariasi tergantung pada tugasnya).

Jenis Jaringan yang Dikenal

  • jaringan Hamming;
  • Neokognitron;
  • Jaringan saraf kacau;
  • jaringan kontra propagasi;
  • Jaringan Fungsi Basis Radial (jaringan RBF);
  • Jaringan regresi umum;
  • Jaringan probabilistik;
  • jaringan saraf siam;
  • Jaringan resonansi adaptif.

Perbedaan dari mesin dengan arsitektur von Neumann

Periode evolusi yang panjang telah memberi otak manusia banyak kualitas yang tidak ada pada mesin dengan arsitektur von Neumann:

  • Paralelisme massal;
  • Representasi terdistribusi dari informasi dan perhitungan;
  • Kemampuan untuk belajar dan menggeneralisasi;
  • kemampuan beradaptasi;
  • Properti pemrosesan informasi kontekstual;
  • toleransi kesalahan;
  • Konsumsi daya rendah.

Jaringan saraf - aproksimator universal

Jaringan saraf adalah aproksimator universal dan dapat mensimulasikan robot kontinu apa pun dengan akurasi apa pun. Teorema aproksimasi umum telah dibuktikan: dengan menggunakan operasi linier dan koneksi kaskade, dimungkinkan untuk mendapatkan perangkat dari elemen nonlinier arbitrer yang menghitung fungsi kontinu apa pun dengan akurasi yang telah ditentukan sebelumnya. Ini berarti bahwa karakteristik non-linier dari sebuah neuron dapat bersifat arbitrer: dari sigmoid ke paket gelombang arbitrer atau wavelet, sinus atau polinomial. Kompleksitas jaringan tertentu mungkin bergantung pada pilihan fungsi nonlinier, tetapi dengan nonlinier apa pun, jaringan tetap menjadi penaksir universal bahkan ketika pilihan tepat struktur secara sewenang-wenang dapat secara akurat mendekati fungsi dari setiap otomat kontinu.

Contoh aplikasi

Prediksi deret waktu keuangan

Masukan data - harga saham untuk tahun ini. Tugasnya adalah menentukan arah besok. Transformasi berikut sedang dilakukan - kurs untuk hari ini, kemarin, lusa, lusa berbaris. Baris berikutnya digeser berdasarkan tanggal satu hari, dan seterusnya. Pada set yang diterima, jaringan dengan 3 masukan dan satu keluaran dilatih - yaitu, keluarannya adalah: tarif untuk tanggal, masukan: tarif untuk tanggal minus 1 hari, minus 2 hari, minus 3 hari. Kami memberi makan jaringan terlatih kursus untuk hari ini, kemarin, lusa dan mendapatkan jawaban untuk besok. Sangat mudah untuk melihat bahwa dalam kasus ini jaringan hanya menyimpulkan ketergantungan satu parameter pada tiga parameter sebelumnya. Jika diinginkan untuk mempertimbangkan beberapa parameter lain (misalnya, indeks umum industri), maka itu harus ditambahkan sebagai input (dan dimasukkan dalam contoh), latih ulang jaringan dan dapatkan hasil baru. Untuk pelatihan yang paling akurat, ada baiknya menggunakan metode ORO, sebagai metode yang paling dapat diprediksi dan mudah diterapkan.

Psikodiagnostik

Serangkaian karya M. G. Dorrer dan rekan penulis dikhususkan untuk studi tentang kemungkinan pengembangan intuisi psikologis dalam sistem pakar jaringan saraf. Hasil yang diperoleh memberikan pendekatan untuk mengungkap mekanisme intuisi jaringan saraf, yang memanifestasikan dirinya saat memecahkan masalah psikodiagnostik. Dibuat non-standar untuk teknik komputer intuitif pendekatan psikodiagnostik, yang terdiri dari pengecualian konstruksi menggambarkan realitas. Ini memungkinkan Anda untuk mengurangi dan menyederhanakan pekerjaan pada metode psikodiagnostik.

Kemoinformatika

Jaringan saraf banyak digunakan dalam penelitian kimia dan biokimia Saat ini, jaringan saraf adalah salah satu metode chemoinformatics yang paling umum untuk mencari hubungan struktur-properti kuantitatif, karena itu mereka secara aktif digunakan baik untuk memprediksi sifat fisikokimia dan aktivitas biologis bahan kimia. senyawa, dan untuk desain terarah senyawa kimia dan bahan dengan sifat yang telah ditentukan, termasuk pengembangan obat baru.

Catatan

  1. McCulloch W.S., Pitts W., Kalkulus logis dari ide-ide yang berkaitan dengan aktivitas saraf // Dalam: "Automata" ed. C.E. Shannon dan J. McCarthy. - M.: Izd-vo inostr. lit., 1956. - hlm. 363-384. (Terjemahan artikel bahasa Inggris tahun 1943)
  2. Pengenalan Pola dan Kontrol Adaptif. BERNARD WIDROW
  3. Janda B., Stearns S., Pemrosesan sinyal adaptif. - M.: Radio dan komunikasi, 1989. - 440 hal.
  4. Werbos P.J., Melampaui regresi: Alat baru untuk prediksi dan analisis dalam ilmu perilaku. Ph.D. tesis, Universitas Harvard, Cambridge, MA, 1974.
  5. Galushkin A.I. Sintesis sistem pengenalan gambar multilayer. - M.: "Energi", 1974.
  6. Rumelhart D.E., Hinton G.E., Williams R.J., Belajar Representasi Internal dengan Error Propagation. Dalam: Pemrosesan Terdistribusi Paralel, vol. 1, hal. 318-362. Cambridge, MA, MIT Tekan. 1986.
  7. Bartsev S.I., Okhonin V.A. Jaringan pemrosesan informasi adaptif. Krasnoyarsk: Institut Fisika SO AN USSR, 1986. Pracetak N 59B. - 20 dtk.
  8. BaseGroup Labs - Aplikasi praktis jaringan saraf dalam masalah klasifikasi
  9. Jenis pengkodean ini terkadang disebut sebagai kode "1 dari N".
  10. Sistem Terbuka - Pengantar Neural Networks
  11. Mirkes E.M., Jaringan saraf yang transparan secara logis dan produksi pengetahuan eksplisit dari data , Dalam buku: Neuroinformatika / A. N. Gorban, V. L. Dunin-Barkovsky, A. N. Kirdin dll. - Novosibirsk: Sains. Siberian Enterprise RAS, 1998. - 296 dengan ISBN 5020314102
  12. Sebutkan kisah ini di majalah Popular Mechanics
  13. http://www.intuit.ru/department/expert/neuro/10/ INTUIT.ru - Jaringan berulang sebagai perangkat penyimpanan asosiatif]
  14. Kohonen, T. (1989/1997/2001), Self-Organizing Maps, Berlin-New York: Springer-Verlag. Edisi pertama 1989, kedua edisi ketiga 1997, edisi diperpanjang 2001, ISBN 0-387-51387-6, ISBN 3-540-67921-9
  15. Zinoviev A.Yu. Memvisualisasikan Data Multidimensi. - Krasnoyarsk: Ed. Universitas Teknik Negeri Krasnoyarsk, 2000. - 180 hal.
  16. Gorban A.N., Teorema Pendekatan Umum dan Kemampuan Komputasi Jaringan Saraf Tiruan , Jurnal Matematika Komputasi Siberia, 1998. V.1, No.1. P. 12-24.
  17. Gorban A.N., Rossiyev D.A., Dorrer M.G., MultiNeuron - Simulator Jaringan Neural Untuk Aplikasi Medis, Fisiologis, dan Psikologis , Wcnn'95, Washington, D.C.: Kongres Dunia tentang Jaringan Neural 1995 Pertemuan Tahunan Masyarakat Jaringan Neural Internasional: Hotel Renaissance, Washington, D.C., AS, 17-21 Juli, 1995.
  18. Dorrer M.G., Intuisi psikologis dari jaringan saraf tiruan , Diss. ... 1998. Salinan online lainnya :,
  19. Baskin I.I., Palyulin V.A., Zefirov N.S., Penerapan jaringan syaraf tiruan dalam penelitian kimia dan biokimia, Vestn. Moskow Un-Ta. Ser. 2. Kimia. 1999. V.40. Nomor 5.
  20. Galbershtam N.M., Baskin I.I., Palyulin V.A., Zefirov N.S. Jaringan saraf sebagai metode pencarian struktur dependensi - properti senyawa organik // Kemajuan Kimia. - 2003. - T. 72. - No. 7. - S. 706-727.
  21. Baskin I.I., Palyulin V.A., Zefirov N.S. Perceptron multilayer dalam studi tentang hubungan "struktur-properti" untuk senyawa organik // Jurnal Kimia Rusia (Jurnal Masyarakat Kimia Rusia dinamai D.I. Mendeleev). - 2006. - T.50. - S.86-96.

Tautan

  • Jaringan Syaraf Tiruan untuk PHP 5.x - Proyek serius untuk pengembangan jaringan saraf dalam bahasa pemrograman PHP 5.X
  • Jaringan Neural dan Algoritma Genetika Forum
  • Mirkes E.M.,

Baru-baru ini, semakin sering mereka berbicara tentang apa yang disebut jaringan saraf, kata mereka, mereka akan segera digunakan secara aktif dalam robotika, dan dalam teknik mesin, dan di banyak bidang aktivitas manusia lainnya, tetapi algoritme mesin telusur, Google yang sama, sudah perlahan mulai menggunakannya. Apa jaringan saraf ini, bagaimana cara kerjanya, apa aplikasinya dan bagaimana mereka dapat berguna bagi kita, baca lebih lanjut tentang semua ini.

Apa itu jaringan saraf

Neural network adalah salah satu areanya penelitian ilmiah di bidang penciptaan kecerdasan buatan(AI), yang didasarkan pada keinginan untuk meniru sistem saraf manusia. Termasuk kemampuannya (sistem saraf) untuk memperbaiki kesalahan dan belajar mandiri. Semua ini, meskipun agak kasar, seharusnya memungkinkan kita untuk mensimulasikan kerja otak manusia.

Jaringan saraf biologis

Tetapi definisi dalam paragraf di atas murni teknis, tetapi berbicara dalam bahasa biologi, jaringan saraf adalah sistem saraf manusia, kumpulan neuron di otak kita, berkat itu kita berpikir, membuat keputusan tertentu, memahami dunia sekitar. kita.

Neuron biologis adalah sel khusus yang terdiri dari nukleus, tubuh dan proses, apalagi yang dimilikinya koneksi dekat dengan ribuan neuron lainnya. Melalui koneksi ini, impuls elektrokimia ditransmisikan secara konstan, membawa seluruh jaringan saraf ke dalam keadaan eksitasi atau sebaliknya. Misalnya, beberapa acara yang menyenangkan sekaligus mengasyikkan (bertemu orang yang dicintai, memenangkan kompetisi, dll.) Akan menimbulkan impuls elektrokimia di jaringan saraf yang terletak di kepala kita, yang akan menyebabkan eksitasi. Akibatnya, jaringan saraf di otak kita akan mengirimkan rangsangannya ke organ lain di tubuh kita dan akan menyebabkan peningkatan detak jantung, mata berkedip lebih sering, dll.

Di sini, di gambar adalah model jaringan saraf biologis otak yang sangat disederhanakan. Kita melihat bahwa neuron terdiri dari badan sel dan nukleus, badan sel, pada gilirannya, memiliki banyak serat bercabang yang disebut dendrit. Dendrit panjang disebut akson dan memiliki panjang yang jauh lebih besar dari yang ditunjukkan pada gambar ini, komunikasi antar neuron dilakukan melalui akson, berkat mereka jaringan saraf biologis bekerja di kepala kita.

Sejarah jaringan saraf

Bagaimana sejarah perkembangan jaringan saraf dalam sains dan teknologi? Itu berasal dari munculnya komputer atau komputer pertama (komputer elektronik) sebagaimana mereka disebut pada masa itu. Jadi, pada akhir 1940-an, Donald Hebb tertentu mengembangkan mekanisme jaringan saraf, yang menetapkan aturan untuk mengajar komputer, "protokomputer" ini.

Kronologis kejadian selanjutnya adalah sebagai berikut:

  • Pada tahun 1954, penggunaan praktis pertama jaringan saraf dalam pengoperasian komputer terjadi.
  • Pada tahun 1958, Frank Rosenblatt mengembangkan sebuah algoritma untuk pengenalan pola dan anotasi matematika untuk itu.
  • Pada 1960-an, minat dalam pengembangan jaringan saraf agak memudar karena daya komputasi yang lemah pada waktu itu.
  • Dan sudah dihidupkan kembali pada tahun 1980-an, selama periode inilah muncul sistem dengan mekanisme masukan, algoritma belajar mandiri sedang dikembangkan.
  • Pada tahun 2000, kekuatan komputer telah berkembang pesat sehingga mampu mewujudkan impian terliar para ilmuwan di masa lalu. Saat ini, program untuk pengenalan suara, visi komputer, dan banyak lagi muncul.

Jaringan syaraf tiruan

Jaringan saraf tiruan umumnya dipahami sebagai sistem komputasi yang memiliki kemampuan untuk belajar sendiri, secara bertahap meningkatkan kinerjanya. Elemen utama dari struktur jaringan saraf adalah:

  • Neuron buatan, yang merupakan unit dasar yang saling berhubungan.
  • Sinapsis adalah koneksi yang digunakan untuk mengirim dan menerima informasi antar neuron.
  • Sinyal adalah informasi aktual yang akan ditransmisikan.

Penerapan jaringan saraf

Cakupan jaringan saraf tiruan berkembang setiap tahun, hari ini digunakan di bidang-bidang seperti:

  • Pembelajaran mesin adalah salah satu jenis kecerdasan buatan. Ini didasarkan pada pelatihan AI pada contoh jutaan tugas dari jenis yang sama. Saat ini, pembelajaran mesin diimplementasikan secara aktif mesin pencari Google, Yandex, Bing, Baidu. Jadi berdasarkan jutaan permintaan pencarian, yang kita semua ketik di Google setiap hari, algoritme mereka belajar menunjukkan kepada kita hasil yang paling relevan sehingga kita dapat menemukan dengan tepat apa yang kita cari.
  • Dalam robotika, jaringan saraf digunakan dalam pengembangan berbagai algoritme untuk "otak" besi robot.
  • Arsitek sistem komputer menggunakan jaringan saraf untuk memecahkan masalah komputasi paralel.
  • Dengan bantuan jaringan saraf, ahli matematika dapat memecahkan berbagai masalah matematika yang kompleks.

Jenis Jaringan Neural

Secara umum, untuk tugas yang berbeda menerapkan jenis yang berbeda dan jenis-jenis jaringan saraf, di antaranya adalah:

  • Jaringan Neural konvolusional,
  • jaringan saraf berulang,
  • jaringan saraf Hopfield.

Jaringan Syaraf Konvolusional

Jaringan konvolusional adalah salah satu jenis jaringan syaraf tiruan yang paling populer. Jadi mereka membuktikan keefektifannya dalam pengenalan pola visual (video dan gambar), sistem rekomendasi dan pemrosesan bahasa.

  • Jaringan saraf convolutional sangat terukur dan dapat digunakan untuk pengenalan pola resolusi besar apa pun.
  • Jaringan ini menggunakan neuron volumetrik tiga dimensi. Dalam satu lapisan, neuron dihubungkan hanya oleh sebuah bidang kecil, yang disebut lapisan reseptif.
  • Neuron dari lapisan tetangga terhubung melalui mekanisme lokalisasi spasial. Pengoperasian banyak lapisan seperti itu disediakan oleh filter nonlinear khusus yang merespons semua lagi piksel.

Jaringan Syaraf Berulang

Jaringan saraf semacam itu disebut berulang, koneksi antara neuron yang membentuk siklus indikatif. Memiliki karakteristik sebagai berikut:

  • Setiap koneksi memiliki bobotnya sendiri, yang juga menjadi prioritas.
  • Node dibagi menjadi dua jenis, node pengantar dan node tersembunyi.
  • Informasi dalam jaringan saraf berulang ditransmisikan tidak hanya dalam garis lurus, lapis demi lapis, tetapi juga di antara neuron itu sendiri.
  • penting ciri khas jaringan saraf berulang adalah adanya apa yang disebut "area perhatian", ketika mesin dapat diberikan potongan data tertentu yang memerlukan pemrosesan yang ditingkatkan.

Jaringan saraf berulang digunakan dalam pengenalan dan pemrosesan data teks (dalam frekuensi, mereka didasarkan pada penerjemah Google, algoritma Yandex Palekh, asisten suara Siri apel).

Jaringan saraf, video

Dan terakhir, video menarik tentang jaringan saraf.

Jika Anda mengikuti berita dari dunia sains dan teknologi, Anda mungkin pernah mendengar tentang konsep jaringan saraf.

Misalnya, pada tahun 2016 jaringan saraf AlphaGo Google mengalahkan salah satu pemain Counter-Strike: Global Offensive profesional terbaik di dunia 4-1. YouTube juga mengumumkan bahwa mereka akan menggunakan jaringan saraf untuk lebih memahami video mereka.

Tapi apa itu jaringan saraf? Bagaimana itu bekerja? Dan mengapa mereka begitu populer dalam permesinan?

Komputer itu seperti otak

Ahli saraf modern sering membahas otak sebagai jenis komputer. Jaringan saraf bertujuan untuk melakukan yang sebaliknya: membangun komputer yang berfungsi seperti otak.

Tentu saja, kita hanya memiliki pemahaman yang dangkal tentang yang luar biasa fungsi kompleks otak, tetapi dengan membuat simulasi yang disederhanakan tentang bagaimana otak memproses data, kita dapat membuat jenis komputer yang akan berfungsi sangat berbeda dari komputer standar.

Prosesor komputer memproses data secara berurutan ("berurutan"). Mereka melakukan banyak operasi pada satu set data, satu per satu. Pemrosesan paralel ("memproses banyak utas pada saat yang sama") sangat mempercepat komputer dengan menggunakan banyak prosesor secara seri.

Pada gambar di bawah, contoh pemrosesan paralel membutuhkan lima prosesor yang berbeda:

Jaringan saraf tiruan (disebut untuk membedakannya dari jaringan saraf nyata di otak) memiliki struktur yang berbeda secara fundamental. Ini sangat saling berhubungan. Ini memungkinkan Anda memproses data dengan sangat cepat, belajar dari data ini, dan memperbarui struktur internal Anda untuk meningkatkan kinerja.

Namun tingkat tinggi keterkaitan memiliki beberapa implikasi mencolok. Misalnya, jaringan saraf sangat pandai mengenali struktur data yang tidak jelas.

Kemampuan untuk belajar

Kemampuan jaringan saraf untuk belajar adalah kekuatan terbesarnya. Di bawah arsitektur komputasi standar, pemrogram harus mengembangkan algoritme yang memberi tahu komputer apa yang harus dilakukan dengan data yang masuk untuk memastikan komputer mengembalikan jawaban yang benar.

Respons I/O dapat sesederhana "ketika tombol A ditekan", "A ditampilkan di layar", atau lebih kompleks daripada melakukan statistik kompleks. Di sisi lain, jaringan saraf tidak membutuhkan algoritma yang sama. Melalui mekanisme pembelajaran, mereka pada dasarnya dapat mengembangkan algoritma mereka sendiri. Algoritma mesin untuk memastikan mereka bekerja dengan benar.

Penting untuk dicatat bahwa karena jaringan saraf adalah program yang ditulis pada mesin yang menggunakan standar Perangkat keras untuk pemrosesan berurutan, teknologi saat ini masih memberlakukan batasan. Nyatanya, membuat versi perangkat keras jaringan saraf adalah masalah yang sama sekali berbeda.

Dari neuron ke node

Sekarang setelah kita meletakkan dasar tentang cara kerja jaringan saraf, kita dapat mulai melihat beberapa hal spesifik. Struktur dasar jaringan saraf tiruan terlihat seperti ini:


Setiap lingkaran disebut "simpul" dan meniru satu neuron. Di sebelah kiri adalah node input, di tengah adalah node tersembunyi, dan di sebelah kanan adalah node output.

Dalam istilah paling dasar, input node mengambil nilai input yang bisa berupa biner 1 atau 0, bagian dari nilai warna RGB, status bidak catur, atau yang lainnya. Node ini mewakili informasi yang masuk ke jaringan.

Setiap simpul input dikaitkan dengan beberapa simpul tersembunyi (terkadang setiap simpul tersembunyi, terkadang subset). Node input mengambil informasi yang diberikan dan menyebarkannya bersama dengan lapisan tersembunyi.

Sebagai contoh, sebuah node input mungkin mengirim sinyal ("api," dalam istilah ilmu saraf) jika menerima 1, dan tetap diam jika menerima nol. Setiap node tersembunyi memiliki ambang batas: jika semua input yang dijumlahkan mencapai nilai tertentu, ia akan aktif.

Dari sinapsis ke koneksi

Setiap koneksi, yang setara dengan sinaps anatomis, juga memiliki bobot tertentu, yang memungkinkan jaringan untuk lebih memperhatikan aksi node tertentu. Ini contohnya:


Seperti yang Anda lihat, bobot koneksi "B" lebih tinggi daripada koneksi "A" dan "C". Katakanlah node tersembunyi "4" hanya akan menyala jika menerima input total "2" atau lebih. Ini berarti bahwa jika "1" atau "3" bekerja secara individual, maka "4" tidak akan berfungsi, tetapi "1" dan "3" bersama-sama akan memanggil node tersebut. Node "2" juga dapat menginisiasi sebuah node sendiri melalui koneksi "B".

Mari kita ambil cuaca sebagai contoh praktis. Katakanlah Anda sedang merancang jaringan saraf sederhana untuk menentukan apakah harus ada peringatan badai musim dingin.

Dengan menggunakan sambungan dan pemberat di atas, simpul 4 hanya dapat menyala jika suhu di bawah -18 C dan angin di atas 48 km/detik, atau akan menyala jika kemungkinan turun salju lebih besar dari 70 persen. Suhu akan dimasukkan ke node 1, angin ke node 3, dan kemungkinan salju masuk ke node 2. Sekarang node 4 dapat memperhitungkan semua ini saat menentukan sinyal mana yang akan dikirim ke lapisan output.

Lebih baik dari logika sederhana

Tentu saja, fungsi ini dapat dengan mudah diimplementasikan menggunakan gerbang AND/OR sederhana. Tetapi jaringan saraf yang lebih kompleks seperti di bawah ini mampu melakukan operasi yang jauh lebih kompleks.


Simpul dari lapisan keluaran berfungsi dengan cara yang sama seperti lapisan tersembunyi: simpul keluaran menjumlahkan masukan dari lapisan tersembunyi, dan jika mencapai nilai tertentu, simpul keluaran menyala dan mengirimkan sinyal tertentu. Di akhir proses, lapisan keluaran akan mengirimkan serangkaian sinyal yang menunjukkan hasil masukan.

Meskipun jaringan yang ditunjukkan di atas sederhana, jaringan saraf dalam dapat memiliki banyak lapisan tersembunyi dan ratusan node.


Perbaikan bug

Proses ini relatif sederhana sejauh ini. Tetapi di mana jaringan saraf benar-benar dibutuhkan adalah dalam pelatihan. Sebagian besar jaringan saraf menggunakan proses backpropagation yang mengirimkan sinyal kembali melalui jaringan.

Sebelum pengembang menggunakan jaringan saraf, mereka menjalankannya dalam fase pelatihan di mana diberikan serangkaian input dengan hasil yang diketahui. Misalnya, seorang programmer dapat mengajarkan jaringan saraf untuk mengenali gambar. Masukannya bisa berupa gambar mobil, dan keluaran yang benar adalah kata "mobil".

Pemrogram menyediakan gambar sebagai input dan melihat apa yang keluar dari node output. Jika jaringan membalas dengan "pesawat", pemrogram memberi tahu komputer bahwa itu salah.

Jaringan kemudian membuat penyesuaian pada koneksinya sendiri dengan mengubah bobot tautan yang berbeda di antara node. Tindakan ini didasarkan pada algoritme pembelajaran khusus yang ditambahkan ke jaringan. Jaringan terus menyesuaikan bobot koneksi hingga memberikan output yang benar.

Ini adalah penyederhanaan, tetapi jaringan saraf dapat mempelajari operasi yang sangat kompleks menggunakan prinsip serupa.

Perbaikan terus-menerus

Bahkan setelah pelatihan, backpropagation (pelatihan) berlanjut - dan di sinilah jaringan saraf menjadi sangat, sangat keren. Mereka terus belajar saat digunakan, mengintegrasikan informasi baru dan membuat penyesuaian pada bobot berbagai senyawa, menjadi semakin efektif pada tugas yang dimaksudkan.

Ini bisa sesederhana pengenalan pola atau serumit game CS:GO.

Dengan demikian, jaringan saraf terus berubah dan meningkat. Dan ini dapat memiliki konsekuensi yang tidak terduga, mengarah ke jaringan yang memprioritaskan hal-hal yang tidak akan diprioritaskan oleh programmer.

Selain proses yang dijelaskan di atas, yang disebut pembelajaran terawasi, ada metode lain: pembelajaran tanpa pengawasan.

Dalam situasi ini, jaringan saraf mengambil input dan mencoba membuatnya kembali persis di outputnya, menggunakan backpropagation untuk memperbarui koneksinya. Ini mungkin terdengar seperti latihan yang tidak berguna, tetapi begitulah cara jaringan belajar mengekstraksi fitur yang berguna dan menggeneralisasi fitur ini untuk meningkatkan model mereka.

Masalah Kedalaman

Backpropagation adalah cara yang sangat efisien untuk melatih jaringan saraf... ketika mereka hanya memiliki beberapa lapisan. Ketika jumlah lapisan tersembunyi meningkat, efisiensi backpropagation menurun. Ini adalah masalah untuk jaringan yang dalam. Menggunakan backpropagation, mereka seringkali tidak lebih efisien daripada jaringan sederhana.

Para ilmuwan telah mengembangkan sejumlah solusi untuk masalah ini, yang spesifiknya cukup kompleks dan di luar cakupan bagian pengantar ini. Apa yang coba dilakukan oleh banyak solusi ini bahasa sederhana, disebut mengurangi kompleksitas jaringan dengan mengajarkannya untuk "memampatkan" data.


Untuk melakukan ini, jaringan belajar mengekstrak lebih sedikit fitur pengidentifikasi dari input, yang pada akhirnya menjadi lebih efisien dalam perhitungannya. Pada dasarnya, web membuat generalisasi dan abstraksi, dengan cara yang sama seperti yang dipelajari manusia.

Setelah pelatihan ini, jaringan dapat memangkas node dan link yang dianggap kurang penting. Ini membuat jaringan lebih efisien dan pembelajaran menjadi lebih mudah.

Aplikasi jaringan saraf

Dengan demikian, jaringan saraf memodelkan bagaimana otak belajar menggunakan beberapa level node - input, tersembunyi, dan output - dan mereka dapat belajar dalam situasi terkontrol dan tidak terkontrol. Jaringan yang kompleks mampu mengabstraksi dan menggeneralisasi, yang membuatnya lebih efisien dan lebih mampu belajar.

Untuk apa kita bisa menggunakan sistem yang menakjubkan ini?

Secara teori, kita dapat menggunakan jaringan saraf untuk apa saja. Dan Anda mungkin telah menggunakannya tanpa menyadarinya. Mereka sangat umum dalam pengenalan ucapan dan visual, misalnya, karena mereka dapat belajar memilih ciri-ciri tertentu, hal-hal yang sama dalam suara atau gambar.

Jadi, saat Anda mengatakan, "OK Google", iPhone Anda menjalankan ucapan Anda melalui jaringan saraf untuk memahami apa yang Anda katakan. Mungkin ada jaringan saraf lain yang belajar memprediksi apa yang mungkin Anda minta.

Kendaraan self-propelled dapat menggunakan jaringan saraf untuk memproses data visual, sehingga mengikuti aturan jalan dan menghindari tabrakan. Semua jenis robot dapat memanfaatkan jaringan saraf yang membantu mereka mempelajari cara melakukan tugas secara efisien. Komputer dapat belajar bermain game seperti catur atau CS:GO. Jika Anda pernah berinteraksi dengan chatbot, kemungkinan besar chatbot menggunakan jaringan saraf untuk menyarankan respons yang relevan.

Pencarian di internet dapat memperoleh manfaat besar dari jaringan saraf, karena model pemrosesan paralel yang sangat efisien dapat menghasilkan banyak data dengan cepat. Jaringan saraf juga dapat mempelajari kebiasaan Anda untuk mempersonalisasi hasil pencarian Anda atau memprediksi apa yang akan Anda cari dalam waktu dekat. Model prediktif ini jelas akan sangat berharga bagi pemasar (dan bagi siapa saja yang perlu memprediksi perilaku manusia yang kompleks).

Pengenalan pola, pengenalan gambar optik, prediksi pasar saham, pencarian rute, pemrosesan data besar, analisis biaya medis, peramalan penjualan, kecerdasan buatan dalam video game - kemungkinannya hampir tidak terbatas. Kemampuan jaringan saraf untuk mempelajari pola, membuat generalisasi, dan berhasil memprediksi perilaku membuatnya berharga dalam situasi yang tak terhitung jumlahnya.

Masa Depan Neural Networks

Jaringan saraf telah berkembang dari model yang sangat sederhana menjadi simulator pelatihan tingkat tinggi. Mereka berada di ponsel, tablet, dan menggunakan banyak layanan web yang kami gunakan. Ada banyak sistem pembelajaran mesin lainnya.

Tetapi jaringan saraf, karena kemiripannya (dengan cara yang sangat sederhana) dengan otak manusia, termasuk yang paling menarik. Sementara kami terus mengembangkan dan meningkatkan model, kami tidak dapat mengatakan apa yang mampu mereka lakukan.

Apakah Anda tahu aplikasi jaringan saraf yang menarik? Apakah Anda memiliki pengalaman dengan mereka sendiri? Apa yang paling menarik bagi Anda tentang teknologi ini? Bagikan pemikiran Anda di komentar di bawah!

Pada tahun 2016, Internet meledak menjadi gelombang hype baru - kali ini proyek Deep Dream, dirilis ke publik oleh programmer Google, menjadi bahan diskusi hangat di jejaring sosial. Deep Dream memungkinkan setiap orang mengunggah foto mereka sendiri untuk diproses oleh kecerdasan buatan.

Pada output, pengguna menerima gambar seperti jaringan saraf "melihatnya". Bagaimana cara kerjanya dan apa itu MNIST? Hari ini kami akan memberi tahu Anda prinsip dasar kerja kecerdasan buatan.

Tamasya ke biologi

Kemampuan seseorang untuk menafsirkan dan memahami informasi visual dengan benar disediakan oleh proses biologis yang mungkin paling kompleks di alam semesta. Pada saat yang sama, jaringan saraf biologis manusia memainkan peran besar dalam pekerjaan alat visual, yang menjadi prototipe model pertama kecerdasan buatan. Mengapa otak begitu penting untuk penglihatan yang tajam dan jernih?

Faktanya adalah mata manusia melihat gambar yang buram, terbalik, dan dirusak oleh titik buta. Dialah yang awalnya terbentuk di retina, dan baru kemudian diteruskan ke otak. Dia sudah "membalik" gambar, memfilter detail yang tidak perlu, dan hampir secara instan menyorot objek yang dikenal atau tidak dikenal di bidang pandang. Berdasarkan informasi yang diterima, sistem saraf "mengeluarkan instruksi" ke organ lain, baik itu lonjakan adrenalin yang tajam dalam situasi berbahaya atau rasa lapar yang meningkat saat melihat makanan enak.

Peran besar dalam definisi gambar yang benar dimainkan oleh pendidikan dasar, yang dialami semua anak bahkan pada usia yang tidak sadar. Misalnya, saat melihat hewan yang tidak dikenal, orang tua menjelaskan bahwa itu adalah anjing, dan bukan makhluk lain. Lain kali otak anak langsung mengenali anjing di latar belakang objek lain. Jadi, sepanjang hidup, setelah jutaan gambar dilihat, kemampuan untuk mengenali dan memproses informasi yang perlu. Untuk kecerdasan buatan, database gambar seperti MNIST digunakan sebagai contoh.

Apa itu jaringan syaraf tiruan?

Sistem saraf manusia terdiri dari miliaran neuron yang dihubungkan oleh sinapsis. Setiap neuron dapat membentuk dan memutus ribuan koneksi dengan sel serupa dalam sepersekian detik. Berkat ini, kita dapat berpikir, menganalisis, mengingat, dan mereproduksi berbagai informasi. Jaringan saraf tiruan (JST) adalah upaya pertama yang memungkinkan mesin memperoleh kemampuan untuk menganalisis.

Seperti model biologis, JST terdiri dari sejumlah besar neuron yang dihubungkan oleh sinapsis. Hanya dalam kasus ini, ini bukan sel, tetapi unit komputasi yang menerima dan mengeluarkan informasi tertentu. Mereka dibagi menjadi beberapa jenis (masukan, tersembunyi, keluaran dan konteks). Berkat variasi kecil spesies, dimungkinkan untuk mengatur model primitif dari apa yang kita sebut berpikir.

Sinapsis neuron di JST juga memiliki parameternya sendiri. Setiap koneksi antara unit komputasi diberkahi dengan bobot, itulah sebabnya informasi dari neuron dengan bobot besar dianggap dominan. Dalam proses pengaturan dan pelatihan jaringan syaraf tiruan, parameter bobot dapat berubah berulang kali.

Apa yang ada di dalam?

Untuk membuat JST, Anda dapat menggunakan berbagai alat dan bahasa pemrograman; jaringan saraf dengan Python adalah yang paling populer sebagai pelatihan. Bahasa scripting ini adalah salah satu yang paling mudah dipelajari dan ideal untuk mengembangkan JST. Jaringan saraf Java kurang populer karena penulisannya yang lebih kompleks.

Apa yang tersembunyi "di balik tudung" JST terkadang tidak diketahui bahkan oleh pengembangnya sendiri. Selama pelatihan, sistem dapat berubah bentuk dan menjadi sangat berbeda dari bentuk aslinya. Sejumlah besar neuron terdiri dari ratusan lapisan perceptron, yang "terjerat" dengan jaringan interkoneksi plastik.

Secara umum, hadir rumus umum tindakan jaringan saraf tertentu cukup sulit, dan tidak perlu. Dari segi praktis, kami hanya tertarik pada input dan output yang disediakan oleh program. Seberapa baik JST "belajar" untuk mempertimbangkan dan mengidentifikasi gambar hanya bergantung pada keberhasilan pembelajaran mesin.

Pembelajaran mesin

Awalnya, kecerdasan buatan muncul sebagai inisiatif untuk menciptakan alat teknologi yang dapat memecahkan masalah yang sebelumnya hanya ditujukan untuk pemikiran manusia. Bidang pembelajaran mesin jaringan saraf sebagai bagian dari kecerdasan buatan muncul belum lama ini di persimpangan matematika dan ilmu komputer. Tujuan utama pembelajaran mesin adalah konstruksi algoritma yang benar berdasarkan contoh nyata keadaan benda. Dengan kata sederhana mesin "belajar" untuk memilih solusi yang tepat untuk masalah tersebut dengan memilah-milah ribuan kemungkinan solusi.

Yang terbaik adalah mempertimbangkan pembelajaran mesin secara mendetail menggunakan contoh JST, yang dibuat untuk mengidentifikasi objek dalam gambar. Awalnya, parameter bobot sinapsis diberikan secara acak. Setelah hasil pertama pemrosesan gambar (sering salah), jaringan saraf mengubah parameternya hingga belajar menemukan objek yang diinginkan di foto dengan tingkat probabilitas yang tinggi.

Namun, dalam beberapa kasus, "tutorial yang salah" dapat meniadakan semua upaya pengembang. Kumpulan gambar monoton yang sedikit akan mengarah pada fakta bahwa program hanya akan "menghafal" definisi yang diperlukan untuk setiap gambar dan tidak akan menganalisis detail terkecilnya. Khusus untuk tujuan tersebut, ada database MNIST (Mixed National Institute of Standards and Technology). Ini mencakup lusinan sampel digit tulisan tangan standar pada gambar 28x28 piksel.

MNIST sepenuhnya terbuka untuk digunakan, setiap pengembang dapat memeriksa kinerja jaringan saraf mereka di database. Selain MNIST, Anda dapat menggunakan database ImageNet dari Stanford University. Ini mencakup sekitar 14 juta gambar dari berbagai format.

Jenis jaringan saraf

Berdasarkan sifat koneksinya, JST diklasifikasikan menjadi jaringan saraf berulang, fungsi basis radial, dan peta yang mengatur dirinya sendiri. Pada JST berulang, sinyal dari neuron keluaran dikembalikan sebagian ke sistem untuk analisis lebih lanjut. Jaringan berbasis radial dilatih lebih cepat karena perbedaan penempatan lapisan tersembunyi dan keluaran neuron. Dan, terakhir, jaringan swakelola digunakan untuk mengidentifikasi objek baru yang tidak dikenal dengan cepat.

JST juga diklasifikasikan menurut sifat pelatihan, pengaturan bobot, jenis data input, dan banyak fitur lainnya. Dalam penggunaan praktis, kemampuan dari hanya tiga arsitektur jaringan saraf yang disebutkan di atas yang paling banyak digunakan.

Tujuan dan ruang lingkup

Kecerdasan buatan bukan lagi penemuan penulis fiksi ilmiah, modelnya yang paling sederhana diterapkan bahkan di smartphone biasa. JST digunakan untuk tiga tujuan utama:

  • Klasifikasi adalah distribusi sejumlah besar data berdasarkan parameter tertentu. Misalnya, sebuah program dapat memutuskan nasabah bank mana yang akan dipinjamkan berdasarkan kemampuan mereka untuk membayar dan riwayat kredit;
  • Peramalan - memprediksi hasil peristiwa dengan tingkat probabilitas tertentu. Misalnya, berapa harga satu blok saham di pasar saham;
  • Recognition adalah identifikasi objek tertentu dalam sebuah foto atau video. Contoh paling sederhana– deteksi wajah otomatis di kamera smartphone.

Sejauh ini, aplikasi kecantikan selfie dan layanan pencarian orang satu foto tetap menjadi satu-satunya penggunaan jaringan saraf. Namun, Vinci, Snapchat, atau FaceApp hanyalah puncak gunung es. JST dapat memberikan dorongan yang signifikan untuk otomatisasi bidang transportasi, keuangan, hiburan, dan lainnya. Berkat kecerdasan buatan, pekerjaan manusia yang monoton akan segera dapat disingkirkan.

Selain itu, kreativitas pun dapat dialirkan. Melalui upaya pengembang Yandex, album musik pertama 404 muncul, direkam oleh jaringan saraf. Album tersebut menjadi koleksi pertama dari grup non-existent Neuronnaya Oborona, berdasarkan gaya teks Yegor Letov.

JST dapat menjadi titik awal untuk pengembangan asisten lebih lanjut seperti Siri atau Cortana. Sudah, sistem seperti itu dapat mendukung percakapan sederhana dan menanggapi permintaan pengguna yang diinginkan. Layanan Deep Dream yang meluncurkan ledakan jaringan saraf pada tahun 2016 merupakan spin-off dari pengembang Google. Pada contoh foto-foto yang diolahnya, bisa dibayangkan bagaimana sebuah mesin melihat gambar ini atau itu dengan “otaknya”. Tentu saja, kusut yang tidak terbaca lebih seperti efek negatif dari obat psikedelik. Namun demikian, ini sudah merupakan langkah serius pertama menuju kecerdasan buatan yang lengkap.


Kecerdasan buatan, jaringan saraf, pembelajaran mesin - apa arti sebenarnya dari semua konsep yang sekarang populer ini? Bagi kebanyakan orang yang belum tahu, seperti saya sendiri, mereka selalu tampak seperti sesuatu yang fantastis, tetapi sebenarnya esensi mereka ada di permukaan. Saya sudah lama memiliki ide untuk menulis dalam bahasa sederhana tentang jaringan saraf tiruan. Pelajari sendiri dan beri tahu orang lain apa teknologi ini, cara kerjanya, pertimbangkan sejarah dan prospeknya. Dalam artikel ini, saya mencoba untuk tidak masuk ke dalam hutan, tetapi secara sederhana dan populer membicarakan bidang yang menjanjikan ini di dunia teknologi tinggi.


Kecerdasan buatan, jaringan saraf, pembelajaran mesin - apa arti sebenarnya dari semua konsep yang sekarang populer ini? Bagi kebanyakan orang yang belum tahu, seperti saya sendiri, mereka selalu tampak seperti sesuatu yang fantastis, tetapi sebenarnya esensi mereka terletak di permukaan. Saya sudah lama memiliki ide untuk menulis dalam bahasa sederhana tentang jaringan saraf tiruan. Pelajari sendiri dan beri tahu orang lain apa teknologi ini, cara kerjanya, pertimbangkan sejarah dan prospeknya. Dalam artikel ini, saya mencoba untuk tidak masuk ke dalam hutan, tetapi secara sederhana dan populer membicarakan bidang yang menjanjikan ini di dunia teknologi tinggi.

Sedikit sejarah

Untuk pertama kalinya, konsep jaringan saraf tiruan (JST) muncul saat mencoba memodelkan proses otak. Terobosan besar pertama di bidang ini dapat dianggap sebagai penciptaan model jaringan saraf McCulloch-Pitts pada tahun 1943. Para ilmuwan pertama kali mengembangkan model neuron buatan. Mereka juga mengusulkan pembangunan jaringan elemen-elemen ini untuk melakukan operasi logis. Tetapi yang terpenting, para ilmuwan telah membuktikan bahwa jaringan seperti itu mampu belajar.

Langkah penting berikutnya adalah pengembangan algoritma perhitungan JST pertama oleh Donald Hebb pada tahun 1949, yang menjadi fundamental untuk beberapa dekade berikutnya. Pada tahun 1958, Frank Rosenblatt mengembangkan parceptron, sebuah sistem yang meniru proses otak. Pada suatu waktu, teknologi tersebut tidak memiliki analog dan masih mendasar dalam jaringan saraf. Pada tahun 1986, hampir secara bersamaan, secara independen satu sama lain, ilmuwan Amerika dan Soviet secara signifikan meningkatkan metode dasar pengajaran perceptron berlapis-lapis. Pada tahun 2007, jaringan saraf mengalami kelahiran kembali. Ilmuwan komputer Inggris Geoffrey Hinton memelopori algoritme pembelajaran mendalam untuk jaringan saraf berlapis-lapis, yang sekarang, misalnya, digunakan untuk mengoperasikan kendaraan tak berawak.

Secara singkat tentang yang utama

Dalam arti umum, jaringan saraf adalah model matematika yang bekerja berdasarkan prinsip jaringan sel saraf dalam organisme hewan. JST dapat diimplementasikan dalam solusi yang dapat diprogram dan perangkat keras. Untuk memudahkan persepsi, neuron dapat direpresentasikan sebagai sejenis sel yang memiliki banyak saluran masuk dan satu saluran keluar. Berapa banyak sinyal masuk yang dibentuk menjadi sinyal keluar ditentukan oleh algoritma perhitungan. Nilai efektif diumpankan ke setiap input neuron, yang kemudian didistribusikan di sepanjang koneksi interneuronal (sinopsis). Sinapsis memiliki satu parameter - bobot, yang menyebabkan informasi input berubah saat berpindah dari satu neuron ke neuron lainnya. Cara termudah untuk memahami cara kerja jaringan saraf adalah dengan menggunakan pencampuran warna sebagai contoh. Neuron biru, hijau dan merah memiliki bobot yang berbeda. Informasi dari neuron tersebut yang bobotnya akan dominan pada neuron berikutnya.

Jaringan saraf itu sendiri adalah sistem dari banyak neuron (prosesor) semacam itu. Secara individual, prosesor ini cukup sederhana (jauh lebih sederhana daripada komputer pribadi), tetapi ketika terhubung ke sistem besar, neuron mampu melakukan tugas yang sangat kompleks.

Bergantung pada area aplikasinya, jaringan saraf dapat diinterpretasikan dengan cara yang berbeda, misalnya dari sudut pandang pembelajaran mesin, JST adalah metode pengenalan pola. Dari sudut pandang matematika, ini adalah masalah multi-parameter. Dari sudut pandang sibernetika - model kontrol robotika adaptif. Untuk kecerdasan buatan, JST adalah komponen fundamental untuk memodelkan kecerdasan alami menggunakan algoritma komputasi.

Keuntungan utama jaringan saraf dibandingkan algoritme komputasi konvensional adalah kemampuannya untuk dilatih. Dalam arti umum, pembelajaran terdiri dari menemukan koefisien komunikasi yang benar antar neuron, serta menggeneralisasi data dan mengidentifikasi hubungan kompleks antara sinyal input dan output. Faktanya, pelatihan jaringan saraf yang sukses berarti sistem akan dapat mengidentifikasi hasil yang benar berdasarkan data yang tidak ada dalam set pelatihan.

Posisi hari ini

Dan betapapun menjanjikannya teknologi ini, sejauh ini JST masih sangat jauh dari kemampuan otak dan pemikiran manusia. Namun demikian, jaringan saraf sudah digunakan di banyak bidang aktivitas manusia. Sejauh ini, mereka tidak dapat membuat keputusan yang sangat cerdas, tetapi mereka mampu menggantikan seseorang yang sebelumnya dibutuhkan. Di antara banyak bidang penerapan JST adalah: pembuatan sistem belajar mandiri dari proses produksi, kendaraan tak berawak, sistem pengenalan gambar, sistem keamanan cerdas, robotika, sistem pemantauan kualitas, antarmuka suara interaksi, sistem analitik, dan banyak lagi. Distribusi jaringan saraf yang begitu luas, antara lain, disebabkan oleh munculnya berbagai cara mempercepat pembelajaran JST.

Sampai saat ini, pasar untuk jaringan saraf sangat besar - miliaran dan miliaran dolar. Seperti yang diperlihatkan oleh praktik, sebagian besar teknologi jaringan saraf di seluruh dunia sedikit berbeda satu sama lain. Namun, penggunaan jaringan saraf adalah latihan yang sangat mahal, yang dalam banyak kasus hanya mampu dilakukan oleh perusahaan besar. Untuk pengembangan, pelatihan, dan pengujian jaringan saraf, diperlukan daya komputasi yang besar, jelas bahwa pemain besar di pasar TI sudah cukup. Di antara perusahaan utama yang memimpin pengembangan di bidang ini adalah divisi Google DeepMind, divisi Riset Microsoft, IBM, Facebook, dan Baidu.

Tentu saja, semua ini bagus: jaringan saraf berkembang, pasar berkembang, tetapi sejauh ini tugas utama belum terselesaikan. Umat ​​\u200b\u200bmanusia belum berhasil menciptakan teknologi yang bahkan kemampuannya mendekati otak manusia. Mari kita lihat perbedaan utama antara otak manusia dan jaringan syaraf tiruan.

Mengapa jaringan saraf masih jauh dari otak manusia?

Perbedaan terpenting, yang secara radikal mengubah prinsip dan efisiensi sistem, adalah gigi yang berbeda sinyal dalam jaringan saraf tiruan dan dalam jaringan biologis neuron. Faktanya adalah bahwa dalam JST, neuron mengirimkan nilai yang merupakan nilai nyata, yaitu angka. Di otak manusia, impuls ditransmisikan dengan amplitudo tetap, dan impuls ini hampir seketika. Dari sini mengikuti sejumlah keuntungan dari jaringan neuron manusia.

Pertama, jalur komunikasi di otak jauh lebih efisien dan ekonomis daripada di JST. Kedua, sirkuit pulsa memastikan kesederhanaan implementasi teknologi: cukup menggunakan sirkuit analog daripada mekanisme komputasi yang rumit. Pada akhirnya, jaringan impuls dilindungi dari gangguan suara. Bilangan real dipengaruhi oleh noise, yang meningkatkan kemungkinan kesalahan.

Hasil

Tentu saja, dalam dekade terakhir telah terjadi ledakan nyata dalam pengembangan jaringan saraf. Hal ini terutama disebabkan oleh fakta bahwa proses pembelajaran JST menjadi lebih cepat dan mudah. Juga, apa yang disebut jaringan saraf "pra-terlatih" mulai dikembangkan secara aktif, yang secara signifikan dapat mempercepat proses implementasi teknologi. Dan jika masih terlalu dini untuk mengatakan apakah jaringan saraf akan dapat mereproduksi sepenuhnya kemampuan otak manusia, kemungkinan bahwa dalam dekade mendatang JST akan dapat menggantikan seseorang dalam seperempat dari profesi yang ada semakin menjadi seperti itu. kebenaran.

Bagi yang ingin tahu lebih lanjut

  • Perang Saraf Besar: Apa yang Sebenarnya Dilakukan Google
  • Bagaimana komputer kognitif dapat mengubah masa depan kita


Memuat...
Atas