โครงข่ายประสาทเทียมโดยสังเขป โครงข่ายประสาทเทียม: ประเภท หลักการทำงาน และขอบเขต

เครือข่ายประสาท

แผนผังของเครือข่ายประสาทอย่างง่าย สีเขียวเป็น ป้อนข้อมูลองค์ประกอบ สีเหลือง - วันหยุดองค์ประกอบ

โครงข่ายประสาทเทียม(ANN) - แบบจำลองทางคณิตศาสตร์ ตลอดจนการใช้งานซอฟต์แวร์หรือฮาร์ดแวร์ สร้างขึ้นจากหลักการขององค์กรและการทำงานของเครือข่ายประสาทชีวภาพ - เครือข่ายเซลล์ประสาทของสิ่งมีชีวิต แนวคิดนี้เกิดขึ้นเมื่อศึกษากระบวนการที่เกิดขึ้นในสมองระหว่างการคิด และเมื่อพยายามจำลองกระบวนการเหล่านี้ แบบจำลองสมองแรกคือเพอร์เซปตรอน ต่อจากนั้น แบบจำลองเหล่านี้เริ่มถูกนำมาใช้เพื่อวัตถุประสงค์ในทางปฏิบัติ ตามกฎแล้ว ในการพยากรณ์ปัญหา

โครงข่ายประสาทเทียมไม่ได้ตั้งโปรแกรมตามความหมายปกติของคำนี้ ได้รับการฝึกฝน. ความสามารถในการเรียนรู้เป็นหนึ่งในข้อได้เปรียบหลักของโครงข่ายประสาทเทียมเหนืออัลกอริทึมแบบดั้งเดิม ในทางเทคนิคแล้ว การเรียนรู้คือการหาค่าสัมประสิทธิ์ของการเชื่อมต่อระหว่างเซลล์ประสาท ในกระบวนการเรียนรู้ โครงข่ายประสาทเทียมสามารถระบุความสัมพันธ์ที่ซับซ้อนระหว่างอินพุตและเอาต์พุตได้ ซึ่งหมายความว่า ในกรณีที่การฝึกอบรมสำเร็จ เครือข่ายจะสามารถส่งคืนผลลัพธ์ที่ถูกต้องตามข้อมูลที่ขาดหายไปในชุดการฝึกอบรม

ลำดับเหตุการณ์

การใช้งานที่โดดเด่น

การรวมกลุ่ม

การจัดกลุ่มเป็นที่เข้าใจกันว่าเป็นการแบ่งชุดของสัญญาณอินพุตออกเป็นคลาสแม้ว่าจะไม่ทราบจำนวนหรือลักษณะของคลาสล่วงหน้าก็ตาม หลังจากการฝึกอบรมเครือข่ายดังกล่าวสามารถระบุได้ว่าคลาสใด สัญญาณเข้า. เครือข่ายยังสามารถส่งสัญญาณว่าสัญญาณอินพุตไม่ได้เป็นของคลาสที่เลือก ซึ่งเป็นสัญญาณของข้อมูลใหม่ที่ขาดหายไปจากตัวอย่างการฝึก ดังนั้นเครือข่ายดังกล่าว สามารถตรวจจับคลาสสัญญาณใหม่ที่ไม่รู้จักก่อนหน้านี้. ความสอดคล้องระหว่างชั้นเรียนที่ระบุโดยเครือข่ายและชั้นเรียนที่มีอยู่ในสาขาวิชานั้นถูกกำหนดโดยบุคคล การจัดกลุ่มนั้นดำเนินการโดยเครือข่ายประสาท Kohonen

การทดลองเลือกลักษณะเครือข่าย

หลังจากเลือก โครงสร้างโดยรวมคุณต้องเลือกพารามิเตอร์เครือข่ายในการทดลอง สำหรับเครือข่ายเช่น perceptron นี่จะเป็นจำนวนเลเยอร์ จำนวนบล็อกในเลเยอร์ที่ซ่อนอยู่ (สำหรับเครือข่าย Word) การมีอยู่หรือไม่มีการเชื่อมต่อบายพาส และฟังก์ชันการถ่ายโอนของเซลล์ประสาท เมื่อเลือกจำนวนเลเยอร์และเซลล์ประสาทในนั้นควรดำเนินการตามข้อเท็จจริงที่ว่า ความสามารถของเครือข่ายในการสรุปจะสูงขึ้น จำนวนการเชื่อมต่อทั้งหมดระหว่างเซลล์ประสาทก็จะยิ่งมากขึ้นเท่านั้น. ในทางกลับกัน จำนวนการเชื่อมต่อจะถูกจำกัดจากด้านบนด้วยจำนวนบันทึกในข้อมูลการฝึกอบรม

การทดลองเลือกพารามิเตอร์การเรียนรู้

หลังจากเลือกโทโพโลยีเฉพาะแล้ว คุณต้องเลือกพารามิเตอร์การฝึกสำหรับโครงข่ายประสาทเทียม ขั้นตอนนี้มีความสำคัญอย่างยิ่งสำหรับเครือข่ายภายใต้การดูแล การเลือกพารามิเตอร์ที่ถูกต้องไม่เพียงกำหนดว่าการตอบสนองของเครือข่ายจะมาบรรจบกับการตอบสนองที่ถูกต้องเร็วเพียงใด ตัวอย่างเช่น การเลือกอัตราการเรียนรู้ต่ำจะเพิ่มเวลาบรรจบกัน แต่บางครั้งก็หลีกเลี่ยงเครือข่ายอัมพาต การเพิ่มขึ้นของโมเมนต์การเรียนรู้สามารถนำไปสู่ทั้งการเพิ่มขึ้นและการลดลงของเวลาบรรจบกัน ขึ้นอยู่กับรูปร่างของพื้นผิวข้อผิดพลาด จากอิทธิพลที่ขัดแย้งกันของพารามิเตอร์ สรุปได้ว่าค่าของค่าเหล่านี้ควรเลือกแบบทดลอง โดยได้รับคำแนะนำจากเกณฑ์การจบการเรียนรู้ (เช่น การลดข้อผิดพลาดให้เหลือน้อยที่สุดหรือจำกัดเวลาการฝึกอบรม)

อบรมเครือข่ายนั่นเอง

ในระหว่างขั้นตอนการเรียนรู้ เครือข่ายจะสแกนตัวอย่างการฝึกอบรมตามลำดับที่กำหนด ลำดับการสืบค้นอาจเป็นแบบลำดับ สุ่ม ฯลฯ บางเครือข่ายที่ไม่มีการควบคุม เช่น เครือข่าย Hopfield จะสแกนตัวอย่างเพียงครั้งเดียว เครือข่ายอื่นๆ เช่น เครือข่าย Kohonen และเครือข่ายภายใต้การดูแล สแกนตัวอย่างหลายครั้ง โดยมีการส่งผ่านตัวอย่างทั้งหมดหนึ่งครั้งเรียกว่า ยุคแห่งการเรียนรู้. เมื่อเรียนรู้กับครู ชุดข้อมูลเริ่มต้นจะแบ่งออกเป็นสองส่วน - ตัวอย่างการฝึกอบรมจริงและข้อมูลการทดสอบ หลักการของการแยกสามารถทำได้โดยพลการ ข้อมูลการฝึกอบรมจะถูกป้อนไปยังเครือข่ายสำหรับการฝึกอบรม และข้อมูลการทดสอบจะถูกใช้เพื่อคำนวณข้อผิดพลาดของเครือข่าย (ข้อมูลการทดสอบจะไม่ถูกใช้เพื่อฝึกอบรมเครือข่าย) ดังนั้น หากข้อผิดพลาดในข้อมูลการทดสอบลดลง เครือข่ายก็จะสรุปผล หากข้อผิดพลาดในข้อมูลการฝึกอบรมยังคงลดลง และข้อผิดพลาดในข้อมูลการทดสอบเพิ่มขึ้น แสดงว่าเครือข่ายหยุดการทำงานทั่วไปและเป็นเพียงการ "จดจำ" ข้อมูลการฝึกอบรม ปรากฏการณ์นี้เรียกว่า overfitting ของเครือข่ายหรือ overfitting ในกรณีเช่นนี้ การฝึกอบรมมักจะหยุดลง ในระหว่างกระบวนการฝึกอบรม ปัญหาอื่นๆ อาจปรากฏขึ้น เช่น อัมพาตหรือเครือข่ายเข้าสู่พื้นผิวข้อผิดพลาดขั้นต่ำในท้องถิ่น เป็นไปไม่ได้ที่จะคาดการณ์ล่วงหน้าถึงการปรากฏตัวของปัญหาเฉพาะรวมถึงการให้คำแนะนำที่ชัดเจนสำหรับการแก้ปัญหา

การตรวจสอบความเพียงพอของการฝึกอบรม

แม้ในกรณีที่การฝึกอบรมประสบความสำเร็จ เครือข่ายก็ไม่ได้เรียนรู้อย่างแน่ชัดเสมอไปว่าผู้สร้างต้องการอะไรจากมัน มีกรณีหนึ่งที่ทราบเมื่อเครือข่ายได้รับการฝึกฝนให้จดจำรูปภาพของรถถังจากภาพถ่าย แต่ต่อมากลับกลายเป็นว่ารถถังทั้งหมดถูกถ่ายภาพโดยมีพื้นหลังเดียวกัน เป็นผลให้เครือข่าย "เรียนรู้" เพื่อจดจำภูมิประเทศประเภทนี้ แทนที่จะ "เรียนรู้" เพื่อจดจำรถถัง ดังนั้นเครือข่ายจึง "เข้าใจ" ไม่ใช่สิ่งที่จำเป็น แต่เป็นสิ่งที่ง่ายที่สุดในการสรุป

จำแนกตามประเภทของข้อมูลที่ป้อนเข้า

• โครงข่ายประสาทเทียมแบบแอนะล็อก (ใช้ข้อมูลในรูปของจำนวนจริง);
• เครือข่ายประสาทไบนารี (ทำงานกับข้อมูลที่นำเสนอในรูปแบบไบนารี)

จำแนกตามลักษณะการฝึก

• การเรียนรู้ภายใต้การดูแล - ทราบพื้นที่การตัดสินใจเอาต์พุตของโครงข่ายประสาทเทียม
• การเรียนรู้แบบไม่มีผู้ดูแล - โครงข่ายประสาทเทียมสร้างพื้นที่การตัดสินใจเอาต์พุตตามการดำเนินการอินพุตเท่านั้น เครือข่ายดังกล่าวเรียกว่าการจัดระเบียบตนเอง
• การเรียนรู้แบบเสริมแรงเป็นระบบการกำหนดบทลงโทษและรางวัลจากสิ่งแวดล้อม

การจำแนกตามลักษณะของการปรับแต่งไซแนปส์

แบ่งตามระยะเวลาการส่งสัญญาณ

ในโครงข่ายประสาทเทียมจำนวนหนึ่ง ฟังก์ชันการเปิดใช้งานอาจไม่ได้ขึ้นอยู่กับค่าสัมประสิทธิ์น้ำหนักของการเชื่อมต่อเท่านั้น ว ฉันเจแต่ยังรวมถึงเวลาของการส่งแรงกระตุ้น (สัญญาณ) ผ่านช่องทางการสื่อสาร τ ฉันเจ. ดังนั้น โดยทั่วไป ฟังก์ชันการสื่อสารที่เปิดใช้งาน (ส่ง) ค ฉันเจจากองค์ประกอบ ยู ฉันเพื่อองค์ประกอบ ยู เจมีแบบฟอร์ม: . แล้ว เครือข่ายซิงโครนัส ฉันเจแต่ละพันธะมีค่าเป็นศูนย์หรือค่าคงที่คงที่ τ อะซิงโครนัสเรียกว่าเครือข่ายดังกล่าวซึ่งเวลาในการส่ง τ ฉันเจสำหรับแต่ละลิงค์ระหว่างองค์ประกอบ ยู ฉันและ ยู เจของตัวเอง แต่ยังถาวร

การจำแนกตามลักษณะของความสัมพันธ์

เครือข่ายฟีดฟอร์เวิร์ด

การเชื่อมต่อทั้งหมดถูกสั่งอย่างเคร่งครัดจากเซลล์ประสาทอินพุตไปยังเซลล์ประสาทขาออก ตัวอย่างของเครือข่ายดังกล่าว ได้แก่ Perceptron ของ Rosenblatt, Multilayer Perceptron, เครือข่าย Word

เครือข่ายประสาทกำเริบ

สัญญาณจากเซลล์ประสาทขาออกหรือเซลล์ประสาทชั้นซ่อนจะถูกส่งบางส่วนกลับไปยังอินพุตของเซลล์ประสาทชั้นอินพุต (ฟีดแบ็ค) เครือข่ายที่เกิดซ้ำ เครือข่าย Hopfield จะ "กรอง" ข้อมูลอินพุต กลับสู่สถานะที่เสถียร ดังนั้น จึงช่วยแก้ปัญหาการบีบอัดข้อมูลและการสร้างหน่วยความจำเชื่อมโยง กรณีพิเศษของเครือข่ายที่เกิดซ้ำคือเครือข่ายแบบสองทิศทาง ในเครือข่ายดังกล่าวมีการเชื่อมต่อระหว่างเลเยอร์ทั้งในทิศทางจากเลเยอร์อินพุตไปยังเอาต์พุตหนึ่งและในทิศทางตรงกันข้าม ตัวอย่างคลาสสิกคือ Cosco Neural Network

ฟังก์ชันฐานเรเดียล

เครือข่ายประสาทเทียมที่ใช้เครือข่ายประสาทพื้นฐานแบบเรเดียลเป็นฟังก์ชันการเปิดใช้งาน (เครือข่ายดังกล่าวเรียกโดยย่อว่าเครือข่าย RBF) แบบฟอร์มทั่วไปฟังก์ชันฐานรัศมี:

, ตัวอย่างเช่น,

ที่ไหน x- เวกเตอร์สัญญาณอินพุตของเซลล์ประสาท, σ - ความกว้างหน้าต่างฟังก์ชัน, φ( ย) เป็นฟังก์ชันที่ลดลง (ส่วนใหญ่มักมีค่าเท่ากับศูนย์นอกช่วงเวลาที่กำหนด)

เครือข่ายพื้นฐานแบบเรเดียลมีลักษณะเด่นสามประการ:

1. คนเดียว ชั้นที่ซ่อนอยู่

2. เฉพาะเซลล์ประสาทในชั้นที่ซ่อนอยู่เท่านั้นที่มีฟังก์ชันการเปิดใช้งานแบบไม่เชิงเส้น

3. น้ำหนัก synaptic ของการเชื่อมต่อของอินพุตและเลเยอร์ที่ซ่อนอยู่มีค่าเท่ากับหนึ่ง

เกี่ยวกับขั้นตอนการฝึกอบรม - ดูวรรณกรรม

แผนที่จัดระเบียบตนเอง

เครือข่ายดังกล่าวเป็นเครือข่ายประสาทที่มีการแข่งขันแบบไม่มีผู้ดูแลซึ่งทำหน้าที่สร้างภาพและจัดกลุ่ม เป็นวิธีฉายพื้นที่หลายมิติลงในพื้นที่ที่มีมิติต่ำกว่า (ส่วนใหญ่มักเป็นสองมิติ) นอกจากนี้ยังใช้เพื่อแก้ปัญหาการสร้างแบบจำลอง การพยากรณ์ ฯลฯ เป็นหนึ่งในเวอร์ชันของโครงข่ายประสาทเทียมของ Kohonen แผนที่ที่จัดระเบียบตัวเองของ Kohonen ใช้สำหรับการแสดงภาพและการวิเคราะห์ข้อมูลเบื้องต้น ("ข่าวกรอง") เป็นหลัก

สัญญาณไปยังเครือข่าย Kohonen จะส่งไปยังเซลล์ประสาททั้งหมดในคราวเดียว น้ำหนักของซินแนปส์ที่เกี่ยวข้องจะถูกตีความเป็นพิกัดของตำแหน่งโหนด และสัญญาณเอาต์พุตจะถูกสร้างขึ้นตามหลักการ "ผู้ชนะรับทั้งหมด" นั่นคือเซลล์ประสาทที่ใกล้ที่สุด (ในแง่ของน้ำหนักไซแนปส์) ไปยังสัญญาณอินพุตมีวัตถุสัญญาณเอาต์พุตที่ไม่เป็นศูนย์ ในระหว่างกระบวนการเรียนรู้ น้ำหนักของซินแนปส์จะถูกปรับในลักษณะที่โหนดขัดแตะนั้น "อยู่ในตำแหน่ง" ในตำแหน่งของการควบแน่นข้อมูลในเครื่อง กล่าวคือ พวกมันอธิบายโครงสร้างคลัสเตอร์ของดาต้าคลาวด์ ในทางกลับกัน การเชื่อมต่อ ระหว่างเซลล์ประสาทสอดคล้องกับความสัมพันธ์ของพื้นที่ใกล้เคียงระหว่างกลุ่มที่สอดคล้องกันในพื้นที่คุณลักษณะ

สะดวกในการพิจารณาแผนที่ดังกล่าวเป็นกริดสองมิติของโหนดที่อยู่ในพื้นที่หลายมิติ ในขั้นต้น แผนที่ที่จัดระเบียบตัวเองคือกริดของโหนดที่เชื่อมต่อกันด้วยลิงก์ Kohonen พิจารณาสองตัวเลือกสำหรับการเชื่อมต่อโหนด - ในตารางสี่เหลี่ยมและหกเหลี่ยม - ความแตกต่างคือในตารางสี่เหลี่ยมแต่ละโหนดเชื่อมต่อกับ 4 โหนดที่อยู่ใกล้เคียงและในโหนดหกเหลี่ยมหนึ่งถึง 6 โหนดที่ใกล้ที่สุด สำหรับสองกริดดังกล่าว กระบวนการสร้างเครือข่ายโคโฮเนนจะแตกต่างกันเฉพาะตรงที่เพื่อนบ้านที่ใกล้ที่สุดไปยังโหนดที่กำหนดเท่านั้น

การซ้อนกริดเริ่มต้นในพื้นที่ข้อมูลจะถูกเลือกโดยพลการ แพ็คเกจ SOM_PAK ของผู้เขียนเสนอตัวเลือกสำหรับตำแหน่งเริ่มต้นแบบสุ่มของโหนดในอวกาศ และตัวแปรสำหรับตำแหน่งของโหนดในระนาบ หลังจากนั้นโหนดจะเริ่มเคลื่อนที่ในอวกาศตามอัลกอริทึมต่อไปนี้:

1. จุดข้อมูลจะถูกเลือกแบบสุ่ม x .
2. ที่ใกล้ที่สุดจะถูกกำหนด xโหนดแผนที่ (BMU - หน่วยจับคู่ที่ดีที่สุด)
3. โหนดนี้ย้ายขั้นตอนที่กำหนดไปทาง x อย่างไรก็ตาม มันไม่ได้เคลื่อนที่เพียงลำพัง แต่เคลื่อนที่ไปตามโหนดที่ใกล้ที่สุดจำนวนหนึ่งจากละแวกใกล้เคียงบางแห่งบนแผนที่ ในบรรดาโหนดที่กำลังเคลื่อนที่ทั้งหมด โหนดกลางที่ใกล้กับจุดข้อมูลจะเคลื่อนที่มากที่สุด และส่วนที่เหลือจะพบกับการกระจัดที่เล็กลงเมื่ออยู่ห่างจาก BMU มากขึ้น มีสองขั้นตอนในการปรับแต่งแผนที่ - ขั้นตอนของการปรับแต่งแบบหยาบ (การสั่งซื้อ) และขั้นตอนของการปรับแต่งแบบละเอียด (การปรับแต่งแบบละเอียด) ในขั้นตอนแรกจะมีการเลือกค่าขนาดใหญ่ของพื้นที่ใกล้เคียงและการเคลื่อนไหวของโหนดมีลักษณะเป็นส่วนรวม - เป็นผลให้แผนที่ "กระจายออก" และสะท้อนถึงโครงสร้างข้อมูลอย่างคร่าว ๆ ที่เวที ปรับจูนรัศมีของพื้นที่ใกล้เคียงคือ 1-2 และตำแหน่งแต่ละโหนดได้รับการปรับแล้ว นอกจากนี้ ค่าอคติยังลดลงอย่างสม่ำเสมอตามเวลา นั่นคือมีค่ามากที่จุดเริ่มต้นของแต่ละขั้นตอนการฝึกอบรมและใกล้เป็นศูนย์ในตอนท้าย
4. อัลกอริทึมทำซ้ำสำหรับยุคจำนวนหนึ่ง (เป็นที่ชัดเจนว่าจำนวนขั้นตอนอาจแตกต่างกันไปมากขึ้นอยู่กับงาน)

ประเภทเครือข่ายที่รู้จัก

• เครือข่ายแฮมมิ่ง;
• นีโอค็อกนิตรอน;
• เครือข่ายประสาทอลวน;
• เครือข่ายการเผยแพร่เคาน์เตอร์
• เครือข่ายของฟังก์ชัน Radial Basis (เครือข่าย RBF);
• เครือข่ายของการถดถอยทั่วไป
• เครือข่ายความน่าจะเป็น
• โครงข่ายประสาทสยาม ;
• เครือข่ายของเสียงสะท้อนที่ปรับเปลี่ยนได้

ความแตกต่างจากเครื่องจักรที่มีสถาปัตยกรรมแบบ ฟอน นอยมันน์

วิวัฒนาการอันยาวนานทำให้สมองของมนุษย์มีคุณสมบัติหลายอย่างที่ไม่มีในเครื่องจักรที่มีสถาปัตยกรรมแบบ ฟอน นอยมันน์:

• ความเท่าเทียมจำนวนมาก
• การแสดงข้อมูลและการคำนวณแบบกระจาย
• ความสามารถในการเรียนรู้และสรุป;
• การปรับตัว;
• คุณสมบัติของการประมวลผลข้อมูลตามบริบท
• ความทนทานต่อข้อผิดพลาด
• การใช้พลังงานต่ำ.

โครงข่ายประสาทเทียม - ตัวประมาณสากล

โครงข่ายประสาทเทียมเป็นตัวประมาณค่าสากลและสามารถจำลองออโตเมตอนต่อเนื่องใดๆ ก็ได้ด้วยความแม่นยำ ทฤษฎีบทการประมาณค่าทั่วไปได้รับการพิสูจน์แล้ว: การใช้การดำเนินการเชิงเส้นและการเชื่อมต่อแบบเรียงซ้อน เป็นไปได้ที่จะได้รับอุปกรณ์จากองค์ประกอบที่ไม่เชิงเส้นโดยพลการซึ่งจะคำนวณฟังก์ชันต่อเนื่องใดๆ ด้วยความแม่นยำที่กำหนดไว้ล่วงหน้า ซึ่งหมายความว่าลักษณะเฉพาะที่ไม่ใช่เชิงเส้นของเซลล์ประสาทสามารถกำหนดได้ตามอำเภอใจ: จากซิกมอยด์ไปจนถึงแพ็กเก็ตคลื่นหรือเวฟเล็ต ไซน์ หรือพหุนามโดยพลการ ความซับซ้อนของเครือข่ายใดเครือข่ายหนึ่งอาจขึ้นอยู่กับตัวเลือกของฟังก์ชันที่ไม่เชิงเส้น แต่ด้วยความไม่เป็นเชิงเส้น เครือข่ายยังคงเป็นตัวประมาณค่าสากลแม้ว่า ทางเลือกที่เหมาะสมโครงสร้างสามารถประมาณการทำงานของหุ่นยนต์ต่อเนื่องใด ๆ ได้อย่างแม่นยำโดยพลการ

ตัวอย่างการใช้งาน

การทำนายอนุกรมเวลาทางการเงิน

ข้อมูลอินพุต - ราคาหุ้นสำหรับปี งานคือการกำหนดหลักสูตรของวันพรุ่งนี้ กำลังดำเนินการเปลี่ยนแปลงต่อไปนี้ - อัตราสำหรับวันนี้ เมื่อวาน วันก่อนเมื่อวาน วันก่อนเมื่อวาน เรียงกัน แถวถัดไปจะเลื่อนตามวันที่ทีละหนึ่งวัน ไปเรื่อยๆ ในชุดที่ได้รับ เครือข่ายที่มี 3 อินพุตและหนึ่งเอาต์พุตได้รับการฝึกฝน นั่นคือ เอาต์พุตคือ: อัตราสำหรับวันที่ อินพุต: อัตราสำหรับวันที่ ลบ 1 วัน ลบ 2 วัน ลบ 3 วัน เราป้อนหลักสูตรเครือข่ายที่ผ่านการฝึกอบรมสำหรับวันนี้ เมื่อวาน วันก่อนเมื่อวาน และรับคำตอบสำหรับวันพรุ่งนี้ เป็นเรื่องง่ายที่จะเห็นว่าในกรณีนี้เครือข่ายจะอนุมานการพึ่งพาพารามิเตอร์หนึ่งตัวต่อสามพารามิเตอร์ก่อนหน้า หากต้องการคำนึงถึงพารามิเตอร์อื่นๆ บางอย่าง (เช่น ดัชนีทั่วไปสำหรับอุตสาหกรรม) จะต้องเพิ่มเป็นอินพุต (และรวมอยู่ในตัวอย่าง) ฝึกเครือข่ายใหม่และรับผลลัพธ์ใหม่ สำหรับการฝึกอบรมที่แม่นยำที่สุด ควรใช้วิธี ORO เนื่องจากเป็นวิธีที่คาดเดาได้และนำไปใช้ได้ง่ายที่สุด

จิตวินิจฉัย

ชุดผลงานของ M. G. Dorrer และผู้เขียนร่วมอุทิศให้กับการศึกษาความเป็นไปได้ในการพัฒนาสัญชาตญาณทางจิตวิทยาในระบบผู้เชี่ยวชาญเครือข่ายประสาท ผลลัพธ์ที่ได้ให้แนวทางในการเปิดเผยกลไกของสัญชาตญาณของโครงข่ายประสาทเทียมซึ่งแสดงออกเมื่อพวกเขาแก้ปัญหาทางจิตวิเคราะห์ สร้างเทคนิคคอมพิวเตอร์ที่ไม่ได้มาตรฐาน ใช้งานง่ายวิธีการวินิจฉัยทางจิตซึ่งประกอบด้วยการยกเว้นการก่อสร้าง อธิบายความเป็นจริง. ช่วยให้คุณลดและลดความซับซ้อนของวิธีการวินิจฉัยทางจิต

เคมีสารสนเทศ

โครงข่ายประสาทเทียมถูกนำมาใช้กันอย่างแพร่หลายในการวิจัยทางเคมีและชีวเคมี ในปัจจุบัน โครงข่ายประสาทเทียมเป็นหนึ่งในวิธีการทางเคมีสารสนเทศที่พบมากที่สุดสำหรับการค้นหาความสัมพันธ์เชิงปริมาณของโครงสร้างและคุณสมบัติ สารประกอบและสำหรับการออกแบบสารประกอบทางเคมีและวัสดุที่มีคุณสมบัติที่กำหนดไว้ล่วงหน้าโดยตรง รวมถึงการพัฒนายาใหม่

หมายเหตุ

1. McCulloch W.S., Pitts W., แคลคูลัสเชิงตรรกะของความคิดที่เกี่ยวข้องกับกิจกรรมประสาท // ใน: "Automata" ed. ซี. อี. แชนนอน และ เจ. แมคคาร์ธี - ม.: Izd-vo inostr. สว่าง 2499 - หน้า 363-384 (แปลบทความภาษาอังกฤษ พ.ศ. 2486)
2. การจดจำรูปแบบและการควบคุมแบบปรับได้ เบอร์นาร์ด วิโดว์
3. Widrow B. สเติร์นส์เอส., การประมวลผลสัญญาณแบบปรับได้ - ม.: วิทยุและการสื่อสาร, 2532. - 440 น.
4. แวร์บอส พีเจ, Beyond regression: เครื่องมือใหม่สำหรับการทำนายและการวิเคราะห์ในพฤติกรรมศาสตร์ ปริญญาเอก วิทยานิพนธ์, Harvard University, Cambridge, MA, 2517
5. Galushkin A. I.การสังเคราะห์ระบบการจดจำภาพหลายชั้น - ม.: "พลังงาน", 2517
6. Rumelhart D.E. , Hinton G.E. , Williams R.J.การเรียนรู้การเป็นตัวแทนภายในโดยการขยายข้อผิดพลาด ใน: การประมวลผลแบบกระจายขนาน, เล่มที่. 1 หน้า 318-362. เคมบริดจ์, แมสซาชูเซตส์, MIT Press 2529.
7. Bartsev S. I. , Okhonin V. A.เครือข่ายที่ปรับเปลี่ยนได้ของการประมวลผลข้อมูล Krasnoyarsk: สถาบันฟิสิกส์ SO AN USSR, 1986 Preprint N 59B - 20 วินาที
8. BaseGroup Labs - การประยุกต์ใช้โครงข่ายประสาทเทียมในปัญหาการจำแนกประเภท
9. การเข้ารหัสประเภทนี้บางครั้งเรียกว่ารหัส "1 จาก N"
10. ระบบเปิด - ความรู้เบื้องต้นเกี่ยวกับโครงข่ายประสาทเทียม
11. เมิร์กส์ อี.เอ็ม., เครือข่ายประสาทโปร่งใสแบบลอจิคัลและการผลิตความรู้ชัดแจ้งจากข้อมูล , ในหนังสือ: ประสาทสารสนเทศ / A. N. Gorban, V. L. Dunin-Barkovsky, A. N. Kirdinฯลฯ - โนโวซีบีสค์: วิทยาศาสตร์ Siberian Enterprise RAS, 1998. - 296 พร้อม ISBN 5020314102
12. กล่าวถึงเรื่องนี้ในนิตยสาร Popular Mechanics
13. http://www.intuit.ru/department/expert/neuro/10/ INTUIT.ru - เครือข่ายที่เกิดซ้ำเป็นอุปกรณ์เก็บข้อมูลที่เชื่อมโยง]
14. Kohonen, T. (1989/1997/2001), Self-Organizing Maps, เบอร์ลิน-นิวยอร์ก: Springer-Verlag พิมพ์ครั้งแรก พ.ศ. 2532 พิมพ์ครั้งที่สาม พ.ศ. 2540 พิมพ์เพิ่มเติม พ.ศ. 2544 ISBN 0-387-51387-6 ISBN 3-540-67921-9
15. Zinoviev A. Yuการแสดงข้อมูลหลายมิติ - คราสโนยาสค์: เอ็ด Krasnoyarsk State Technical University, 2000. - 180 น.
16. Gorban A. N., ทฤษฎีบทการประมาณค่าทั่วไปและความสามารถในการคำนวณของโครงข่ายประสาทเทียม , Siberian Journal of Computational Mathematics, 1998. V.1, No. 1. P. 12-24.
17. Gorban A.N. , Rossiyev D.A. , Dorrer M.G., MultiNeuron - Neural Networks Simulator for Medical, Physiological, and Psychological Applications , Wcnn'95, Washington, D.C.: World Congress on Neural Networks 1995 International Neural Network Society Annual Meeting: Renaissance Hotel, Washington, D.C., USA, 17-21 กรกฎาคม, 2538.
18. ดอร์เรอร์ เอ็ม.จี., สัญชาตญาณทางจิตของโครงข่ายประสาทเทียม , Diss. ... 2541. ฉบับอื่นๆ ออนไลน์:,
19. Baskin I. I. , Palyulin V. A. , Zefirov N. S. ,การประยุกต์ใช้โครงข่ายประสาทเทียมในการวิจัยทางเคมีและชีวเคมี, เวสท์. มอสโก อุนตา. เซอร์ 2. เคมี 2542.ว.40. หมายเลข 5
20. Galbershtam N. M. , Baskin I. I. , Palyulin V. A. , Zefirov N. S.เครือข่ายประสาทเป็นวิธีการค้นหาโครงสร้างการพึ่งพา - คุณสมบัติของสารประกอบอินทรีย์ // ความก้าวหน้าในวิชาเคมี. - 2546. - ต. 72. - ฉบับที่ 7. - ส. 706-727.
21. Baskin I. I. , Palyulin V. A. , Zefirov N. S. Multilayer perceptrons ในการศึกษาความสัมพันธ์ "โครงสร้าง-คุณสมบัติ" สำหรับสารประกอบอินทรีย์ // Russian Chemical Journal (วารสารสมาคมเคมีแห่งรัสเซีย ตั้งชื่อตาม D.I. Mendeleev). - 2549. - ต. 50. - ส. 86-96.

ลิงค์

• เครือข่ายประสาทเทียมสำหรับ PHP 5.x - โครงการที่จริงจังสำหรับการพัฒนาโครงข่ายประสาทเทียมในภาษาโปรแกรม PHP 5.X
• เครือข่ายประสาทเทียมและฟอรัมอัลกอริทึมทางพันธุกรรม
• เมิร์กส์ อี.เอ็ม.,

เมื่อเร็ว ๆ นี้พวกเขาพูดถึงสิ่งที่เรียกว่าโครงข่ายประสาทเทียมบ่อยขึ้นเรื่อย ๆ พวกเขากล่าวว่าเร็ว ๆ นี้พวกเขาจะใช้อย่างแข็งขันในวิทยาการหุ่นยนต์และวิศวกรรมเครื่องกลและในกิจกรรมอื่น ๆ ของมนุษย์ แต่อัลกอริทึมของเครื่องมือค้นหา Google เดิมเริ่มใช้งานได้ช้าแล้ว ใช้งานได้ โครงข่ายประสาทเทียมเหล่านี้คืออะไร ทำงานอย่างไร แอปพลิเคชันคืออะไร และมีประโยชน์ต่อเราอย่างไร อ่านทั้งหมดนี้เพิ่มเติม

โครงข่ายประสาทเทียมคืออะไร

เครือข่ายประสาทเป็นหนึ่งในพื้นที่ การวิจัยทางวิทยาศาสตร์ในพื้นที่จัดสร้าง ปัญญาประดิษฐ์(AI) ซึ่งมีพื้นฐานมาจากความปรารถนาที่จะเลียนแบบระบบประสาทของมนุษย์ รวมถึงความสามารถ (ระบบประสาท) ของเธอในการแก้ไขข้อผิดพลาดและการเรียนรู้ด้วยตนเอง ทั้งหมดนี้แม้ว่าจะค่อนข้างหยาบ แต่ก็น่าจะทำให้เราสามารถจำลองการทำงานของสมองมนุษย์ได้

เครือข่ายประสาทชีวภาพ

แต่คำจำกัดความในย่อหน้าข้างต้นเป็นเพียงเรื่องทางเทคนิคเท่านั้น แต่พูดในภาษาของชีววิทยา เครือข่ายประสาทคือระบบประสาทของมนุษย์ ซึ่งเป็นชุดของเซลล์ประสาทในสมองของเรา ซึ่งต้องขอบคุณสิ่งที่เราคิด ตัดสินใจบางอย่าง รับรู้โลกรอบตัว เรา.

เซลล์ประสาททางชีวภาพเป็นเซลล์พิเศษที่ประกอบด้วยนิวเคลียส ร่างกาย และกระบวนการ ยิ่งไปกว่านั้น มันมี ปิดการเชื่อมต่อกับเซลล์ประสาทอื่นๆ อีกหลายพันเซลล์ ด้วยการเชื่อมต่อนี้ แรงกระตุ้นทางเคมีไฟฟ้าจะถูกส่งอย่างต่อเนื่อง ทำให้โครงข่ายประสาทเทียมทั้งหมดเข้าสู่สภาวะตื่นเต้นหรือในทางกลับกัน ตัวอย่างเช่น เหตุการณ์ที่น่ายินดีและน่าตื่นเต้นในเวลาเดียวกัน (การพบคนที่คุณรัก การชนะการแข่งขัน ฯลฯ) จะสร้างแรงกระตุ้นทางเคมีไฟฟ้าในเครือข่ายประสาทที่อยู่ในหัวของเรา ซึ่งจะนำไปสู่การกระตุ้น เป็นผลให้เครือข่ายประสาทในสมองของเราจะส่งการกระตุ้นไปยังอวัยวะอื่น ๆ ในร่างกายของเรา และจะนำไปสู่อัตราการเต้นของหัวใจที่เพิ่มขึ้น กระพริบตาบ่อยขึ้น ฯลฯ

ในภาพนี้เป็นแบบจำลองของโครงข่ายประสาททางชีวภาพของสมองที่จำลองอย่างง่าย เราเห็นว่าเซลล์ประสาทประกอบด้วยร่างกายของเซลล์และนิวเคลียส ร่างกายของเซลล์มีเส้นใยแตกแขนงมากมายเรียกว่าเดนไดรต์ เดนไดรต์ยาวเรียกว่าแอกซอนและมีความยาวมากกว่าที่แสดงในรูปนี้มาก การสื่อสารผ่านแอกซอนระหว่างเซลล์ประสาทนั้นเกิดขึ้นได้ ต้องขอบคุณพวกมันที่เครือข่ายประสาททางชีวภาพทำงานในหัวของเรา

ประวัติของโครงข่ายประสาทเทียม

ประวัติของการพัฒนาเครือข่ายประสาทในวิทยาศาสตร์และเทคโนโลยีคืออะไร? กำเนิดขึ้นพร้อมกับการถือกำเนิดของคอมพิวเตอร์เครื่องแรกหรือคอมพิวเตอร์ (Electronic Computer) ตามที่เรียกกันในสมัยนั้น ย้อนกลับไปในช่วงปลายทศวรรษที่ 1940 โดนัลด์ เฮบบ์บางคนได้พัฒนากลไกโครงข่ายประสาทเทียม ซึ่งวางกฎสำหรับการสอนคอมพิวเตอร์ ซึ่งก็คือ "คอมพิวเตอร์โปรโตคอมพิวเตอร์" เหล่านี้

ลำดับเหตุการณ์ต่อไปมีดังนี้:

• ในปี 1954 มีการใช้โครงข่ายประสาทเทียมในการทำงานของคอมพิวเตอร์เป็นครั้งแรก
• ในปี 1958 Frank Rosenblatt ได้พัฒนาอัลกอริทึมสำหรับการจดจำรูปแบบและคำอธิบายประกอบทางคณิตศาสตร์
• ในช่วงทศวรรษที่ 1960 ความสนใจในการพัฒนาโครงข่ายประสาทเทียมค่อนข้างจางหายไปเนื่องจากพลังการประมวลผลที่อ่อนแอในเวลานั้น
• และได้รับการฟื้นฟูอีกครั้งในทศวรรษที่ 1980 ซึ่งเป็นช่วงเวลาที่ระบบปรากฏขึ้นพร้อมกับกลไก ข้อเสนอแนะกำลังพัฒนาอัลกอริทึมการเรียนรู้ด้วยตนเอง
• ภายในปี 2000 พลังของคอมพิวเตอร์ได้เพิ่มขึ้นอย่างมากจนสามารถบรรลุความฝันอันสุดโต่งของนักวิทยาศาสตร์ในอดีตได้ ในเวลานี้โปรแกรมสำหรับการจดจำเสียงการมองเห็นของคอมพิวเตอร์และอื่น ๆ อีกมากมายปรากฏขึ้น

โครงข่ายประสาทเทียม

เครือข่ายประสาทเทียมเป็นที่เข้าใจกันโดยทั่วไปว่าเป็นระบบคอมพิวเตอร์ที่มีความสามารถในการเรียนรู้ด้วยตนเอง และค่อยๆ เพิ่มประสิทธิภาพ องค์ประกอบหลักของโครงสร้างเครือข่ายประสาทคือ:

• เซลล์ประสาทเทียมซึ่งเป็นหน่วยพื้นฐานที่เชื่อมต่อระหว่างกัน
• ไซแนปส์คือการเชื่อมต่อที่ใช้ในการส่งและรับข้อมูลระหว่างเซลล์ประสาท
• สัญญาณคือข้อมูลจริงที่จะส่ง

การประยุกต์ใช้โครงข่ายประสาทเทียม

ขอบเขตของเครือข่ายประสาทเทียมมีการขยายตัวทุกปี ปัจจุบันมีการใช้เครือข่ายประสาทเทียมในพื้นที่ต่างๆ เช่น:

• การเรียนรู้ของเครื่องเป็นปัญญาประดิษฐ์ประเภทหนึ่ง โดยอ้างอิงจากการฝึกอบรม AI จากตัวอย่างงานประเภทเดียวกันหลายล้านรายการ ทุกวันนี้ มีการนำแมชชีนเลิร์นนิงมาใช้อย่างแข็งขัน เครื่องมือค้นหา Google, ยานเดกซ์, Bing, Baidu ขึ้นอยู่กับล้าน ข้อความค้นหาซึ่งเราทุกคนพิมพ์ลงใน Google ทุกวัน อัลกอริทึมของพวกเขาเรียนรู้ที่จะแสดงผลลัพธ์ที่เกี่ยวข้องที่สุดแก่เรา เพื่อให้เราสามารถค้นหาสิ่งที่เรากำลังมองหาได้อย่างแท้จริง
• ในวิทยาการหุ่นยนต์ โครงข่ายประสาทเทียมถูกนำมาใช้ในการพัฒนาอัลกอริธึมจำนวนมากสำหรับ "สมอง" ของหุ่นยนต์
• สถาปนิก ระบบคอมพิวเตอร์ใช้โครงข่ายประสาทเทียมเพื่อแก้ปัญหาการคำนวณแบบขนาน
• ด้วยความช่วยเหลือของโครงข่ายประสาทเทียม นักคณิตศาสตร์สามารถแก้ปัญหาทางคณิตศาสตร์ที่ซับซ้อนต่างๆ ได้

ประเภทของโครงข่ายประสาทเทียม

โดยทั่วไปสำหรับ งานที่แตกต่างกันนำมาใช้ ชนิดต่างๆและประเภทของโครงข่ายประสาท ได้แก่

• โครงข่ายประสาทเทียม,
• เครือข่ายประสาทกำเริบ
• เครือข่ายประสาทฮอปฟิลด์

เครือข่ายประสาท Convolutional

เครือข่าย Convolutional เป็นหนึ่งในเครือข่ายประสาทเทียมที่ได้รับความนิยมมากที่สุด ดังนั้นพวกเขาจึงพิสูจน์ประสิทธิภาพในการจดจำรูปแบบภาพ (วิดีโอและรูปภาพ) ระบบผู้แนะนำ และการประมวลผลภาษา

• เครือข่ายประสาทแบบ Convolutional สามารถปรับขนาดได้สูงและสามารถใช้สำหรับการจดจำรูปแบบที่มีความละเอียดมาก
• เครือข่ายเหล่านี้ใช้เซลล์ประสาทสามมิติเชิงปริมาตร ภายในหนึ่งชั้น เซลล์ประสาทจะเชื่อมต่อกันด้วยช่องเล็กๆ เรียกว่าชั้นรับ
• เซลล์ประสาทของชั้นที่อยู่ใกล้เคียงเชื่อมต่อกันผ่านกลไกของการแปลเชิงพื้นที่ การทำงานของเลเยอร์ดังกล่าวจำนวนมากมีให้โดยตัวกรองพิเศษแบบไม่เชิงเส้นที่ตอบสนองต่อทั้งหมด มากกว่าพิกเซล

เครือข่ายประสาทกำเริบ

เครือข่ายประสาทดังกล่าวเรียกว่า การเกิดซ้ำ การเชื่อมต่อระหว่างเซลล์ประสาทซึ่งก่อตัวเป็นวัฏจักรบ่งชี้ มีลักษณะดังต่อไปนี้:

• การเชื่อมต่อแต่ละรายการมีน้ำหนักของตัวเองซึ่งมีความสำคัญเช่นกัน
• โหนดแบ่งออกเป็นสองประเภท โหนดเบื้องต้นและโหนดที่ซ่อนอยู่
• ข้อมูลในโครงข่ายประสาทที่เกิดซ้ำไม่ได้ถูกส่งผ่านเป็นเส้นตรงทีละชั้นเท่านั้น แต่ยังส่งระหว่างเซลล์ประสาทด้วยกันเองด้วย
• สำคัญ คุณสมบัติที่โดดเด่นเครือข่ายประสาทที่เกิดซ้ำคือการมีอยู่ของสิ่งที่เรียกว่า "พื้นที่แห่งความสนใจ" เมื่อเครื่องสามารถให้ข้อมูลบางอย่างที่ต้องการการประมวลผลขั้นสูง

เครือข่ายประสาทที่เกิดขึ้นซ้ำใช้ในการรับรู้และประมวลผลข้อมูลข้อความ (ความถี่ขึ้นอยู่กับตัวแปลของ Google อัลกอริทึม Yandex Palekh ผู้ช่วยเสียงแอปเปิ้ลสิริ).

เครือข่ายประสาท, วิดีโอ

และสุดท้าย วิดีโอที่น่าสนใจเกี่ยวกับโครงข่ายประสาทเทียม

หากคุณติดตามข่าวสารจากโลกแห่งวิทยาศาสตร์และเทคโนโลยี คุณอาจเคยได้ยินบางอย่างเกี่ยวกับแนวคิดของโครงข่ายประสาทเทียม

ตัวอย่างเช่น ในปี 2016 AlphaGo neural network ของ Google เอาชนะหนึ่งในผู้เล่น Counter-Strike: Global Offensive มืออาชีพที่ดีที่สุดในโลก 4-1 YouTube ยังประกาศว่าพวกเขาจะใช้โครงข่ายประสาทเทียมเพื่อทำความเข้าใจวิดีโอของพวกเขาให้ดียิ่งขึ้น

แต่โครงข่ายประสาทเทียมคืออะไร? มันทำงานอย่างไร? และทำไมพวกเขาถึงได้รับความนิยมในการตัดเฉือน?

คอมพิวเตอร์เปรียบเสมือนสมอง

นักประสาทวิทยาสมัยใหม่มักกล่าวถึงสมองว่าเป็นคอมพิวเตอร์ประเภทหนึ่ง โครงข่ายประสาทเทียมมีเป้าหมายที่จะทำสิ่งที่ตรงกันข้าม: สร้างคอมพิวเตอร์ที่ทำงานเหมือนสมอง

แน่นอนว่าเรามีความเข้าใจอย่างผิวเผินเท่านั้น ฟังก์ชันที่ซับซ้อนของสมอง แต่ด้วยการสร้างแบบจำลองง่ายๆ ว่าสมองประมวลผลข้อมูลอย่างไร เราสามารถสร้างคอมพิวเตอร์ประเภทหนึ่งที่จะทำงานแตกต่างจากคอมพิวเตอร์มาตรฐานอย่างมาก

โปรเซสเซอร์คอมพิวเตอร์ประมวลผลข้อมูลตามลำดับ ("ตามลำดับ") พวกเขาดำเนินการหลายอย่างกับชุดข้อมูลทีละชุด การประมวลผลแบบขนาน ("การประมวลผลหลายเธรดในเวลาเดียวกัน") เร่งความเร็วคอมพิวเตอร์อย่างมากโดยใช้โปรเซสเซอร์หลายตัวในซีรีส์

ในรูปด้านล่าง ตัวอย่างการประมวลผลแบบขนานต้องใช้โปรเซสเซอร์ห้าตัวที่แตกต่างกัน:

โครงข่ายประสาทเทียม (เรียกว่าเพื่อแยกความแตกต่างจากโครงข่ายประสาทจริงในสมอง) มีโครงสร้างที่แตกต่างกันโดยพื้นฐาน มันเชื่อมโยงกันมาก สิ่งนี้ทำให้คุณสามารถประมวลผลข้อมูลได้อย่างรวดเร็ว เรียนรู้จากข้อมูลนี้ และปรับปรุงโครงสร้างภายในของคุณเองเพื่อปรับปรุงประสิทธิภาพ

อย่างไรก็ตาม ระดับสูงความเชื่อมโยงกันมีนัยยะสำคัญบางประการ ตัวอย่างเช่น โครงข่ายประสาทเทียมสามารถจดจำโครงสร้างข้อมูลที่คลุมเครือได้ดีมาก

ความสามารถในการเรียนรู้

ความสามารถของโครงข่ายประสาทเทียมในการเรียนรู้คือจุดแข็งที่ยิ่งใหญ่ที่สุด ภายใต้สถาปัตยกรรมคอมพิวเตอร์มาตรฐาน โปรแกรมเมอร์ต้องพัฒนาอัลกอริทึมที่บอกคอมพิวเตอร์ว่าจะทำอย่างไรกับข้อมูลที่เข้ามา เพื่อให้แน่ใจว่าคอมพิวเตอร์จะส่งคืนคำตอบที่ถูกต้อง

การตอบสนอง I/O สามารถทำได้ง่ายๆ เช่น "เมื่อกดปุ่ม A", "แสดง A บนหน้าจอ" หรือซับซ้อนกว่าการแสดงสถิติที่ซับซ้อน ในทางกลับกัน โครงข่ายประสาทเทียมไม่จำเป็นต้องใช้อัลกอริทึมเดียวกัน พวกเขาสามารถพัฒนาอัลกอริทึมของตนเองได้โดยผ่านกลไกการเรียนรู้ อัลกอริทึมของเครื่องเพื่อให้แน่ใจว่าทำงานได้อย่างถูกต้อง

สิ่งสำคัญคือต้องสังเกตว่าเนื่องจากโครงข่ายประสาทเทียมเป็นโปรแกรมที่เขียนบนเครื่องที่ใช้มาตรฐาน ฮาร์ดแวร์สำหรับการประมวลผลแบบลำดับนั้น เทคโนโลยีปัจจุบันยังมีข้อจำกัดอยู่ ในความเป็นจริง การสร้างเครือข่ายประสาทเทียมเวอร์ชันฮาร์ดแวร์เป็นปัญหาที่แตกต่างไปจากเดิมอย่างสิ้นเชิง

จากเซลล์ประสาทไปยังโหนด

ตอนนี้เราได้วางรากฐานสำหรับวิธีการทำงานของเครือข่ายนิวรัลแล้ว เราสามารถเริ่มดูข้อมูลเฉพาะบางอย่างได้ โครงสร้างพื้นฐานของเครือข่ายประสาทเทียมมีลักษณะดังนี้:

วงกลมแต่ละวงเรียกว่า "โหนด" และเลียนแบบเซลล์ประสาทเดียว ทางซ้ายคือโหนดอินพุต ตรงกลางคือโหนดที่ซ่อนอยู่ และทางขวาคือโหนดเอาต์พุต

ในแง่พื้นฐานที่สุด โหนดอินพุตรับค่าอินพุตที่สามารถเป็นเลขฐานสอง 1 หรือ 0 ส่วนหนึ่งของค่าสี RGB สถานะของตัวหมากรุก หรือสิ่งอื่นใด โหนดเหล่านี้แสดงถึงข้อมูลที่เข้ามาในเครือข่าย

แต่ละโหนดอินพุตเชื่อมโยงกับโหนดที่ซ่อนอยู่หลายโหนด (บางครั้งแต่ละโหนดที่ซ่อนอยู่ บางครั้งเป็นส่วนย่อย) โหนดอินพุตรับข้อมูลที่ได้รับและส่งผ่านไปยังเลเยอร์ที่ซ่อนอยู่

ตัวอย่างเช่น โหนดอินพุตอาจส่งสัญญาณ ("ไฟ" ในภาษาประสาทวิทยาศาสตร์) หากได้รับค่า 1 และคงสถานะว่างหากได้รับค่าศูนย์ แต่ละโหนดที่ซ่อนอยู่มีเกณฑ์: หากอินพุตที่รวมทั้งหมดมีค่าถึงค่าที่กำหนด โหนดจะเริ่มทำงาน

จากไซแนปส์ไปจนถึงการเชื่อมต่อ

การเชื่อมต่อแต่ละครั้งซึ่งเทียบเท่ากับไซแนปส์ทางกายวิภาคนั้นมีน้ำหนักที่แน่นอนซึ่งช่วยให้เครือข่ายให้ความสำคัญกับการกระทำของโหนดใดโหนดหนึ่ง นี่คือตัวอย่าง:

อย่างที่คุณเห็น น้ำหนักของการเชื่อมต่อ "B" นั้นสูงกว่าการเชื่อมต่อ "A" และ "C" สมมติว่าโหนดที่ซ่อนอยู่ "4" จะเริ่มทำงานก็ต่อเมื่อได้รับอินพุตทั้งหมด "2" หรือมากกว่านั้น ซึ่งหมายความว่าหาก "1" หรือ "3" ทำงานแยกกัน "4" จะไม่ทำงาน แต่ "1" และ "3" ร่วมกันจะเรียกโหนด โหนด "2" ยังสามารถเริ่มต้นโหนดด้วยตัวเองผ่านการเชื่อมต่อ "B"

ลองใช้สภาพอากาศเป็นตัวอย่างในทางปฏิบัติ สมมติว่าคุณกำลังออกแบบโครงข่ายประสาทอย่างง่ายเพื่อพิจารณาว่าควรมีการเตือนพายุฤดูหนาวหรือไม่

การใช้การเชื่อมต่อและน้ำหนักด้านบน โหนด 4 สามารถยิงได้ก็ต่อเมื่ออุณหภูมิต่ำกว่า -18 C และลมสูงกว่า 48 กม./วินาที มิฉะนั้นจะยิงได้หากมีโอกาสเกิดหิมะมากกว่า 70 เปอร์เซ็นต์ อุณหภูมิจะถูกป้อนเข้าสู่โหนด 1 ลมไปยังโหนด 3 และความน่าจะเป็นที่หิมะจะเข้าสู่โหนด 2 ตอนนี้ โหนด 4 สามารถนำทั้งหมดนี้มาพิจารณาเมื่อกำหนดสัญญาณที่จะส่งไปยังเลเยอร์เอาต์พุต

ดีกว่าตรรกะง่ายๆ

แน่นอน ฟังก์ชันนี้สามารถนำไปใช้ได้โดยใช้เกท AND/OR อย่างง่าย แต่โครงข่ายประสาทเทียมที่ซับซ้อนกว่าเช่นด้านล่างนี้สามารถดำเนินการที่ซับซ้อนกว่ามากได้

โหนดของเลเยอร์เอาต์พุตทำงานในลักษณะเดียวกับเลเยอร์ที่ซ่อนอยู่: โหนดเอาต์พุตจะรวมอินพุตจากเลเยอร์ที่ซ่อนอยู่ และหากถึงค่าที่กำหนด โหนดเอาต์พุตจะเริ่มทำงานและส่งสัญญาณเฉพาะ ในตอนท้ายของกระบวนการ เอาต์พุตเลเยอร์จะส่งชุดสัญญาณที่ระบุผลลัพธ์ของอินพุต

แม้ว่าเครือข่ายที่แสดงด้านบนจะเรียบง่าย แต่โครงข่ายประสาทเทียมระดับลึกสามารถมีเลเยอร์ที่ซ่อนอยู่มากมายและโหนดหลายร้อยโหนด

แก้ไขข้อบกพร่อง

กระบวนการนี้ค่อนข้างง่าย แต่เครือข่ายประสาทที่จำเป็นจริงๆ คือการฝึกอบรม โครงข่ายประสาทเทียมส่วนใหญ่ใช้กระบวนการ backpropagation ที่ส่งสัญญาณกลับผ่านเครือข่าย

ก่อนที่นักพัฒนาจะปรับใช้โครงข่ายประสาทเทียม พวกเขาจะเรียกใช้ในช่วงการฝึกอบรมซึ่งจะได้รับชุดอินพุตพร้อมผลลัพธ์ที่ทราบ ตัวอย่างเช่น โปรแกรมเมอร์สามารถสอนโครงข่ายประสาทเทียมให้จดจำรูปภาพได้ อินพุตอาจเป็นรูปภาพของรถ และเอาต์พุตที่ถูกต้องคือคำว่า "รถ"

โปรแกรมเมอร์จัดเตรียมอิมเมจเป็นอินพุตและดูว่ามีอะไรออกมาจากโหนดเอาท์พุต หากเครือข่ายตอบกลับด้วย "เครื่องบิน" โปรแกรมเมอร์กำลังบอกคอมพิวเตอร์ว่าผิด

จากนั้นเครือข่ายจะปรับเปลี่ยนการเชื่อมต่อของตนเองโดยเปลี่ยนน้ำหนักของลิงก์ต่างๆ ระหว่างโหนด การดำเนินการนี้ขึ้นอยู่กับอัลกอริทึมการเรียนรู้พิเศษที่เพิ่มเข้ามาในเครือข่าย เครือข่ายยังคงปรับน้ำหนักการเชื่อมต่อจนกว่าจะให้เอาต์พุตที่ถูกต้อง

นี่คือการทำให้เข้าใจง่าย แต่โครงข่ายประสาทเทียมสามารถเรียนรู้การทำงานที่ซับซ้อนมากโดยใช้หลักการที่คล้ายกัน

พัฒนาอย่างต่อเนื่อง

แม้หลังจากการฝึกแล้ว การถ่ายทอดกลับ (การฝึก) ยังคงดำเนินต่อไป และนี่คือจุดที่โครงข่ายประสาทเทียมได้รับความเย็นจริงๆ พวกเขายังคงเรียนรู้ในขณะที่ใช้งาน บูรณาการข้อมูลใหม่และทำการปรับน้ำหนักของสารประกอบต่างๆ มีประสิทธิภาพมากขึ้นเรื่อยๆ ในงานที่พวกเขาตั้งใจไว้

มันอาจจะง่ายเหมือนการจดจำรูปแบบหรือซับซ้อนเหมือนเกม CS:GO

ดังนั้นโครงข่ายประสาทเทียมจึงมีการเปลี่ยนแปลงและปรับปรุงอย่างต่อเนื่อง และสิ่งนี้อาจส่งผลที่ไม่คาดคิด นำไปสู่เครือข่ายที่จัดลำดับความสำคัญของสิ่งที่โปรแกรมเมอร์จะไม่ให้ความสำคัญ

นอกจากกระบวนการที่อธิบายไว้ข้างต้นซึ่งเรียกว่าการเรียนรู้แบบมีผู้สอนแล้ว ยังมีอีกวิธีหนึ่งคือการเรียนรู้แบบไม่มีผู้สอน

ในสถานการณ์นี้ โครงข่ายประสาทเทียมรับอินพุตและพยายามสร้างมันขึ้นมาใหม่ในเอาท์พุต โดยใช้การย้อนกลับเพื่ออัปเดตการเชื่อมต่อ นี่อาจฟังดูไร้ประโยชน์ แต่นี่เป็นวิธีที่เครือข่ายเรียนรู้ที่จะดึงข้อมูลออกมา คุณสมบัติที่มีประโยชน์และสรุปคุณสมบัติเหล่านี้เพื่อปรับปรุงโมเดล

เรื่องของความลึก

Backpropagation เป็นวิธีที่มีประสิทธิภาพมากในการฝึกโครงข่ายประสาทเทียม...เมื่อมีเลเยอร์เพียงไม่กี่ชั้น เมื่อจำนวนเลเยอร์ที่ซ่อนอยู่เพิ่มขึ้น ประสิทธิภาพของการย้อนกลับจะลดลง นี่เป็นปัญหาสำหรับเครือข่ายระดับลึก การใช้ backpropagation มักไม่มีประสิทธิภาพมากไปกว่าเครือข่ายธรรมดา

นักวิทยาศาสตร์ได้พัฒนาวิธีแก้ปัญหานี้เป็นจำนวนมาก ซึ่งเฉพาะเจาะจงนั้นค่อนข้างซับซ้อนและอยู่นอกเหนือขอบเขตของส่วนเบื้องต้นนี้ โซลูชันเหล่านี้กำลังพยายามทำอะไรอยู่ ภาษาธรรมดาเรียกว่าลดความซับซ้อนของเครือข่ายโดยสอนให้ "บีบอัด" ข้อมูล

ในการทำเช่นนี้ เครือข่ายจะเรียนรู้ที่จะดึงคุณลักษณะการระบุตัวตนน้อยลงจากอินพุต ซึ่งในที่สุดก็จะมีประสิทธิภาพมากขึ้นในการคำนวณ โดยพื้นฐานแล้ว เว็บสร้างภาพรวมและสิ่งที่เป็นนามธรรมในลักษณะเดียวกับที่มนุษย์เรียนรู้

หลังจากการฝึกอบรมนี้ เครือข่ายสามารถตัดโหนดและเชื่อมโยงที่เห็นว่ามีความสำคัญน้อยกว่าได้ สิ่งนี้ทำให้เครือข่ายมีประสิทธิภาพมากขึ้นและการเรียนรู้ก็ง่ายขึ้น

แอปพลิเคชั่นโครงข่ายประสาทเทียม

ดังนั้นโครงข่ายประสาทเทียมจึงจำลองวิธีที่สมองเรียนรู้โดยใช้โหนดหลายระดับ ได้แก่ อินพุต ซ่อน และเอาท์พุต และพวกมันสามารถเรียนรู้ได้ทั้งในสถานการณ์ที่มีการควบคุมและไม่ได้ควบคุม เครือข่ายที่ซับซ้อนสามารถสรุปและสรุปได้ ซึ่งทำให้มีประสิทธิภาพมากขึ้นและมีความสามารถในการเรียนรู้มากขึ้น

เราจะใช้ระบบที่น่าสนใจเหล่านี้เพื่ออะไรได้บ้าง

ตามทฤษฎีแล้ว เราสามารถใช้โครงข่ายประสาทเทียมเพื่ออะไรก็ได้ และคุณอาจใช้มันโดยไม่รู้ตัว สิ่งเหล่านี้พบได้ทั่วไปในการรู้จำเสียงพูดและการมองเห็น ตัวอย่างเช่น เนื่องจากสามารถเรียนรู้ที่จะเลือกคุณลักษณะบางอย่าง สิ่งที่เหมือนกันในรูปของเสียงหรือภาพ

ดังนั้น เมื่อคุณพูดว่า "Ok Google" iPhone ของคุณจะสั่งงานคำพูดของคุณผ่านโครงข่ายประสาทเทียมเพื่อทำความเข้าใจสิ่งที่คุณพูด บางทีอาจมีเครือข่ายประสาทอื่นที่เรียนรู้ที่จะคาดเดาสิ่งที่คุณน่าจะขอ

ยานพาหนะที่ขับเคลื่อนด้วยตัวเองสามารถใช้โครงข่ายประสาทเทียมในการประมวลผลข้อมูลภาพได้ กฎจราจรและหลีกเลี่ยงการชนกัน หุ่นยนต์ทุกประเภทสามารถใช้ประโยชน์จากโครงข่ายประสาทเทียมที่ช่วยให้พวกเขาเรียนรู้วิธีปฏิบัติงานได้อย่างมีประสิทธิภาพ คอมพิวเตอร์สามารถเรียนรู้การเล่นเกม เช่น หมากรุกหรือ CS:GO หากคุณเคยโต้ตอบกับแชทบอท มีโอกาสที่มันจะใช้โครงข่ายประสาทเทียมเพื่อแนะนำการตอบสนองที่เกี่ยวข้อง

การค้นหาทางอินเทอร์เน็ตจะได้รับประโยชน์อย่างมากจากโครงข่ายประสาทเทียม เนื่องจากรูปแบบการประมวลผลแบบขนานที่มีประสิทธิภาพสูงสามารถสร้างข้อมูลจำนวนมากได้อย่างรวดเร็ว โครงข่ายประสาทเทียมยังสามารถเรียนรู้นิสัยของคุณเพื่อปรับแต่งผลการค้นหาของคุณหรือทำนายสิ่งที่คุณกำลังจะค้นหาในอนาคตอันใกล้ โมเดลการทำนายนี้จะมีประโยชน์อย่างมากสำหรับนักการตลาด (และสำหรับใครก็ตามที่ต้องการทำนายพฤติกรรมที่ซับซ้อนของมนุษย์)

การจดจำรูปแบบ การจดจำภาพด้วยแสง การทำนายตลาดหุ้น การค้นหาเส้นทาง การประมวลผลข้อมูลขนาดใหญ่ การวิเคราะห์ต้นทุนทางการแพทย์ การพยากรณ์การขาย ปัญญาประดิษฐ์ในวิดีโอเกม - ความเป็นไปได้แทบจะไม่มีที่สิ้นสุด ความสามารถของโครงข่ายประสาทเทียมในการเรียนรู้รูปแบบ สร้างภาพรวม และทำนายพฤติกรรมได้สำเร็จ ทำให้พวกเขามีค่าในสถานการณ์นับไม่ถ้วน

อนาคตของโครงข่ายประสาทเทียม

โครงข่ายประสาทเทียมได้พัฒนาจากแบบจำลองธรรมดาไปสู่เครื่องจำลองการฝึกอบรมระดับสูง พวกมันอยู่บนโทรศัพท์ แท็บเล็ต และใช้บริการเว็บมากมายที่เราใช้ มีระบบแมชชีนเลิร์นนิงอื่นๆ อีกมากมาย

แต่เครือข่ายประสาท เนื่องจากมีความคล้ายคลึงกัน (ในวิธีที่ง่ายมาก) กับสมองของมนุษย์ จึงเป็นสิ่งที่น่าสนใจที่สุด ในขณะที่เราพัฒนาและปรับปรุงโมเดลอย่างต่อเนื่อง เราไม่สามารถพูดได้ว่าพวกมันมีความสามารถอะไร

คุณรู้จักแอปพลิเคชั่นที่น่าสนใจของโครงข่ายประสาทเทียมหรือไม่? คุณมีประสบการณ์กับพวกเขาด้วยตัวคุณเองหรือไม่? อะไรดึงดูดคุณมากที่สุดเกี่ยวกับเทคโนโลยีนี้ แบ่งปันความคิดของคุณในความคิดเห็นด้านล่าง!

ในปี 2559 อินเทอร์เน็ตกลายเป็นกระแสคลื่นลูกใหม่ - คราวนี้โครงการ Deep Dream ซึ่งเผยแพร่สู่สาธารณะโดยโปรแกรมเมอร์ของ Google กลายเป็นหัวข้อสนทนาที่ร้อนแรงในโซเชียลเน็ตเวิร์ก Deep Dream อนุญาตให้ทุกคนอัปโหลดรูปภาพของตนเองเพื่อประมวลผลด้วยปัญญาประดิษฐ์

ที่เอาต์พุต ผู้ใช้จะได้รับภาพในลักษณะที่โครงข่ายประสาทเทียม “เห็น” มันทำงานอย่างไร และ MNIST คืออะไร? วันนี้เราจะมาบอกคุณ หลักการพื้นฐานการทำงานของปัญญาประดิษฐ์

ทัศนศึกษาชีววิทยา

ความสามารถของบุคคลในการตีความและรับรู้ข้อมูลภาพอย่างถูกต้องอาจมาจากกระบวนการทางชีววิทยาที่ซับซ้อนที่สุดในจักรวาล ในเวลาเดียวกันเครือข่ายประสาททางชีวภาพของมนุษย์มีบทบาทอย่างมากในการทำงานของอุปกรณ์ภาพซึ่งกลายเป็นต้นแบบของปัญญาประดิษฐ์รุ่นแรก ทำไมสมองจึงมีความสำคัญต่อการมองเห็นที่คมชัด?

ความจริงก็คือว่าดวงตาของมนุษย์รับรู้ภาพที่พร่ามัว กลับด้าน และถูกทำลายโดยจุดบอด เธอคือผู้ที่เริ่มก่อตัวขึ้นที่เรตินาและจากนั้นจะถูกส่งไปยังสมองเท่านั้น เขา "พลิก" ภาพ กรองรายละเอียดที่ไม่จำเป็นออก และเน้นวัตถุที่คุ้นเคยหรือไม่คุ้นเคยในมุมมองภาพแทบจะในทันที จากข้อมูลที่ได้รับ ระบบประสาทจะ "ออกคำสั่ง" ไปยังอวัยวะอื่นๆ ไม่ว่าจะเป็นอะดรีนาลีนที่พุ่งพล่านอย่างรวดเร็วในสถานการณ์ที่อันตราย หรือความรู้สึกหิวที่เพิ่มขึ้นเมื่อเห็นอาหารอร่อยๆ

การศึกษาระดับประถมศึกษามีบทบาทอย่างมากในการกำหนดภาพที่ถูกต้องซึ่งเด็กทุกคนต้องผ่านแม้ในวัยที่ไม่ได้สติ ตัวอย่างเช่น เมื่อเห็นสัตว์ที่ไม่คุ้นเคย พ่อแม่อธิบายว่านั่นคือสุนัข ไม่ใช่สัตว์อื่นใด ครั้งต่อไปสมองของเด็กจะจดจำสุนัขในพื้นหลังของวัตถุอื่นๆ ได้ทันที ดังนั้นตลอดชีวิตหลังจากเห็นภาพหลายล้านภาพความสามารถในการจดจำและประมวลผล ข้อมูลที่จำเป็น. สำหรับปัญญาประดิษฐ์ จะใช้ฐานข้อมูลรูปภาพ เช่น MNIST เป็นตัวอย่าง

โครงข่ายประสาทเทียมคืออะไร?

ระบบประสาทของมนุษย์ประกอบด้วยเซลล์ประสาทหลายพันล้านเซลล์ที่เชื่อมต่อกันด้วยไซแนปส์ เซลล์ประสาทแต่ละเซลล์สามารถสร้างและทำลายการเชื่อมต่อหลายพันเซลล์กับเซลล์ที่คล้ายกันได้ในเสี้ยววินาที ด้วยเหตุนี้ เราจึงสามารถคิด วิเคราะห์ จดจำ และทำซ้ำข้อมูลต่างๆ เครือข่ายประสาทเทียม (ANN) เป็นความพยายามครั้งแรกในการทำให้เครื่องจักรได้รับความสามารถในการวิเคราะห์

เช่นเดียวกับแบบจำลองทางชีววิทยา ANN ประกอบด้วยเซลล์ประสาทจำนวนมากที่เชื่อมต่อกันด้วยไซแนปส์ เฉพาะในกรณีนี้เท่านั้น สิ่งเหล่านี้ไม่ใช่เซลล์ แต่เป็นหน่วยคำนวณที่รับและออกข้อมูลบางอย่าง แบ่งออกเป็นหลายประเภท (อินพุต ซ่อน เอาต์พุต และบริบท) ด้วยสปีชีส์เล็กๆ ที่หลากหลาย จึงเป็นไปได้ที่จะจัดรูปแบบดั้งเดิมของสิ่งที่เราเรียกว่าการคิด

ไซแนปส์ของเซลล์ประสาทใน ANN ก็มีพารามิเตอร์ของตัวเองเช่นกัน การเชื่อมต่อระหว่างหน่วยคำนวณแต่ละครั้งนั้นมีน้ำหนัก ซึ่งเป็นสาเหตุที่ข้อมูลจากเซลล์ประสาทที่มีน้ำหนักมากจึงถูกพิจารณาว่ามีความสำคัญ ในกระบวนการตั้งค่าและฝึกอบรมโครงข่ายประสาทเทียม พารามิเตอร์น้ำหนักสามารถเปลี่ยนแปลงซ้ำๆ ได้

มีอะไรอยู่ข้างใน?

ในการสร้าง ANN คุณสามารถใช้เครื่องมือและภาษาโปรแกรมต่างๆ ได้ โครงข่ายประสาทเทียมใน Python เป็นที่นิยมมากที่สุดในการฝึกอบรม ภาษาสคริปต์นี้เป็นหนึ่งในภาษาที่ง่ายที่สุดในการเรียนรู้และเหมาะสำหรับการพัฒนา ANN Java neural network ได้รับความนิยมน้อยกว่าเนื่องจากการเขียนที่ซับซ้อนกว่า

สิ่งที่ซ่อนอยู่ "ภายใต้ประทุน" ของ ANN นั้นบางครั้งก็ไม่เป็นที่รู้จักแม้แต่กับผู้พัฒนาเอง ในระหว่างการฝึกซ้อม ระบบสามารถเปลี่ยนรูปร่างและแตกต่างจากรูปแบบเดิมได้อย่างมาก เซลล์ประสาทจำนวนมากประกอบด้วยชั้น perceptron หลายร้อยชั้นซึ่ง "พันกัน" กับเครือข่ายพลาสติกของการเชื่อมต่อระหว่างกัน

โดยทั่วไปในปัจจุบัน สูตรทั่วไปการกระทำของเครือข่ายประสาทเฉพาะนั้นค่อนข้างยากและไม่จำเป็น จากมุมมองเชิงปฏิบัติ เราสนใจเฉพาะอินพุตและเอาต์พุตที่โปรแกรมให้มาเท่านั้น ANN "เรียนรู้" เพื่อพิจารณาและระบุรูปภาพได้ดีเพียงใดนั้นขึ้นอยู่กับความสำเร็จของการเรียนรู้ของเครื่องเท่านั้น

การเรียนรู้ของเครื่อง

ในขั้นต้นปัญญาประดิษฐ์เกิดขึ้นจากความคิดริเริ่มในการสร้างเครื่องมือทางเทคโนโลยีที่สามารถแก้ปัญหาที่ก่อนหน้านี้มีไว้สำหรับการคิดของมนุษย์เท่านั้น สาขาการเรียนรู้ของเครื่องของโครงข่ายประสาทเทียมเป็นส่วนย่อยของปัญญาประดิษฐ์เกิดขึ้นเมื่อไม่นานมานี้ที่จุดตัดของคณิตศาสตร์และวิทยาการคอมพิวเตอร์ เป้าหมายหลักของการเรียนรู้ของเครื่องคือการสร้างอัลกอริทึมที่ถูกต้องตาม ตัวอย่างจริงสถานะของสิ่งต่างๆ ด้วยคำพูดง่ายๆเครื่องจะ "เรียนรู้" เพื่อเลือกวิธีแก้ไขปัญหาที่ถูกต้องโดยการจัดเรียงวิธีแก้ปัญหาที่เป็นไปได้หลายพันรายการ

วิธีที่ดีที่สุดคือพิจารณาแมชชีนเลิร์นนิงโดยละเอียดโดยใช้ตัวอย่าง ANN ซึ่งสร้างขึ้นเพื่อระบุวัตถุในรูปภาพ ในขั้นต้น พารามิเตอร์น้ำหนักของไซแนปส์จะได้รับ สุ่ม. หลังจากผลลัพธ์แรกของการประมวลผลภาพ (มักไม่ถูกต้อง) โครงข่ายประสาทเทียมจะเปลี่ยนพารามิเตอร์จนกว่าจะเรียนรู้ที่จะค้นหาวัตถุที่ต้องการในภาพถ่ายด้วยความน่าจะเป็นในระดับสูง

อย่างไรก็ตาม ในบางกรณี "บทช่วยสอนที่ไม่ถูกต้อง" สามารถลบล้างความพยายามทั้งหมดของนักพัฒนาได้ ชุดภาพที่น่าเบื่อจำนวนน้อยจะนำไปสู่ความจริงที่ว่าโปรแกรมจะ "จดจำ" คำจำกัดความที่จำเป็นสำหรับแต่ละภาพและจะไม่วิเคราะห์รายละเอียดที่เล็กที่สุด โดยเฉพาะอย่างยิ่งสำหรับวัตถุประสงค์ดังกล่าว มีฐานข้อมูล MNIST (Mixed National Institute of Standards and Technology) ประกอบด้วยตัวอย่างตัวเลขมาตรฐานที่เขียนด้วยลายมือบนภาพขนาด 28x28 พิกเซล

MNIST เปิดให้ใช้งานได้อย่างสมบูรณ์ นักพัฒนาทุกคนสามารถตรวจสอบประสิทธิภาพของโครงข่ายประสาทเทียมของตนในฐานข้อมูล นอกจาก MNIST แล้ว คุณสามารถใช้ฐานข้อมูล ImageNet จากมหาวิทยาลัยสแตนฟอร์ด ประกอบด้วยภาพรูปแบบต่างๆ ประมาณ 14 ล้านภาพ

ประเภทของโครงข่ายประสาทเทียม

โดยธรรมชาติของการเชื่อมต่อ ANN จะถูกจัดประเภทเป็นเครือข่ายนิวรัลที่เกิดซ้ำ ฟังก์ชันพื้นฐานแบบรัศมี และแผนที่ที่จัดระเบียบตัวเอง ใน ANN ที่เกิดซ้ำ สัญญาณจากเซลล์ประสาทขาออกจะถูกส่งกลับไปยังระบบบางส่วนเพื่อการวิเคราะห์เพิ่มเติม เครือข่ายพื้นฐานแบบเรเดียลได้รับการฝึกฝนเร็วขึ้นเนื่องจากการจัดวางเซลล์ประสาทที่ซ่อนและเอาท์พุทที่แตกต่างกัน และสุดท้าย เครือข่ายการจัดระเบียบตัวเองถูกนำมาใช้เพื่อระบุวัตถุใหม่ที่ไม่คุ้นเคยอย่างรวดเร็ว

นอกจากนี้ ANN ยังจัดประเภทตามลักษณะของการฝึก การตั้งค่าน้ำหนัก ประเภทของข้อมูลที่ป้อนเข้า และคุณสมบัติอื่นๆ อีกมากมาย ในการใช้งานจริง ความสามารถของสถาปัตยกรรมเครือข่ายประสาทเทียมที่กล่าวถึงข้างต้นเพียงสามแบบนั้นถูกนำมาใช้อย่างแพร่หลายมากที่สุด

วัตถุประสงค์และขอบเขต

ปัญญาประดิษฐ์ไม่ใช่สิ่งประดิษฐ์ของนักเขียนนิยายวิทยาศาสตร์อีกต่อไป แบบจำลองที่ง่ายที่สุดถูกนำมาใช้แม้ในสมาร์ทโฟนทั่วไป ANN ใช้เพื่อวัตถุประสงค์หลักสามประการ:

• การจำแนกประเภทคือการกระจายข้อมูลจำนวนมากตามพารามิเตอร์บางตัว ตัวอย่างเช่น โปรแกรมอาจตัดสินใจว่าจะให้ลูกค้าธนาคารใดให้ยืมโดยพิจารณาจากความสามารถในการชำระเงินและประวัติเครดิต
• การพยากรณ์ - การทำนายผลลัพธ์ของเหตุการณ์ที่มีความน่าจะเป็นในระดับหนึ่ง ตัวอย่างเช่น บล็อกของหุ้นจะมีราคาเท่าใดในตลาดหุ้น
• การจดจำคือการระบุวัตถุบางอย่างในภาพถ่ายหรือวิดีโอ ตัวอย่างที่ง่ายที่สุด– ตรวจจับใบหน้าอัตโนมัติในกล้องของสมาร์ทโฟน

จนถึงตอนนี้ แอปตกแต่งภาพเซลฟี่และบริการค้นหาบุคคลด้วยภาพถ่ายเดียวยังคงเป็นเพียงการใช้งานสำหรับโครงข่ายประสาทเทียมเท่านั้น อย่างไรก็ตาม Vinci, Snapchat หรือ FaceApp เป็นเพียงส่วนเล็กๆ ANN สามารถเป็นแรงผลักดันที่สำคัญต่อระบบอัตโนมัติของการขนส่ง การเงิน ความบันเทิง และด้านอื่นๆ ต้องขอบคุณปัญญาประดิษฐ์ ในไม่ช้าก็จะสามารถกำจัดแรงงานมนุษย์ที่ซ้ำซากจำเจได้

ยิ่งกว่านั้น แม้แต่ความคิดสร้างสรรค์ก็สามารถใส่ลงไปในกระแสได้ ด้วยความพยายามของนักพัฒนา Yandex อัลบั้มเพลงชุดแรก 404 ปรากฏขึ้นซึ่งบันทึกโดยโครงข่ายประสาทเทียม อัลบั้มนี้กลายเป็นชุดแรกของกลุ่มที่ไม่มีอยู่จริง Neuronnaya Oborona ตามสไตล์ของข้อความของ Yegor Letov

ANN สามารถเป็นจุดเริ่มต้นสำหรับการพัฒนาผู้ช่วยอย่าง Siri หรือ Cortana ต่อไป ระบบดังกล่าวสามารถรองรับการสนทนาที่เรียบง่ายและตอบสนองต่อคำขอของผู้ใช้ที่ต้องการได้แล้ว บริการ Deep Dream ที่เปิดตัวเครือข่ายประสาทเทียมในปี 2559 นั้นแยกออกจากนักพัฒนาของ Google ในตัวอย่างภาพถ่ายที่เขาประมวลผล เราสามารถจินตนาการได้ว่าเครื่องจักรมองเห็นภาพนี้หรือภาพนั้นด้วย "สมอง" ของมันได้อย่างไร แน่นอนว่าในขณะที่ความยุ่งเหยิงที่อ่านไม่ออกนั้นเหมือนกับผลเสียของยาที่ทำให้เคลิบเคลิ้ม อย่างไรก็ตาม นี่เป็นก้าวแรกที่จริงจังไปสู่ปัญญาประดิษฐ์เต็มรูปแบบ

ปัญญาประดิษฐ์ โครงข่ายประสาทเทียม การเรียนรู้ของเครื่อง - แนวคิดยอดนิยมทั้งหมดนี้หมายความว่าอย่างไร สำหรับคนที่ไม่ได้ฝึกหัดส่วนใหญ่ซึ่งฉันเองก็เป็น พวกเขามักจะดูเหมือนเป็นสิ่งที่น่าอัศจรรย์ แต่แท้จริงแล้วแก่นแท้ของพวกเขานั้นอยู่ที่ผิวเผิน ฉันมีความคิดที่จะเขียนเป็นภาษาง่ายๆ เกี่ยวกับโครงข่ายประสาทเทียมมานานแล้ว เรียนรู้ด้วยตัวคุณเองและบอกผู้อื่นว่าเทคโนโลยีนี้คืออะไร ทำงานอย่างไร พิจารณาประวัติความเป็นมาและโอกาส ในบทความนี้ ฉันพยายามที่จะไม่เข้าไปในป่า แต่พูดง่ายๆ และเป็นที่นิยมเกี่ยวกับพื้นที่ที่มีแนวโน้มนี้ในโลกของเทคโนโลยีชั้นสูง

ปัญญาประดิษฐ์ โครงข่ายประสาทเทียม การเรียนรู้ของเครื่อง - แนวคิดยอดนิยมทั้งหมดนี้หมายความว่าอย่างไร สำหรับคนที่ไม่ได้ฝึกหัดส่วนใหญ่ซึ่งฉันเองก็เป็น พวกเขามักดูเหมือนเป็นสิ่งที่น่าอัศจรรย์ แต่จริงๆ แล้วแก่นแท้ของพวกเขาอยู่ที่ผิวเผิน ฉันมีความคิดที่จะเขียนเป็นภาษาง่ายๆ เกี่ยวกับโครงข่ายประสาทเทียมมานานแล้ว เรียนรู้ด้วยตัวคุณเองและบอกผู้อื่นว่าเทคโนโลยีนี้คืออะไร ทำงานอย่างไร พิจารณาประวัติความเป็นมาและโอกาส ในบทความนี้ ฉันพยายามที่จะไม่เข้าไปในป่า แต่พูดง่ายๆ และเป็นที่นิยมเกี่ยวกับพื้นที่ที่มีแนวโน้มนี้ในโลกของเทคโนโลยีชั้นสูง

ประวัติเล็กน้อย

เป็นครั้งแรกที่แนวคิดของเครือข่ายประสาทเทียม (ANN) เกิดขึ้นเมื่อพยายามจำลองกระบวนการของสมอง ความก้าวหน้าครั้งสำคัญครั้งแรกในพื้นที่นี้ถือได้ว่าเป็นการสร้างแบบจำลองโครงข่ายประสาทเทียมของ McCulloch-Pitts ในปี 1943 นักวิทยาศาสตร์ได้พัฒนาแบบจำลองของเซลล์ประสาทเทียมขึ้นเป็นครั้งแรก พวกเขายังเสนอการสร้างเครือข่ายขององค์ประกอบเหล่านี้เพื่อดำเนินการทางตรรกะ แต่ที่สำคัญที่สุด นักวิทยาศาสตร์ได้พิสูจน์แล้วว่าเครือข่ายดังกล่าวสามารถเรียนรู้ได้

ขั้นตอนสำคัญถัดไปคือการพัฒนาโดยโดนัลด์ เฮบบ์สำหรับอัลกอริธึมการคำนวณ ANN แรกในปี 1949 ซึ่งกลายเป็นพื้นฐานสำหรับอีกไม่กี่ทศวรรษข้างหน้า ในปี 1958 Frank Rosenblatt ได้พัฒนา parceptron ซึ่งเป็นระบบที่เลียนแบบกระบวนการของสมอง ครั้งหนึ่ง เทคโนโลยีนี้ไม่มีอะนาล็อกและยังคงเป็นพื้นฐานในโครงข่ายประสาทเทียม ในปี พ.ศ. 2529 นักวิทยาศาสตร์ชาวอเมริกันและโซเวียตได้ปรับปรุงวิธีการพื้นฐานในการสอนเพอร์เซ็ปตรอนแบบหลายชั้นอย่างเป็นอิสระจากกัน เกือบจะพร้อมๆ กัน ในปี 2550 โครงข่ายประสาทเทียมได้เกิดใหม่อีกครั้ง เจฟฟรีย์ ฮินตัน นักวิทยาศาสตร์คอมพิวเตอร์ชาวอังกฤษเป็นผู้บุกเบิกอัลกอริทึมการเรียนรู้เชิงลึกสำหรับโครงข่ายประสาทเทียมแบบหลายเลเยอร์ ซึ่งปัจจุบันนำไปใช้ในการควบคุมยานพาหนะไร้คนขับ

สั้น ๆ เกี่ยวกับหลัก

ในความหมายทั่วไปของคำนี้ โครงข่ายประสาทเทียมเป็นแบบจำลองทางคณิตศาสตร์ที่ทำงานบนหลักการของเครือข่ายเซลล์ประสาทในสิ่งมีชีวิตของสัตว์ ANN สามารถนำไปใช้ได้ทั้งในโซลูชันแบบตั้งโปรแกรมได้และฮาร์ดแวร์ เพื่อความสะดวกในการรับรู้ เซลล์ประสาทสามารถแสดงเป็นเซลล์ชนิดหนึ่งที่มีหลายช่องทางเข้าและทางออกเดียว จำนวนสัญญาณขาเข้าที่ก่อตัวเป็นสัญญาณขาออกถูกกำหนดโดยอัลกอริทึมการคำนวณ ค่าที่มีประสิทธิภาพจะถูกส่งไปยังอินพุตของเซลล์ประสาทแต่ละตัว ซึ่งจะถูกกระจายไปตามการเชื่อมต่อระหว่างเซลล์ประสาท (การสรุป) ไซแนปส์มีพารามิเตอร์เดียว - น้ำหนักเนื่องจากข้อมูลอินพุตเปลี่ยนไปเมื่อย้ายจากเซลล์ประสาทหนึ่งไปยังอีกเซลล์หนึ่ง วิธีที่ง่ายที่สุดในการทำความเข้าใจวิธีการทำงานของโครงข่ายประสาทเทียมคือการใช้การผสมสีเป็นตัวอย่าง เซลล์ประสาทสีน้ำเงิน เขียว และแดงมีน้ำหนักต่างกัน ข้อมูลของเซลล์ประสาทนั้น ซึ่งน้ำหนักของเซลล์ประสาทนั้นจะมีความสำคัญในเซลล์ประสาทถัดไป

เครือข่ายประสาทเองเป็นระบบของเซลล์ประสาท (โปรเซสเซอร์) จำนวนมาก โปรเซสเซอร์เหล่านี้ค่อนข้างเรียบง่าย (ง่ายกว่ามาก คอมพิวเตอร์ส่วนบุคคล) แต่เมื่อเชื่อมต่อเป็นระบบขนาดใหญ่ เซลล์ประสาทจะสามารถทำงานที่ซับซ้อนมากได้

โครงข่ายประสาทเทียมสามารถตีความได้หลายวิธีขึ้นอยู่กับพื้นที่การใช้งาน ตัวอย่างเช่น จากมุมมองของการเรียนรู้ของเครื่อง ANN เป็นวิธีการจดจำรูปแบบ จากมุมมองทางคณิตศาสตร์ นี่เป็นปัญหาหลายพารามิเตอร์ จากมุมมองของไซเบอร์เนติกส์ - แบบจำลองของการควบคุมแบบปรับตัวของหุ่นยนต์ สำหรับปัญญาประดิษฐ์ ANN เป็นองค์ประกอบพื้นฐานสำหรับการสร้างแบบจำลองปัญญาธรรมชาติโดยใช้อัลกอริธึมการคำนวณ

ข้อได้เปรียบหลักของโครงข่ายประสาทเหนืออัลกอริธึมการคำนวณทั่วไปคือความสามารถในการฝึกฝน ในความหมายทั่วไปของคำนี้ การเรียนรู้ประกอบด้วยการค้นหาค่าสัมประสิทธิ์ที่ถูกต้องของการสื่อสารระหว่างเซลล์ประสาท ตลอดจนการสรุปข้อมูลและการระบุความสัมพันธ์ที่ซับซ้อนระหว่างสัญญาณอินพุตและเอาต์พุต ในความเป็นจริง การฝึกอบรมโครงข่ายประสาทเทียมที่ประสบความสำเร็จหมายความว่าระบบจะสามารถระบุผลลัพธ์ที่ถูกต้องตามข้อมูลที่ไม่ได้อยู่ในชุดการฝึกอบรม

สถานการณ์วันนี้

และไม่ว่าเทคโนโลยีนี้จะดีแค่ไหน จนถึงตอนนี้ ANN ก็ยังห่างไกลจากความสามารถของสมองและการคิดของมนุษย์ อย่างไรก็ตาม โครงข่ายประสาทเทียมได้ถูกนำมาใช้ในกิจกรรมต่างๆ ของมนุษย์แล้ว จนถึงตอนนี้ พวกเขาไม่สามารถตัดสินใจอย่างชาญฉลาดได้ แต่พวกเขาสามารถแทนที่คนที่เขาต้องการก่อนหน้านี้ได้ การประยุกต์ใช้ ANN ในด้านต่างๆ ได้แก่ การสร้างระบบการเรียนรู้ด้วยตนเองของกระบวนการผลิต ยานพาหนะไร้คนขับ ระบบจดจำภาพ ระบบรักษาความปลอดภัยอัจฉริยะ หุ่นยนต์ ระบบตรวจสอบคุณภาพ อินเทอร์เฟซเสียงการโต้ตอบ ระบบการวิเคราะห์ และอื่นๆ อีกมากมาย การกระจายตัวของโครงข่ายประสาทเทียมที่กว้างขวางเช่นนี้เกิดจากการเกิดขึ้นของ วิธีต่างๆเร่งการเรียนรู้ ANN

ในปัจจุบัน ตลาดโครงข่ายประสาทเทียมมีขนาดใหญ่มาก มีมูลค่าหลายพันล้านดอลลาร์ จากการปฏิบัติแสดงให้เห็นว่าเทคโนโลยีโครงข่ายประสาทเทียมส่วนใหญ่ทั่วโลกมีความแตกต่างกันเพียงเล็กน้อย อย่างไรก็ตาม การใช้โครงข่ายประสาทเทียมเป็นการดำเนินการที่มีค่าใช้จ่ายสูง ซึ่งโดยส่วนใหญ่บริษัทขนาดใหญ่เท่านั้นที่สามารถจ่ายได้ สำหรับการพัฒนา การฝึกอบรม และการทดสอบโครงข่ายประสาทเทียมนั้น จำเป็นต้องใช้กำลังการประมวลผลขนาดใหญ่ ซึ่งเห็นได้ชัดว่าผู้เล่นรายใหญ่ในตลาดไอทีมีเพียงพอแล้ว ในบรรดาบริษัทหลักที่เป็นผู้นำด้านการพัฒนาในด้านนี้ ได้แก่ แผนก Google DeepMind, แผนก Microsoft Research, IBM, Facebook และ Baidu

แน่นอนว่าทั้งหมดนี้เป็นสิ่งที่ดี: เครือข่ายประสาทกำลังพัฒนา ตลาดกำลังเติบโต แต่จนถึงตอนนี้ภารกิจหลักยังไม่ได้รับการแก้ไข มนุษย์ไม่สามารถสร้างเทคโนโลยีที่มีความสามารถใกล้เคียงกับสมองมนุษย์ได้ มาดูความแตกต่างที่สำคัญระหว่างสมองมนุษย์กับโครงข่ายประสาทเทียมกัน

เหตุใดโครงข่ายประสาทเทียมจึงยังห่างไกลจากสมองมนุษย์

ความแตกต่างที่สำคัญที่สุดซึ่งเปลี่ยนแปลงหลักการและประสิทธิภาพของระบบอย่างสิ้นเชิงคือ เกียร์ที่แตกต่างกันสัญญาณในเครือข่ายประสาทเทียมและในเครือข่ายทางชีวภาพของเซลล์ประสาท ความจริงก็คือใน ANN เซลล์ประสาทจะส่งค่าที่เป็นค่าจริงนั่นคือตัวเลข ในสมองของมนุษย์ แรงกระตุ้นจะถูกส่งด้วยแอมพลิจูดคงที่ และแรงกระตุ้นเหล่านี้เกือบจะเกิดขึ้นทันที จากนี้ไปมีข้อดีหลายประการของเครือข่ายเซลล์ประสาทของมนุษย์

ประการแรก สายสื่อสารในสมองมีประสิทธิภาพและประหยัดกว่าสายใน ANN ประการที่สอง วงจรพัลส์ช่วยให้มั่นใจถึงความเรียบง่ายของการนำเทคโนโลยีไปใช้: เพียงพอแล้วที่จะใช้วงจรแอนะล็อกแทนกลไกการคำนวณที่ซับซ้อน ในที่สุด เครือข่ายอิมพัลส์ได้รับการปกป้องจากการรบกวนของเสียง จำนวนจริงได้รับผลกระทบจากสัญญาณรบกวน ซึ่งเพิ่มโอกาสผิดพลาด

ผล

แน่นอนว่าในทศวรรษที่ผ่านมามีการพัฒนาโครงข่ายประสาทเทียมอย่างรวดเร็ว สาเหตุหลักมาจากความจริงที่ว่ากระบวนการเรียนรู้ ANN นั้นเร็วและง่ายขึ้นมาก นอกจากนี้ เครือข่ายประสาทเทียมที่เรียกว่า "ที่ผ่านการฝึกอบรมมาแล้ว" เริ่มได้รับการพัฒนาอย่างแข็งขัน ซึ่งสามารถเร่งกระบวนการใช้เทคโนโลยีได้อย่างมาก และหากยังเร็วเกินไปที่จะบอกว่าโครงข่ายประสาทเทียมจะสามารถจำลองความสามารถของสมองมนุษย์ได้อย่างเต็มที่หรือไม่ โอกาสที่ ANNs จะสามารถแทนที่บุคลากรในหนึ่งในสี่ของอาชีพที่มีอยู่ได้ในทศวรรษหน้าก็กำลังกลายเป็นเหมือน ความจริง.

สำหรับผู้ที่ต้องการทราบข้อมูลเพิ่มเติม

• สงครามประสาทครั้งใหญ่: Google กำลังทำอะไรอยู่
• คอมพิวเตอร์รู้คิดสามารถเปลี่ยนอนาคตของเราได้อย่างไร