Лабораторна робота №1, Математичний нейрон

« Назад

Мета: вивчення математичного нейрона Мак-Каллока – Піттса.

Хід роботи

1. Ознайомитися та вивчити теоретичний матеріал.

Теоретичний матеріал

Нейронні мережі й нейрокомп’ютери – це один з напрямів комп’ютерної індустрії, в основі якої лежить ідея створення штучних інтелектуальних пристроїв за образом і подобою людського мозку. Справа в тому, що комп’ютери, виконані за схемою машини фон Неймана за своєю структурою та властивостями дуже далекі від нашого природного комп’ютера – людського мозку. На підтвердження цього в таблиці 1 наведені ознаки, що відрізняють людський мозок від неймановського комп’ютера.

Засновники ж нейрокібернетики задалися метою створення електронних пристроїв, адекватних мозку не тільки на функціональному, а й на структурному рівні. Для цього їм довелося звернутися за відомостями до біологів. Як же влаштований людський мозок?

Відомо, що мозок людини складається з білої і сірої речовини: біла речовина – це тіла нервових клітин, які називаються нейронами, а сіра речовина – з’єднуючі їх нервові волокна. Кожен нейрон складається з трьох частин: тіла клітини, дендритів і аксона (рис. 1). Дендрити і аксон – це нервові відростки, через які нейрон обмінюється електричними сигналами з іншими нейронами. Кожен нейрон може мати до 10000 дендритів і всього лише один аксон. Через дендрити нейрон приймає електричні сигнали, що надходять від інших нейронів по нервових волоках, як по проводах. Якщо сигналів багато і вони досить інтенсивні, то нейрон переходить у збуджений стан і сам виробляє електричний сигнал, який передає в аксон. Аксон на своєму іншому кінці розгалужується на тисячі нервових волокон, які потім з’єднуються з дендритами інших нейронів. Місця з’єднання нервових волокон з дендритами називаються синапсами.

Як же людський мозок запам’ятовує інформацію і як її обробляє? Відповісти на це питання біологи не могли. Але зате вони знали, що загальне число нейронів протягом життя людини практично не змінюється, тобто мозок дитини і мозок дорослої людини містять приблизно однакову кількість нейронів. Приблизно однакова кількість нейронів містить мозок вченого, політичного діяч і спортсмена. Відмінність полягає в величинах електропровідностей синапсів.

Як відомо з електротехніки, електропровідність провідника r – це величина, зворотна його електроопору R і має розмірність 1/Ом. Біологи ж електропровідності синапсів назвали силами міжнейронних синаптичних зв’язків, і, на їх думку, мозок однієї людини відрізняється від мозку іншої людини насамперед силами міжнейронних синаптичних зв’язків. На цій підставі була висловлена гіпотеза про те, що всі наші думки, емоції, знання, вся інформація, що зберігається в людському мозку, закодована у вигляді величезної кількості цифр, що характеризують сили міжнейронних синаптичних зв’язків.

Рис. 1 - Нейрони людського мозку

А тепер давайте спробуємо оцінити, скільки ж чисел здатний запам’ятати такий гіпотетичний мозок, якщо прийняти, що за допомогою одного синаптичного зв’язку можна закодувати одне число.

У людському мозку міститься приблизно 10¹¹ нейронів. Кожен нейрон пов'язаний з 10³ … 10⁴ іншими нейронами. Таким чином, біологічна нейронна мережа, що складає мозок людини, містить 10¹⁴ … 10¹⁵ синапсів. Виходить, що саме таке кількість цифр здатна зберігати людський мозок. Виходить, що саме такою кількістю цифр закодовані в нашому мозку всі наші знання, весь життєвий досвід, всі думки і емоції, вся інформація, яку ми отримуємо на протязі життя.

Таблиця 1

Наведені вище уявлення про будову і функціонування в даний час вважаються науково-обгрунтованим фактом. Ні в кого з учених не викликає сумнівів, що розум людини створюється величезною кількістю найдрібніших нервових клітин – нейронами, безперервно виконуючи всій інформаційний танець.

Математичний нейрон був запропонований американськими вченими Уорреном Мак-Каллоком і Вальтером Піттсом у 1943 р.

Математичний нейрон – це математична модель біологічного нейрона мозку. Його зображують у вигляді кружечка зі стрілками, які позначають входи і вихід. На рис. 2 математичний нейрон має j входів і один вихід.

Рис. 2 - Математичний нейрон Мак-Каллока – Піттса

Через входи математичний нейрон приймає вхідні сигнали х_j, які підсумовує, множачи кожен вхідний сигнал на деякий ваговий коефіцієнт w_j:

Потім математичний нейрон формує свій вихідний сигнал згідно з правилом:

в якому величину θ називають порогом чутливості нейрона.

Таким чином, математичний нейрон може існувати в двох станах. Якщо зважена сума вхідних сигналів S менше порога θ, то його вихідний сигнал у дорівнює нулю. В цьому випадку говорять, що нейрон не збуджений. Якщо ж вхідні сигнали досить інтенсивні і їх зважена сума досягає порогу чутливості θ, то нейрон переходить в збуджений стан, і на його виході, згідно з формулою (2), утворює сигнал у=1.

Вагові коефіцієнти w_j імітують електропровідність нервових волокон – силу синаптичних зв’язків між нейронами. Чим ці сили вище, тим більше вірогідність переходу нейрона в збуджений ста. З іншого боку, ймовірність переходу нейрона в збуджений стан підвищується при зменшенні порогу чутливості θ.

Логічна функція (2) називається активаційною функцією нейрона. Її графічне зображення має вигляд, представлений на рис. 3. За цей її вид її іноді називають «функцією-сходинкою».

Рис. 3 - Активаційна функція нейрона - сходинка

За допомогою математичного нейрона можна моделювати різні логічні функції, наприклад, функцію логічного множення «И» («AND»), функцію логічного додаванні «ИЛИ» («OR») і функцію логічного заперечення «НЕТ» («NOT»). Таблиці істинності наведені на рис. 4.

Рис. 4 - Таблиці істинності логічних функцій

За допомогою цих таблиць і формул (1) – (2) неважко переконатися, що математичний нейрон, що має два входи з одиничними силами синаптичних зв’язків w₁= w₂=1, моделює функцію логічного множення «И» при θ=2. Цей же нейрон моделює функцію логічного додавання «ИЛИ» при завданні θ=1. Математичний нейрон з одним виходом моделює функцію «НЕТ» при завданні w=-1 і θ=0.

Рис. 5 - Математичні нейрони, що моделюють логічні функції

Однак існують логічні функції, які неможливо моделювати за допомогою математичного нейрона Мак-Каллока – Піттса. Такою логічною функцією є «Исключающее ИЛИ», таблиця істинності якої наведена на рис. 6.

Рис. 6 - Таблиця істинності функції Исключающее ИЛИ

Завдання, які подібно проблемі «Исключающего ИЛИ» за допомогою одношарового персептрона вирішені бути не можуть, називають лінійно нероздільними завданнями. Свого часу вчені витратили чимало сил і коштів, намагаючись вирішити такі завдання, помилково вважаючи, що причина їхніх невдач полягає в недостатній потужності існуючих комп’ютерів і в недостатній кількості скоєних спроб.

Мабуть, щось подібне може трапитися і з Вами при виконанні лабораторної роботи №1. Підібравши значення синаптичних ваг w₁, w₂ і порога θ, Ви успішно справляєтеся з моделюванням логічних функцій «И» та «ИЛИ», тобі як спроби моделювання функції «Исключающее ИЛИ» до успіху не приводять. Поясненню цього явища і подоланню проблеми «Исключающего ИЛИ» буде присвячена лабораторна робота №5.

На закінчення відзначимо, що в сучасній літературі іноді замість поняття порога чутливості нейрона θ використовують термін нейрони заміщення b, яке відрізняється від порога θ тільки знаком: b = - θ. Якщо величину b додати до суми (1):

то порогова активаційна функція нейрона прийме вид:

Графічне представлення цієї активаційної функції представлено на рис. 7 а.

Рис. 7 - Порогові активаційні функції нейрона

задані формулами: а – (4); б – (5)

Ще більш симетричний вигляд, представлений на рис. 7 б, активаційна функція нейрона набуває при використанні формули:

У формулі (3) нейрони заміщення b можна розглядати як вагу w₀ деякого додаткового вхідного сигналу х₀, величина якого завжди дорівнює одиниці:

Нейрон з додатковим входом х₀ зображений на рис. 8.

Рис. 8 - Нейронне заміщення b інтерпретується як вага додаткового входу , сигнал якого завжди дорівнює 1

2. Записати закон Ома (визначення та формулу).

3. Завантажити файл LR1.exe.

4. Підібрати по два варіанти параметрів нейрона (величину порога і синаптичні сили) так, щоб він моделював всі логічні функції.

5. З першої частини лабораторної роботи зробити пороків звіт з обов’язковим скріпами і висновками.

6. Другу частину лабораторної роботи виконати в Excel, тобто зробити розрахунки за формулами.

7. Вислати на електронну пошту 2 файли.