Адаптивні інформаційні системи
Потреба в адаптивних інформаційних системах виникає в тих випадках, коли підтримувані ними проблемні області постійно розвиваються. У зв'язку з цим адаптивні системи повинні задовольняти ряду специфічних вимог, а саме:
• адекватно відображати знання проблемної області в кожен момент часу;
• бути придатними для легкої і швидкої реконструкції при зміні проблемної середовища.
Адаптивні властивості інформаційних систем забезпечуються за рахунок інтелектуалізації їх архітектури. Ядром таких систем є постійно розвивається модель проблемної області, підтримувана в спеціальній базі знань - репозиторії. Ядро системи керує процесами генерації або переконфігуруванні програмного забезпечення.
При типовому проектуванні здійснюється адаптація типових розробок до особливостей проблемної області. Для реалізації цього підходу застосовуються інструментальні засоби компонентного (складального) проектування інформаційних систем (R / 3, BAAN IV, Prodis і ін.).
Головна відмінність підходів полягає в тому, що при використанні CASE-технології кожен раз при зміні проблемної області виконується генерація програмного забезпечення в цілому, а при використанні складальної технології - конфігурація модулів і тільки в рідкісних випадках - їх переробка.
Тема 2. Штучні нейронні мережі. Архітектура і класифікація нейронних мереж.
Подання про детальний пристрої головного мозку з'явилося тільки близько ста років тому. У 1888 р іспанська доктор Рамон Кайал експериментально показав, що мозкова тканина складається з великого числа пов'язаних один з одним однотипних вузлів - нейронів. Пізніші дослідження за допомогою електронного мікроскопа показали, що всі нейрони, незалежно від типу, мають схожу організаційну структуру (рис. 2.1). Природна нервова клітина (нейрон) складається з тіла (соми), що містить ядро, і відростків - дендритів, за якими в нейрон надходять вхідні сигнали. Один з відростків, розгалужених на кінці, служить для передачі вихідних сигналів даного нейрона іншим нервовим клітинам. Він називається аксонів. З'єднання аксона з дендритом іншого нейрона називається синапсом. Нейрон збуджується і передає сигнал через аксон, якщо число тих, хто прийшов по дендритам збуджуючих сигналів більше, ніж число гальмують.
Малюнок 2.1 - Будова біологічного нейрона.
У 1943 р В. Маккаллох і В. Піттс запропонували систему обробки інформації у вигляді мережі, що складається з простих обчислювачів, створених за принципом біологічного нейрона. Штучна нейронна мережа (ІНС) являє собою сукупність простих обчислювальних елементів (процесорів) - штучних нейронів, з'єднаних певним чином так, щоб між ними забезпечувалося взаємодія. Штучні нейрони характеризуються правилом комбінування вхідних сигналів і передавальної функцією, що дозволяє обчислити вихідний сигнал.
Малюнок 2.2 - Кібернетична модель нейрона.
Інформація, що надходить на вхід нейрона, підсумовується з урахуванням вагових коефіцієнтів сигналів:
де w0 - зсув (поріг, зміщення) нейрона.
Залежно від значення вагового коефіцієнта wi. вхідний сигнал xi або посилюється, або придушується. Зважену суму вхідних сигналів також називають потенціалом або комбінованим входом нейрона.
Зрушення зазвичай інтерпретується як зв'язок, що виходить від елемента, активність якого завжди дорівнює 1. Зазвичай, для зручності вхідний вектор розширюється додаванням цього сигналу до х = (1, х0. Xn) і поріг w0 вноситься під знак суми:
Передавальна функція, або функція активації нейрона, є правилом, згідно з яким зважена сума надійшли сигналів P перетворюється у вихідний сигнал нейрона Y, що передається іншим нейронам мережі, т. Е. Y = f (P). На малюнку 2.3 показані графіки найбільш поширених функцій активації нейронів.
Порогова функція пропускає інформа-цію тільки в тому випадку, якщо алгебраїчна сума вхідних сигналів перевищує деяку постійну величину Р *, на-приклад:
Порогова функція не забезпечує достатньої гнучкості ІНС при навчанні. Якщо значення обчисленого потенціалу не досягає заданого порогу, то вихідний сигнал не формується і нейрон «не спрацьовує». Це призводить до зниження інтенсив-ності вихідного сигналу нейрона і, як наслідок, до формиро-ванию невисокого значення потенціалу зважених входів в наступному шарі нейронів.
Лінійна функція диференційована і легко обчислюють-ється, що в ряді випадків дозволяє зменшити помилки вихідних сигналів в мережі, так як передавальна функція мережі також є-ється лінійної. Однак вона не універсальна і не забезпечує вирішення багатьох завдань.
Певним компромісом між лінійної і ступенча-тій функціями є сигмоїдальна функція активації Y = 1 / (1 + exp (-kP)), яка вдало моделює передавальний харак-теристику біологічного нейрона (рис. 3.3, в).
Малюнок 2.3 - Функції перенесення штучних нейронів:
а) лінійна; б) ступінчаста; в) сигмоїдальна.
Коефіцієнт k визначає крутизну нелінійної функції: чим більше k, тим ближче сигмоїдальна функція до порогової; чим менше k, тим вона ближче k лінійної. Тип функції перенесення вибирається з урахуванням конкретної заду-чи, розв'язуваної з застосуванням нейронних мереж. Наприклад, в за-дачах апроксимації і класифікації перевагу віддають сигмоидальной кривої.
Архітектура і класифікація ІНС
З кожним нейроном зв'язується набір входять зв'язків, за якими до цього елементу надходять сигнали від інших елементів мережі, і набір вихідних зв'язків, за якими сигнали даного елемента передаються іншим нейронам. Деякі нейрони призначені для отримання сигналів із зовнішнього середовища (вхідні елементи), а деякі - для виведення в зовнішнє середовище результатів обчислень (вихідні елементи).
У 1958 р Френк Розенблат запропонував наступну модель нейронної мережі - персептрона. Персептрон Розенблатта (рис. 2.4) складається з k нейронів, має d входів, k виходів і тільки один шар настроюються ваг wij.
Малюнок 2.4 - Персептрон Розенблатта.
Вхідні нейрони зазвичай призначені для розподілу вводяться сигналів між іншими нейронами мережі, тому для них потрібно, щоб що виходить від елемента сигнал був таким же, як і входить. На відміну від інших нейронів мережі, вхідні мають тільки по одному входу. Іншими словами, кожен вхідний елемент може отримувати сигнал від одного відповідного йому датчика. Оскільки вхідні елементи призначені виключно для того, щоб розподіляти сигнали, одержувані із зовнішнього середовища, багато дослідників взагалі не вважають вхідні елементи частиною нейронної мережі.
Персептрон здатний вирішувати лінійні задачі. Число входів мережі визначає розмірність простору, з якого вибираються вхідні дані: для двох ознак простір виявляється двовимірним, для трьох - тривимірним, а для d ознак - d-мірним. Якщо пряма або гіперплоскость в просторі вхідних даних може розділити всі зразки на відповідні їм класи, то проблема є лінійної, в іншому випадку - нелінійної. На малюнку 2.5 показані безлічі точок на площині, причому в разі а) межа лінійна, в разі - б) нелінійна.
Малюнок 2.5 - Геометричне уявлення лінійної (а) і
нелінійної (б) завдань.
Для вирішення нелінійних проблем запропоновані моделі багатошарових персептронов (MLP), здатні будувати ламану кордон між розпізнаваними обра-зами. У багатошарових мережах кожен нейрон може посилати вихідний сигнал тільки в наступний шар і приймати вхідні сигнали тільки з попереднього шару, як показано на малюнку 2.6. Шари нейронів, розташовані між вхідним і вихідним називаються прихованими, оскільки не отримують і не передають дані безпосередньо із зовнішнього середовища. Така мережа дозволяє виділяти глобальні властивості даних за рахунок наявності додаткових синаптичних зв'язків і підвищення рівня взаємодії нейронів.
Малюнок 2.6 - Схема багатошарового персептрона.
Визначення числа прихованих шарів і числа нейронів в кожному шарі для конкретного завдання є неформальною проблемою, при вирішенні якої можна використовувати евристичне правило: число нейронів в наступному шарі в два рази менше, ніж в попередньому
В даний час крім багатошарового персептрона існує безліч способів завдання структур нейронних мереж. Всі види нейронних мереж можна умовно розділити на мережі прямого поширення і мережі з зворотними зв'язками. Як випливає з назви, в мережах першого типу сигнали від нейрона до нейрона поширюються в чітко заданому напрямку - від входів мережі до її виходів. У мережах другого типу вихідні значення будь-якого нейрона мережі можуть передаватися до його ж входів. Це дозволяє нейронної мережі моделювати складніші процеси, наприклад тимчасові, але робить виходи подібної мережі нестабільними, залежними від стану мережі на попередньому циклі. На малюнку 2.7. подано класифікацію найбільш поширених типів нейронних мереж.
Малюнок 2.7 - Класифікація поширених видів ІНС.
Тема 3. Мережі типу персептрон
Завдання класифікації образів. Навчання з вчителем
Ф. Розенблатт запропонував використовувати персептрон для задач класифікації. Багато додатків можна інтерпретувати, як проблеми класифікації. Наприклад, оптичне розпізнавання символів. Відскановані символи асоціюються з відповідними їм класами. Є чимало варіантів зображення літери "Н" навіть для одного конкретного шрифту - символ може виявитися, наприклад, змазаним, - але всі ці зображення повинні належати класу "Н".
Коли відомо, до якого класу належить кожен з навчальних прикладів, можна використовувати стратегію навчання з учителем. Завданням для мережі є її навчання тому, як зіставити пред'являється мережі зразок з контрольним цільовим зразком, що представляє потрібний клас. Іншими словами, знання про навколишнє середовище представляються нейронної мережі у вигляді пар "вхід-вихід". Наприклад, мережі можна пред'явити оригінал букви "Н" і навчити мережу того, що при цьому відповідний "Н" вихідний елемент повинен бути включений, а вихідні елементи, відповідні іншим буквах - вимкнені. У цьому випадку вхідний зразок може бути набором значень, що характеризують пікселі зображення у відтінках сірого, а цільової вихідний зразок - вектором, значення всіх координат якого повинні бути рівними 0, за винятком координати, що відповідає класу "Н", значення якої повинно бути рівним.
На малюнку 3.1 показана блокова діаграма, що ілюструє-ющая цю форму навчання. Припустимо, що вчителю і навченою мережі подається навчальний вектор з навколишнього середовища. На основі вбудованих знань учитель може сформувати і передати навченою ній-ронной мережі бажаний відгук, який відповідає цьому вхідному вектору. Параметри мережі коригуються з урахуванням навчального століття-тора і сигналу помилки. Сигнал помилки - це різниця між бажаним сигналом і поточним відгуком нейронної мережі. Після закінчення навчання вчителя можна відключити і дозволити нейронної мережі працювати з середовищем самостійно.
Малюнок 3.1 - Концепція навчання ІНС з учителем.
Алгоритм навчання перцептрона включає наступні кроки:
· Системі пред'являється еталонний образ.
· Якщо результат розпізнавання збігається з заданим, вагові коефіцієнти зв'язків не змінюються.
· Якщо ІНС неправильно розпізнає результат, то ваговим коефіцієнтам дається приріст в сторону підвищення якості розпізнавання.