Читати дисертація з інформатики, обчислювальної техніки, телекомунікацій: "Квантові нейронні мережі у процесах навчання та управління". Алгоритм зворотного розповсюдження «Back Propagation»

Порівняння даних моделювання молекул водню за допомогою квантових обчислювачів з експериментальними значеннями. По горизонтальній осі – відстань між атомами водню в молекулі.

Британсько-американська група фізиків, що включає експертів з Google і Університету Каліфорнії, вперше провела експеримент про масштабоване квантове моделювання молекули водню. У роботі автори використовували двокубітний квантовий обчислювач та обійшлися без ресурсомісткої попередньої компіляції алгоритмів. Дослідження опубліковано у журналі Physical Review X, коротко про нього повідомляє блог компанії Google

В основі експерименту лежить варіаційний алгоритм пошуку власних рішень за допомогою квантового комп'ютера (VQE), який, за словами вчених, є квантовою нейромережею. Як і будь-яка нейромережа, вона містить масу змінюваних параметрів, які можна підбирати за допомогою навчання, але традиційні нейромережі при цьому моделюють класичні системи, а квантові, відповідно, квантові системи.

За допомогою цього методу вчені розрахували, як змінюється енергія молекули водню (H2) залежно від відстані між атомами водню в ній. Ці обчислення - окремий випадок вирішення задачі про електронну структуру молекул. Знаючи як влаштовані електрони в основному стані молекули можна передбачити швидкість, з якою протікатимуть хімічні реакції. Однак це вимагає високої точності обчислень енергії. Зі збільшенням кількості атомів у молекулі час, необхідний розрахунку класичному комп'ютері зростає експоненційно. Як описує блог Google, якщо на розрахунок енергії основного стану метану (CH 4) йде одна секунда, то на етан (C 2 H 6) буде потрібно хвилина, а на пропан (C 3 H 8) - цілий день розрахунків.

У системі використовувалися надпровідні кубити, охолоджені до температури 20 мілікельвінів. Кожен кубит був надпровідним квантовим інтерферометром (відомий як SQUID) і конденсатор.

Схема обчислень. Ліворуч - мікрофотографії кубитів, нижні рядки - логічні операції, що виконуються над кубитами.

P. J. J. O'Malley et al. / Phys. Rev. X, 2016

Автори порівнювали результати обчислень за допомогою VQE з експериментальними даними та іншим квантовим алгоритмом. За словами фізиків, завдяки навчанню вдалося позбавитися систематичних помилок, пов'язаних з неідеальністю обладнання та отримати результати близькі до експериментальних даних. Вчені сподіваються, що стійкість до подібних помилок допоможе обійтися в майбутньому без однієї з проблем, що стоять перед втіленням квантових комп'ютерів у життя.

Як відповідають фізики, при масштабуванні технології та створенні багатокубітних систем можна буде проводити аналогічні обчислення для більш складних молекул. Наприклад, всього сотні кубіт буде достатньо для того, щоб змоделювати процес азотфіксації, який дозволяє виробляти бактерії добрива буквально з повітря. Можливо, це дозволить поліпшити існуючі способи синтезу азотних добрив.

Незважаючи на те, що квантові комп'ютери зараз являють собою системи з невеликої кількості кубів (-), фізики вже їх для моделювання високоенергетичних процесів.

Володимир Корольов

Міністерство освіти та науки Російської Федерації

Державний освітній заклад Московської області

Міжнародний університет природи, суспільства та людини «Дубна»

Магістерська робота

ТемаКвантові нейронні мережі в процесах навчання та управління

СтудентаАфанасьєва Ольга Олександрівна

Анотація

Ця робота присвячена аналізу квантових нейронних мереж (КНС) та їх практичного застосування.

Вирішення перелічених завдань тісно пов'язане з розробкою методів квантового програмування та представляє теоретичний та практичний інтерес для процесів проектування робастного інтелектуального управління в умовах ризику та непередбачених ситуацій управління з урахуванням квантових ефектів при формуванні інформаційного процесу самоорганізації баз знань.

Для здійснення цілей вивчено літературу зарубіжних авторів, розглянуто приклади застосування КНС у процесах управління.

Результатом роботи є порівняльний аналіз між класичними та квантовими нейронами. Пропонуються нові квантові оператори типу суперпозиції, квантова кореляція та інтерференція. КНС дозволяє бачити простір пошуку та навчання, підвищити точність та робастність процесу апроксимації сигналу навчання.

Роботу виконано під науковим керівництвом доктора фіз.-мат. наук, професора С.В. Ульянова в Інституті Системного Аналізу та Управління Міжнародного університету природи, суспільства та людини «Дубна».

Вступ

1. Постановка задачі

1.2 Вихідні дані

1.3 Дослідницька складова

2. Наукова складова

2.1 Архітектура Квантових Нейронних Мереж

2.2 Чому цікаві Квантові Нейронні Мережі

2.3 Квантовий нейрон

2.4 Побудова Квантової Нейронної Мережі

2.5 Квантові обчислення

2.6 Моделі КНС

2.7 Квантовий стан та його подання

3. Навчання КНР

3.1 Застосування Квантових Нейронних мереж. Сенс алгоритму навчання з учителем

3.2 Одношаровий та багатошаровий персептрони

3.2.1 Одношаровий персептрон. Навчання

3.2.2 Багатошаровий персептрон. Навчання багатошарового персептрону

3.3 Алгоритм зворотного розповсюдження "Back Propagation"

3.4 Генетичний алгоритм. Класичне завдання комівояжу

4. Автоматичне керування об'єктами

4.1 Об'єкт управління

4.2 Робототехніка як напрямок Штучного Інтелекту

4.2.1 Загальна блок-схема робота

4.2.2 Концептуальна модель

4.2 Ефективне керування квантовим спіновим регістром. Криптографія та квантова телепортація

5. Практична частина. Приклади Квантових Нейронних мереж

5.1 Перевернутий маятник

5.2 Стиснення зображення

5.3 Кодування алфавіту

6 Інструментарій MATLAB NEURAL NETWORK TOOL. Мережа Кохонена

Висновок

Список літератури

Вступ

Сьогодні, як і сто років тому, безперечно, що мозок працює більш ефективно і принципово іншим чином, ніж будь-яка обчислювальна машина, створена людиною. Саме цей факт протягом стільки років спонукає та спрямовує роботи вчених усього світу зі створення та дослідження штучних нейронних мереж.

Штучний Нейронні мережі (ІНС) мають деякі привабливі особливості, як, наприклад, паралельність розподіленої обробки, помилкостійкість і здатність навчатися і узагальнювати отримані знання. Під властивістю узагальнення розуміється здатність ІНС генерувати правильні виходи для вхідних сигналів, які були враховані у процесі навчання (тренування). Ці дві властивості роблять ІНС системою переробки інформації, що вирішує складні багатовимірні завдання, непосильні іншим технікам. Проте ІНС також стикаються з багатьма труднощами, у тому числі відсутність правил для детермінованих оптимальних архітектур, обмежена місткість пам'яті, що займає багато часу на навчання і т.д. .

Штучні Нейронні мережі увійшли до практики скрізь, де потрібно вирішувати завдання прогнозування, класифікації чи управління. Такий вражаючий успіх визначається кількома причинами:

.Багаті можливості. Нейронні мережі – виключно потужний метод моделювання, що дозволяє відтворювати надзвичайно складні залежності. Упродовж багатьох років лінійне моделювання було основним методом моделювання у більшості областей, оскільки для нього добре розроблені процедури оптимізації. У завданнях, де лінійна апроксимація є незадовільною (а таких досить багато), лінійні моделі працюють погано. Крім того, нейронні мережі справляються з "прокляттям розмірності", яке не дозволяє моделювати лінійні залежності у разі великої кількості змінних

.Простота у використанні. Нейронні мережі навчаються на прикладах. Користувач нейронної мережі підбирає представницькі дані, а потім запускає алгоритм навчання, який автоматично сприймає структуру даних. При цьому від користувача, звичайно, потрібно якийсь набір евристичних знань про те, як слід відбирати та готувати дані, вибирати потрібну архітектуру мережі та інтерпретувати результати, проте рівень знань, необхідний для успішного застосування нейронних мереж, набагато скромніший, ніж, наприклад, під час використання традиційних методів статистики.

У сфері ІНС, деякі першовідкривачі вводили квантовеобчислення в аналогічне обговорення, таке як квантове нейронне обчислення, поглинена квантова нейронна мережа, квантова асоціативна пам'ять та паралельне навчання. Вони сконструювали фонд для подальшого вивчення квантового обчислення в ІНС. У результаті з'являється область штучних нейронних мереж, заснованих на квантових теоретичних поняттях і методах. Вони називаються Квантові Нейронні Мережі.

1. Постановка задачі

.1 Мета

Дослідження та аналіз Квантових Нейронних Мереж, їх практичне застосування.

Напрями роботи дослідження

· Виявити переваги квантових нейронних мереж перед класичними мережами.

· Розглянути приклади застосування квантових нейронних мереж у процесах інтелектуального управління.

· Провести моделювання роботи квантового нейрона на класичному комп'ютері.

· Моделювання мережі кластеризації даних у MATLAB.

· Розглянути конкретний приклад із робототехніки (робот-маніпулятор).

1.2 Вихідні дані

· Дев'ятитомник з квантових обчислень та квантового програмування, видання Міланського університету, автор Ульянов С.В.

· Монографія Нільсона, 2006 року.

· Сайт www.qcoptimizer.com.

1.3 Дослідницька складова

Дослідження відноситься до інноваційних технологій розробки квантових нейронних мереж у галузі інтелектуальних систем управління з навчанням. Вирішення перелічених завдань тісно пов'язане з розробкою методів квантового програмування та представляє теоретичний та практичний інтерес для процесів проектування робастного інтелектуального управління в умовах ризику та непередбачених ситуацій управління з урахуванням квантових ефектів при формуванні інформаційного процесу самоорганізації баз знань.

2. Наукова складова

.1 Архітектура Квантових Нейронних Мереж

Деяка система може бути названа нейронної, якщо в ній вдається ідентифікувати, принаймні один нейрон. Нейронна система є квантової нейронноїсистемою, якщо вона здатна реалізовувати квантові обчислення.

Існує кілька різних підходів до того, що можна назвати квантовими нейронними мережами. Різні дослідники використовують власні аналогії для встановлення зв'язку між квантовою механікою та штучними нейронними мережами. Деякі основні поняття цих двох областей наведено у наступній таблиці 1:

Таблиця 1. Основні концепції квантової механіки та теорії нейронних мереж

Класичні нейронні мережіКвантові нейронні мережіСтан нейрона Кубіти Зв'язок Заплутаність Навчальне правило Суперпозиція станів заплутаності Пошук переможця Інтерференція як унітарне перетворення Вихідний Результат Decoherence (вимірювання)

Не слід розглядати пари концепцій, що знаходяться в тому самому рядку таблиці, як аналогії - насправді встановлення такої аналогії і є одним з головних завдань теорії квантових нейронних мереж. На цей час, квантові уявлення були переважно використані реалізації класичних обчислень. Поняття про квантові обчислення було введено в 1982 році Річардом Фейнманом, який досліджував роль квантових ефектів у майбутніх процесорах, елементи яких можуть мати атомні розміри. 1985 року Девід Дойч сформулював концепцію квантових обчислень. Важливо відзначити, що ефективність використання нейронних мереж пов'язана з масивною паралельною розподіленою обробкою інформації та нелінійністю перетворення векторів входів нейронами. З іншого боку, квантові системи мають набагато потужніший квантовий паралелізм, що виражається принципом суперпозиції.

При розробці концепції квантових класичних та нейронних обчислень важливу роль відіграє обрана інтерпретація квантової механіки, серед яких

Копенгагенська інтерпретація;

Фейнманівський формалізм інтегралів з траєкторій;

Евереттовська інтерпретація багатьох світів, і т.д.

Вибір інтерпретації важливий при встановленні аналогій між квантовою механікою та нейрокомп'ютером. Зокрема він важливий для вирішення проблеми співвідношення такої лінійної теорії, якою є квантова механіка з суттєво нелінійною обробкою даних, що визначає потужність нейротехнології.

2.2 Чому цікаві Квантові Нейронні Мережі

Існують дві основні причини інтересу до квантових нейронних мереж. Одна пов'язана з аргументами на користь того, що квантові процеси можуть відігравати важливу роль у роботі мозку. Наприклад, Роджер Пенроуз навів різні докази на користь того, що тільки нова фізика, яка має поєднати квантову механіку із загальною теорією відносності, змогла б описати такі явища, як розуміння та свідомість. Однак його підхід адресований не до власне нейронних мереж, а до внутрішньоклітинних структур, таких як мікротрубочки. Інша причина пов'язана з бурхливим зростанням квантових обчислень, основні ідеї яких цілком могли б бути перенесені на нейрообчислення, що відкрило б для них нові можливості.

Квантові нейронні системи можуть обходити деякі важкі питання, суттєві для квантових обчислень через свою аналоговість, здатність до навчання на обмеженій кількості прикладів.

Що можна очікувати від квантових нейронних мереж? В даний час квантові нейронні мережі мають наступні переваги:

експонентна ємність пам'яті;

кращі характеристики при меншій кількості прихованих нейронів;

швидке навчання;

усунення катастрофічного забування завдяки відсутності інтерференції образів;

вирішення лінійно нероздільних проблем одношаровою мережею;

відсутність з'єднань;

висока швидкість обробки даних (10 10 bits/s);

мініатюрність (10 11нейронів/мм 3);

більш висока стабільність та надійність;

Ці потенційні переваги квантових нейронних мереж мотивують головним чином їхню розробку.

.3 Квантовий нейрон

Синапси здійснюють зв'язок між нейронами та множать вхідний сигнал на число, що характеризує силу зв'язку - вага синапсу. Суматор виконує складання сигналів, що надходять по синаптичних зв'язках від інших нейронів та зовнішніх вхідних сигналів. Перетворювач реалізує функцію одного аргументу, виходу суматора, деяку вихідну величину нейрона. Ця функція називається функцією активації нейрона.

Таким чином, нейрон повністю описується своїми вагами та функцією активації F. Отримавши набір чисел (вектор) як входи, нейрон видає деяке число на виході.

Активаційна функція може бути різного виду. Найбільш широко використовувані варіанти наведені у таблиці (табл. 2).

Таблиця 2: Перелік функцій активації нейронів

НазваФормулаОбласть значенняПорогова (0, 1) Знакова (-1,1) Сигмоїдна (0,1) Напівлінійна (0, ∞) Лінійна (-∞, ∞)Радіальна базисна (0, 1)Напівлінійна з насиченням (0, 1) Лінійна з насиченням (-1,1)Гіперболічний тангенс (-1,1) Трикутна (0, 1)

Визначення Квантового Нейрону дається так:

Він отримує вхідні сигнали (вихідні дані чи вихідні сигнали інших нейронів КНС) через кілька вхідних каналів. Кожен вхідний сигнал проходить через з'єднання, що має певну інтенсивність (або вага); ця вага відповідає синаптичній активності нейрона. З кожним нейроном пов'язане певне граничне значення. Обчислюється зважена сума входів, з неї віднімається граничне значення і в результаті виходить величина активації нейрона (вона також називається пост-синаптичним потенціалом нейрона - PSP).

Сигнал активації перетворюється за допомогою функції активації (або передавальної функції) і в результаті виходить вихідний сигнал нейрона (рис. 1).

Рис 1: Математична модель нейрона

Математична модель квантового нейрона, де - це матриці, що діють на основі - оператор, який може здійснювати мережу квантових осередків.

Наприклад: Навчальний процес квантового нейрона = - Оператор ідентичності: .

Квантове навчальне правило забезпечене в аналогії з класичним випадком, як, слідуючи: де бажаний вихід. Це навчальне правило приводить квантовий нейрон у бажаний стан, що використовується для навчання. Беручи квадратну для модуля різницю реального та бажаного виходу, ми бачимо, що:

Ціла мережа може бути скомпонована від примітивних елементів, використовуючи стандартні правила архітектури ІНС.

2.4 Побудова Квантової Нейронної Мережі

Це питання вирішується у два етапи: вибір типу (архітектури) КНР, підбір ваг (навчання) КНР.

На першому етапі слід вибрати наступне: які нейрони ми хочемо використати (число входів, передавальні функції); як слід з'єднати їх між собою; що взяти як входи та виходи КНС.

Це завдання на перший погляд здається неосяжним, але, на щастя, нам необов'язково вигадувати КНС "з нуля" - існує кілька десятків різних нейромережевих архітектур, причому ефективність багатьох з них доведена математично. Найбільш популярні та вивчені архітектури – це багатошаровий перцептрон, нейронна мережа із загальною регресією, нейронні мережі Кохонена та інші.

На другому етапі нам слід "навчити" обрану мережу, тобто підібрати такі значення її ваги, щоб вона працювала потрібним чином. Ненавчена КНС подібна до дитини - її можна навчити будь-чому. У нейронних мережах, що використовуються на практиці, кількість ваг може становити кілька десятків тисяч, тому навчання - справді складний процес. Для багатьох архітектур розроблено спеціальні алгоритми навчання, які дозволяють налаштувати ваги КНР певним чином. Найбільш популярний з цих алгоритмів - метод зворотного поширення помилки (Error Back Propagation), який використовується, наприклад, для навчання перцептрону.

2.5 Квантові обчислення

Квантові обчислення дають можливість вирішувати проблеми, які не вирішуються на класичних комп'ютерах. Наприклад, алгоритм Шора дає на квантовому комп'ютері поліноміальне рішення факторизації цілого числа на два простих помножувачі, який вважається нерозв'язним на класичному комп'ютері. Крім того, алгоритм Гровера дає значне прискорення під час пошуку даних у невпорядкованій базі.

Досі ми не бачили якісної різниці між використанням звичайних бітів і кубітів, але щось дивне відбувається, якщо навчити атом світлом, якого достатньо лише для того, щоб електрон пройшов половину шляху між рівнями збудження. Оскільки електрони не можуть насправді існувати в просторі між цими рівнями, вони існують на обох рівнях одночасно. Це відомо як суперпозиція .

Ця суперпозиція дозволяє теоретично обчислити одночасно кілька можливостей, оскільки група кубітів може представляти одночасно кілька чисел. Для обчислень з використанням властивості суперпозиції можна створити набір кубітів, перевести їх у стани суперпозиції і потім здійснити над ними дію.

Коли алгоритм буде завершено, суперпозиція може бути сколапсована і буде отримано певний результат - тобто. всі кубити перейдуть у стани 0 чи 1. Можемо вважати, що алгоритм як би паралельно діє всі можливі комбінації певних станів кубитів (тобто 0 чи 1) - трюк, відомий як квантовий паралелізм (табл. 3).

Таблиця 3: Основні поняття квантового обчислення

NГоловне поняття квантового обчислення:1 2 3 4 5 6Опис хвильової функції з квантової еволюції (розвитку) Суперпозиція класичних станів (послідовність) Заплутаність Інтерференція Вимір Унітарні перетворення

Побудова моделей квантових нейронних систем (як і створення моделей квантових обчислень) стикається з необхідністю з'ясування того, які обчислення можуть бути охарактеризовані як справді квантові і які джерела ефективності цих обчислень.

Важливе місце посідає з'ясування найефективніших сфер застосування квантових обчислювальних систем.

Фундаментальний ресурс та базове формування квантової інформації - квантовий біт (кубіт). З фізичної точки зору, кубіт представляє ідеальний подвійний стан квантової системи. Приклади таких систем включають фотони (вертикальна та горизонтальна поляризація), електрони та системи, визначені двома рівнями енергії атомів або іонів. З самого початку подвійне стан системи відігравало центральну роль вивчення квантової механіки. Це - найпростіша квантова система, й у принципі інші квантові системи можуть моделюватися у просторі станів зборів кубитов.

Стан квантового біта визначається вектором у двовимірному комплексному векторному просторі. Тут вектор має дві компоненти і його проекції на базиси векторного простору є комплексними числами. Квантовий біт представляється (в позначеннях Дірака у вигляді кет-вектора) як або у векторному позначенні (бра-вектор). Якщо то. Для цілей квантового обчислення, базисні стану |0> та |1> кодують класичні розрядні значення 0 та 1 відповідно. Однак на відміну від класичних бітів, кубити можуть бути в суперпозиції |0> і |1>, наприклад, де і - комплексні числа, котрим виконано таке умова: . Якщо приймають нульові значення, то визначає класичний, чистий стан. Інакше кажуть, що перебуває у стані суперпозиції двох класичних базисних станів. Геометрично квантовий біт знаходиться в безперервному стані між і, поки не проводяться виміри його стану. Якщо система складається з двох квантових бітів, вона описується як тензорний твір. Наприклад, в позначеннях Дірака двоквантова біт система задається, як. Число можливих станів комбінованої системи зростає експоненційно при додаванні квантового біта.

Це призводить до проблеми оцінки квантової кореляції, яка є між квантовими бітами в складовій системі .

Експоненційне зростання серед станів разом зі здатністю піддати повний простір до перетворень (або унітарна динамічна еволюція системи, або проект вимірювання в підпросторі власного вектора) забезпечує фонд для квантового обчислення. Оскільки унітарні перетворення є оборотними, квантові обчислення (крім вимірювань) усі будуть оборотні, обмежуючи їх унітарними квантовими перетвореннями. Це означає, що кожні квантові осередки (на один або багато кубитів) здійснюють оборотне обчислення. Таким чином, враховуючи вихідний осередок, необхідно однозначно визначити, яким був вхід. На щастя, є класична теорія оборотного обчислення, яке говорить нам, що кожен класичний алгоритм може бути зроблений оборотним з прийнятним верхнім, таким чином, це обмеження квантового обчислення не викладає серйозну проблему. Це - щось, що має бути враховано, пропонуючи специфікацію для квантових воріт, як би там не було.

2.6 Моделі КНС

У світі є кілька дослідницьких інститутів, які ведуть роботи над концепцією квантової нейронної мережі, наприклад, Технічний Університет у Джорджії та Оксфордський університет. Більшість однак утримується від публікації своїх робіт. Ймовірно, це пов'язано з тим, що потенційно реалізація квантової нейронної мережі значно простіша, ніж звичайного квантового комп'ютера, і кожен інститут бажає виграти квантову гонку. Теоретично простіше побудувати квантову нейронну мережу, ніж квантовий комп'ютер з однієї причини. Ця причина – когерентність. Суперпозиція багатьох кубитів знижує опір до шуму в квантовому комп'ютері, а шум може потенційно викликати колапс або декогеренцію суперпозиції, перш ніж буде проведено корисне обчислення. Однак так як квантові нейронні мережі не вимагатимуть дуже довгих періодів або дуже багатьох суперпозицій на нейрон, вони будуть менш схильні до дії шуму, продовжуючи здійснювати обчислення, подібні до тих, що проводяться звичайною нейронною мережею, але в багато разів швидше (фактично експоненційно).

Квантові нейронні мережі могли б реалізовувати свою експоненційну перевагу у швидкості, використовуючи суперпозицію величин входів та виходів нейрона. Але іншою перевагою, яка могла б бути отримана, полягає в тому, що оскільки нейрони можуть обробляти суперпозицію сигналів, то нейронна мережа могла б насправді мати меншу кількість нейронів у прихованому шарі при навчанні апроксимації даної функції. Це дозволило б будувати прості мережі з меншою кількістю нейронів і, отже, поліпшувати стабільність і надійність їх роботи (тобто. для мережі скоротилася кількість можливостей втратити когерентність). Якщо все це взяти до уваги, то чи не могла б квантова нейронна мережа бути обчислювально сильнішою, ніж звичайна мережа? В даний час відповідь здається негативною, тому що всі квантові моделі використовують кінцеве число кубітів для проведення своїх обчислень, і це є обмеженням.

2.7 Квантовий стан та його подання

квантовий нейрон персептрон робототехніка

Квантовий стан і оператор квантового обчислення обидва важливі для розуміння паралельності та пластичності інформації обробки систем.

У квантовому логічному кругообігу фундаментальні квантові стани - однобітове обертання стану U θ , показане на Рис.2, та двобітовий керований NOT стану, показане на Рис. 3. Перші стани обертають вхідний квантовий стан до цього θ. Останні стани виконують операцію XOR.

Рис. 2. Однобітовий стан обертання

Рис. 3. Двобітове управління NOT стану

Виділяємо наступну комплекс-оцінку подання Ур. (3) обмежувально відповідну кубічному стану в Ур. (1).

Рівняння (3) дає можливість виразити такі операції: стан обертання та двобітовий керований NOT стану.

а) Операція стану обертання

Стан обертання - фаза переміщення станів, яка перетворює фазу на кубічний стан. Оскільки кубічний стан представлений Ур. (3), стан розуміється як таке ставлення:

) Операція двобітовий керований NOT

Ця операція визначається вхідним параметром γ наступним чином:

де γ=1 відповідає обертанню анулювання, та γ=0 - невращение. В разі γ=0, фаза ймовірності амплітуди квантового стану повністю змінена.

Однак ймовірність, що спостерігається, є інваріантною так, щоб ми розцінили цей випадок як неврання.

3. Навчання КНР

Квантові нейронні мережі ефективні під час виконання складних функцій у багатьох областей. Вони включають розпізнавання образів, класифікацію, бачення, системи управління, та передбачення.

Здатність до навчання - адаптації до умов і можливостей в зовнішньому середовищі, що змінюється, - така важлива особливість нейронних мереж, що тепер приєднана в якості окремого пункту до так званого «тесту Тьюринга», що є операційним визначенням поняття інтелект.

Емпіричний тест, ідея якого була запропонована Аланом Тюрінгом<#"justify">· Нейронна мережа стимулюється довкіллям.

· Нейронна мережа зазнає змін у своїх вільних параметрах у результаті збудження.

· Мережа відповідає новим способом до навколишнього середовища через зміни, що відбулися у її внутрішній структурі.

Є численні доступні алгоритми і можна було б очікувати, що є унікальний алгоритм для того, щоб проектувати модель КНС. Відмінність між алгоритмами полягають у формулюванні, здатному змінити ваги нейронів, і щодо нейронів до їх довкілля.

Усі методи навчання можуть бути класифіковані у дві основні категорії: контрольовані та неконтрольовані.

У Таблиці 4 представлені різні алгоритми навчання та пов'язані з ними архітектури мереж (список не є вичерпним). В останній колонці перераховані завдання, для яких може бути застосований кожен алгоритм. Кожен алгоритм навчання орієнтований на мережу певної архітектури та призначений для обмеженого класу завдань. Крім розглянутих, слід згадати деякі інші алгоритми: Adaline та Madaline, лінійний дискримінантний аналіз, проекції Саммона, аналіз головних компонентів.

Таблиця 4: Відомі алгоритми навчання:

ПарадигмаОбучающее правилоАрхитектураАлгоритм обученияЗадачаС учителемКоррекция ошибкиОднослойный и многослойный перцептронАлгоритмы обучения перцептрона Обратное распространение Adaline и Madalineобучения перцептрона Обратное распространение Adaline и MadalineКлассификация образов Аппроксимация функций Предскащание, управлениеБольцманРекуррентнаяАлгоритм обучения БольцманаКлассификация образовХеббМногослойная прямого распространенияЛинейный дискриминантный анализАнализ данных Классификация образовСоревнованиеСоревнованиеВекторное квантованиеКатегоризация внутри класса Сжатие данныхСеть ARTARTMapКлассификация образовБез учителяКоррекция ошибкиМногослойная прямого распространенияПроекция СаммонаКатегоризация внутри класу Аналіз данихХеббПрямого поширення або змаганняАналіз головних компонентівАналіз даних Стиснення данихМережа ХопфілдаНавчання асоціативної пам'ятіАсоціативна пам'ятьЗмаганняЗмаганняВекторне квантуванняКатегоризаціяСтиск данихSOM КохоненаSOM КохоненаК атегоризація Аналіз данихМережі ARTART1, ART2КатегоризаціяЗмішанаКорекція помилки та змаганняМережа RBFАлгоритм навчання RBFКласифікація образів Апроксимація функцій Передбачення, управління

Навчити мережу - значить, повідомити її, чого ми від неї домагаємося. Цей процес дуже схожий на навчання дитини алфавіту. Показавши дитині зображення літери "А", ми питаємо його: "Яка це літера?" Якщо відповідь невірна, ми повідомляємо дитині ту відповідь, яку ми хотіли б від неї отримати: "Це буква А". Дитина запам'ятовує цей приклад разом із правильною відповіддю, тобто у пам'яті відбуваються деякі зміни у потрібному напрямі. Ми будемо повторювати процес пред'явлення літер знову і знову до того часу, коли всі 33 літери будуть твердо запам'ятані. Такий процес називають "навчання з учителем" (рис. 4.).

Рис. 4. Процес "навчання з учителем".

Під час навчання мережі ми діємо абсолютно аналогічно. Ми маємо деяку базу даних, що містить приклади (набір рукописних зображень букв). Пред'являючи зображення літери "А" на вхід КНС, ми отримуємо від неї деяку відповідь, не обов'язково вірну. Нам відома і вірна (бажана) відповідь - у даному випадку нам хотілося б, щоб на виході КНС з міткою "А" рівень сигналу був максимальний. Зазвичай в якості бажаного виходу завдання класифікації беруть набір (1, 0, 0, ...), де 1 стоїть на виході з міткою "А", а 0 - на всіх інших виходах. Обчислюючи різницю між бажаною відповіддю та реальною відповіддю мережі, ми отримуємо 33 числа - вектор помилки. Алгоритм зворотного поширення помилки - це набір формул, який дозволяє по вектору помилки обчислити необхідні виправлення для ваг нейронної мережі. Одну й ту саму літеру (і навіть різні зображення однієї й тієї ж літери) ми можемо пред'являти нейронної мережі багато разів. У цьому сенсі навчання швидше нагадує повторення вправ у спорті – тренування.

Після багаторазового пред'явлення прикладів ваги КНР стабілізуються, причому КНР дає правильні відповіді на всі (або майже всі) приклади з бази даних. У такому разі кажуть, що "мережа вивчила всі приклади", "нейронна мережа навчена", або "мережа натренована". У програмних реалізаціях можна побачити, що у процесі навчання величина помилки (сума квадратів помилок з усіх виходів) поступово зменшується. Коли величина помилки досягає нуля або прийнятного малого рівня, тренування зупиняють, а отриману мережу вважають натренованою та готовою до застосування на нових даних.

Навчання мережірозбивається на такі етапи:

1. Ініціалізація мережі: ваговим коефіцієнтам та зміщенням мережі надаються малі випадкові значення з діапазонів

   І відповідно.

2. Визначення елемента навчальної вибірки: (<текущий вход>, <желаемый выход>). Поточні входи (x0, x1... xN-1), повинні відрізнятися всім елементів навчальної вибірки. При використанні багатошарового персептрона як класифікатор бажаний вихідний сигнал (d0, d1 ... dN-1) складається з нулів за винятком одного одиничного елемента, відповідного класу, якого належить поточний вхідний сигнал.
3. Обчислення поточного вихідного сигналу: поточний вихідний сигнал визначається відповідно до традиційної схеми функціонування багатошарової нейронної мережі.
4. Налаштування синаптичних ваг: для налаштування вагових коефіцієнтів використовується рекурсивний алгоритм, який спочатку застосовується до вихідних нейронів мережі, а потім проходить мережу у зворотному напрямку до першого шару. Синаптичні ваги налаштовуються відповідно до формули:

,

де w ij - Вага від нейрона i або від елемента вхідного сигналу i до нейрона j в момент часу t, x i - вихід нейрона i або i-ий елемент вхідного сигналу, r - крок навчання, g j - Значення помилки для нейрона j. Якщо нейрон із номером j належить останньому шару, то

,

де dj – бажаний вихід нейрона j, yj – поточний вихід нейрона j. Якщо нейрон з номером j належить одному з шарів з першого до передостаннього, то

,

де k пробігає всі нейрони шару з номером на одиницю більше, ніж у того, якому належить нейрон j. Зовнішні усунення нейронів b налаштовуються аналогічним чином.

Розглянута модель може бути використана для розпізнавання образів, класифікації, прогнозування. Були спроби побудови експертних систем на основі багатошарових персептронів із навчанням за методом зворотного розповсюдження. Важливо відзначити, що вся інформація, яку КНР має про завдання, міститься в наборі прикладів. Тому якість навчання КНС безпосередньо залежить кількості прикладів у навчальної вибірці, і навіть від цього, наскільки повно ці приклади описують це завдання. Ще раз навчання нейронних мереж - складний і наукомісткий процес. Алгоритми навчання КНС мають різні параметри та налаштування, для управління якими потрібне розуміння їхнього впливу.

3.1 Застосування Квантових Нейронних мереж. Сенс алгоритму навчання з учителем

Клас завдань, які можна вирішити за допомогою КНР, визначається тим, як мережа працює і тим, як вона навчається. Працюючи КНС приймає значення вхідних змінних і видає значення вихідних змінних. Таким чином, мережу можна застосовувати в ситуації, коли Ви маєте певну відому інформацію, і Ви хочете з неї отримати деяку поки не відому інформацію (Patterson, 1996; Fausett, 1994). Ось деякі приклади таких завдань:

· Розпізнавання образів та класифікація

Як образи можуть виступати різні за своєю природою об'єкти: символи тексту, зображення, зразки звуків тощо. буд. Під час навчання мережі пропонуються різні зразки образів із зазначенням, якого класу вони ставляться. Зразок, як правило, представляється як вектор значень ознак. У цьому сукупність всіх ознак має однозначно визначати клас, якого належить зразок. Якщо ознак недостатньо, мережа може співвіднести той самий приклад з кількома класами, що неправильно. Після закінчення навчання мережі їй можна пред'являти невідомі раніше образи та отримувати відповідь про належність до певного класу.

· Прийняття рішень та управління

Це завдання близьке до завдання класифікації. Класифікації підлягають ситуації, характеристики яких надходять на вхід КНР. На виході мережі при цьому має з'явитися ознака рішення, яке вона ухвалила. При цьому як вхідні сигнали використовуються різні критерії опису стану керованої системи.

· Кластеризація

Під кластеризацією розуміється розбиття безлічі вхідних сигналів на класи, у тому, що кількість, ні ознаки класів заздалегідь невідомі. Після навчання така мережа здатна визначати, якого класу належить вхідний сигнал.

· Прогнозування

Після навчання мережа здатна передбачити майбутнє значення певної послідовності на основі кількох попередніх значень та/або якихось існуючих на даний момент факторів. Слід зазначити, що прогнозування можливе лише тоді, коли попередні зміни справді певною мірою визначають майбутні.

· Апроксимація

Доведено узагальнену апроксимаційну теорему: за допомогою лінійних операцій та каскадного з'єднання можна з довільного нелінійного елемента отримати пристрій, що обчислює будь-яку безперервну функцію з певною наперед заданою точністю.

· Стиснення даних та Асоціативна пам'ять

Здатність нейромереж до виявлення взаємозв'язків між різними параметрами дає можливість виразити дані великої розмірності компактніше, якщо дані тісно взаємопов'язані один з одним. Зворотний процес – відновлення вихідного набору даних із частини інформації – називається авто-асоціативною пам'яттю. Асоціативна пам'ять дозволяє також відновлювати вихідний сигнал/образ із зашумлених/пошкоджених вхідних даних. Розв'язання задачі гетероасоціативної пам'яті дозволяє реалізувати пам'ять, що адресується за вмістом.

Етапи розв'язання задач:

збирання даних для навчання;

підготовка та нормалізація даних;

вибір топології мережі;

експериментальний підбір показників мережі;

власне навчання;

перевірка адекватності навчання;

коригування параметрів; остаточне навчання;

вербалізація мережі з подальшого використання.

Отже, перейдемо до другої важливої ​​умови застосування Квантових Нейронних мереж: ми повинні знати, що між відомими вхідними значеннями та невідомими виходами є зв'язок. Цей зв'язок може бути спотворений шумом.

Як правило, КНС використовується тоді, коли невідомий точний вид зв'язків між входами та виходами, - якби він був відомий, то зв'язок можна було б моделювати безпосередньо. Інша істотна особливість КНС полягає в тому, що залежність між входом та виходом перебуває у процесі навчання мережі. Для навчання КНС застосовуються алгоритми двох типів (різні типи мереж використовують різні типи навчання): кероване ("навчання з учителем") і не кероване ("без учителя"). Найчастіше застосовується навчання з учителем.

Для керованого навчання мережі користувач повинен підготувати набір навчальних даних. Ці дані є прикладами вхідних даних і відповідних їм виходів. Мережа вчиться встановлювати зв'язок між першими та другим. Зазвичай навчальні дані беруться із історичних відомостей. Також це можуть бути значення цін акцій та індексу FTSE, відомості про минулих позичальників - їх анкетні дані і те, чи вони успішно виконали свої зобов'язання, приклади положень робота та його правильної реакції.

Потім КНС навчається за допомогою того чи іншого алгоритму керованого навчання (найбільш відомим з них є метод зворотного розповсюдження, запропонований у роботі Rumelhart et al., 1986), при якому наявні дані використовуються для коригування ваги та порогових значень мережі таким чином, щоб мінімізувати помилку прогнозу на навчальній множині. Якщо мережа навчена добре, вона набуває здатності моделювати (невідому) функцію, що зв'язує значення вхідних та вихідних змінних, і згодом таку мережу можна використовувати для прогнозування ситуації, коли вихідні значення невідомі.

3.2 Одношаровий та багатошаровий персептрони

.2.1 Одношаровий персептрон. Навчання

Історично першою штучною нейронною мережею, здатною до перцепції (сприйняття) та формування реакції на сприйнятий стимул, з'явився PerceptronРозенблатта (F. Rosenblatt, 1957). Термін " Perceptronпоходить від латинського perceptioщо означає сприйняття, пізнання. Російським аналогом цього терміна є "Персептрон". Його автором персептрон розглядався не як конкретний технічний обчислювальний пристрій, бо як модель роботи мозку. Сучасні роботи зі штучних нейронних мереж рідко переслідують таку мету.

Найпростіший класичний персептрон містить елементи трьох типів (рис. 5).

Рис. 5. Елементарний персептрон Розенблатта

Одношаровий персептрон характеризується матрицею синаптичних зв'язків | | W | | від S-до A-елементів. Елемент матриці відповідає зв'язку, що веде від i-го S-елемента (рядки) до j-го A-елемента (стовпці). Ця матриця дуже нагадує матриці абсолютних частот та інформативностей, що формуються в семантичній інформаційній моделі, заснованій на системній теорії інформації.

З точки зору сучасної нейроінформатики одношаровий персептрон представляє в основному суто історичний інтерес, водночас на його прикладі можуть бути вивчені основні поняття та прості алгоритми навчання нейронних мереж.

Навчання класичної нейронної мережі полягає у підстроюванні вагових коефіцієнтів кожного нейрона.

Крок 1: Початкові значення ваги всіх нейронів вважаються випадковими.

Крок 2: Мережі пред'являється вхідний образ x a в результаті формується вихідний образ.

Крок 3: Обчислюється вектор помилки, яку робить мережа на виході. Вектори вагових коефіцієнтів коригуються таким чином, що величина коригування пропорційна помилці на виході і дорівнює нулю, якщо помилка дорівнює нулю:

ü модифікуються лише компоненти матриці терезів, що відповідають ненульовим значенням входів;

ü знак збільшення ваги відповідає знаку помилки, тобто. позитивна помилка (значення виходу менше необхідного) веде до посилення зв'язку;

ü навчання кожного нейрона відбувається незалежно від навчання інших нейронів, що відповідає важливому з біологічної точки зору принципу локальності навчання.

Крок 4: Кроки 1-3 повторюються всім навчальних векторів. Один цикл послідовного пред'явлення усієї вибірки називається епохою. Навчання завершується після декількох епох, якщо виконується, принаймні, одна з умов:

ü коли ітерації зійдуться, тобто. вектор терезів перестає змінюватися;

ü коли повна підсумована за всіма векторами абсолютна помилка стане менше деякого малого значення.

3.2.2 Багатошаровий персептрон. Навчання багатошарового персептрону

Ймовірно, ця архітектура мережі використовується зараз найчастіше. Вона була запропонована в роботі Rumelhart, McClelland (1986) і детально обговорюється майже у всіх підручниках з нейронних мереж (див., наприклад, Bishop, 1995). Кожен елемент мережі будує виважену суму своїх входів з поправкою у вигляді доданку і потім пропускає цю величину активації через передатну функцію, і таким чином виходить вихідне значення цього елемента. Елементи організовані в пошарову топологію із прямою передачею сигналу. Таку мережу легко можна інтерпретувати як модель вхід-вихід, в якій ваги та порогові значення (зсуви) є вільними параметрами моделі. Така мережа може моделювати функцію практично будь-якого ступеня складності, причому кількість шарів та кількість елементів у кожному шарі визначають складність функції. Визначення числа проміжних шарів та числа елементів у них є важливим питанням при конструюванні багатошарового персептрона (Haykin, 1994; Bishop, 1995).

Кількість вхідних та вихідних елементів визначається умовами завдання. Сумніви можуть виникнути, які вхідні значення використовувати, а які ні. Припускатимемо, що вхідні змінні обрані інтуїтивно і всі вони є значущими. Питання ж про те, скільки використовувати проміжних шарів та елементів у них, поки що зовсім неясно. Як початкове наближення можна взяти один проміжний шар, а число елементів у ньому покласти рівним напівсумі числа вхідних і вихідних елементів. Знову ж таки, пізніше ми обговоримо це питання докладніше.

Багатошаровий персептрон - це навчальна система, що розпізнає, реалізує кориговане в процесі навчання лінійне вирішальне правило в просторі вторинних ознак, які зазвичай є фіксованими випадково обраними лінійними пороговими функціями від первинних ознак.

При навчанні на вхід персептрона почергово подаються сигнали з навчальної вибірки, і навіть вказівки про клас, якого слід віднести цей сигнал. Навчання персептрона полягає в корекції терезів при кожній помилці розпізнавання, тобто при кожному випадку розбіжності рішення, що видається персептроном, і справжнього класу. Якщо персептрон помилково відніс сигнал, до деякого класу, то ваги функції справжнього класу збільшуються, а помилкового зменшуються. У разі правильного вирішення всі ваги залишаються незмінними (рис. 6).

Рис. 6. Двошаровий персептрон

приклад: Розглянемо персептрон, тобто. систему з n вхідними каналами та вихідним каналом y. Вихід класичного персептрона - це, де є функцією активації персептрона і - це вага налаштування під час навчального процесу. Алгоритм навчання персептрона працює в такий спосіб.

Ваги ініціалізуються невеликими кількостями.

Зразковий вектор представляє персептрон та вихід y, отриманий відповідно до правила

Вага оновлюються відповідно до правила, де t є дискретним часом, а d - бажаний вихід, зроблений для навчання, і є кроком.

Зауваження. Навряд чи можна побудувати точний аналог нелінійної функції активації F, як і сигмовидної та інші функції загального користування в нейронних мережах, можливо для квантового випадку.

3.3 Алгоритм зворотного розповсюдження "Back Propagation"

У середині 1980-х кількома дослідниками незалежно один від одного було запропоновано ефективний алгоритм навчання багатошарових персептронів, що базується на обчисленні градієнта функції помилки. Алгоритм був названий "зворотним поширенням помилки".

Алгоритм зворотного поширення – це ітеративний градієнтний алгоритм навчання, який використовується з метою мінімізації середньоквадратичного відхилення поточного виходу та бажаного виходу багатошарових нейронних мереж.

У нейропарадигмі "back propagation" найчастіше використовуються сигмоїдальні передавальні функції, наприклад

Сигмоїдальні функції є монотонно зростаючими і мають відмінні від нуля похідні по всій області визначення. Ці характеристики забезпечують правильне функціонування та навчання мережі.

Функціонування багатошарової мережі виконується відповідно до формул:

де s – вихід суматора, w – вага зв'язку, y – вихід нейрона, b – зміщення, i – номер нейрона, N – число нейронів у шарі, m – номер шару, L – число шарів, f – функція активації.

Метод зворотного розповсюдження- Спосіб швидкого розрахунку градієнта функції помилки.

Розрахунок проводиться від вихідного шару до вхідного за рекурентними формулами і не вимагає перерахунку вихідних значень нейронів.

Зворотне поширення помилки дозволяє багато разів скоротити обчислювальні витрати на розрахунок градієнта в порівнянні з розрахунком за визначенням градієнта. Знаючи градієнт, можна застосувати безліч методів теорії оптимізації, які використовують першу похідну.

В алгоритмі зворотного розповсюдження обчислюється вектор градієнта помилок. Цей вектор вказує напрямок найкоротшого спуску по поверхні з цієї точки, тому якщо ми "трохи" просунемося по ньому, помилка зменшиться. Послідовність таких кроків (сповільнюється при наближенні до дна) зрештою призведе до мінімуму тієї чи іншої типу. Певну труднощі тут є питання, яку потрібно брати довжину кроків.

Звичайно, при такому навчанні нейронної мережі немає впевненості, що вона навчилася якнайкраще, оскільки завжди існує можливість попадання алгоритму в локальний мінімум (рис. 7.). Для цього використовуються спеціальні прийоми, що дозволяють вибити знайдене рішення з локального екстремуму. Якщо після кількох таких дій нейронна мережа сходиться до того ж рішенню, то можна зробити висновок про те, що знайдене рішення, швидше за все, оптимальне.

Рис. 7. Метод градієнтного спуску при мінімізації помилки мережі

3.4 Генетичний алгоритм. Класичне завдання комівояжу

Генетичний алгоритм (ГА) здатний здійснювати оптимальне настроювання КНС при розмірності пошукового простору достатньої для вирішення більшості практичних завдань. При цьому спектр додатків, що розглядаються, набагато перевершує можливості алгоритму зворотного поширення помилки.

Обробка інформації генетичним алгоритмом використовує два основних механізми відбору корисних ознак, запозичених із сучасних уявлень про природний відбір: мутації в окремому ланцюжку та схрещування (кросинговер) між двома ланцюжками. Розглянемо ці механізми докладніше (табл. 5).

Таблиця 5: Мутації та схрещування

001110101100001001 000110100001101001а) Исходные генетические цепочки0011101 .......01100001001 .......00001101001 0001101б) Случайное образование области для последующего скрещивания0011101 .......00001101001 .......01100001001 0001101в) Обмен фрагментами кода001110100001101001 000110101100001001г) Ланцюжки після схрещування

На малюнку представлені послідовні етапи обміну інформацією між двома ланцюжками при схрещуванні. Отримані нові ланцюжка (або одна з них) можуть бути в подальшому включені в популяцію, якщо набір ознак, що задається ними, дає краще значення цільової функції. В іншому випадку вони будуть відсіяні, а в популяції залишаться їхні батьки. Мутація в генетичному ланцюжку носить точковий характер: у деякій випадковій точці ланцюжка один із кодів замінюється іншим (нуль - одиницею, а одиниця - нулем).

З точки зору штучних систем обробки інформації генетичний пошук є специфічним методом знаходження рішення задачі оптимізації. При цьому такий ітераційний пошук є таким, що адаптується до особливостей цільової функції: ланцюжки, що народжуються в процесі схрещування тестують все більш широкі області простору ознак і переважно розташовуються в області оптимуму. Відносно рідкісні мутації перешкоджають виродженню генофонду, що рівнозначно рідкісному, але не припиняється пошуку оптимуму в інших областях ознакового простору.

Останні десять років розроблено безліч способів контрольованого навчання КНС з допомогою ГА. Отримані результати свідчать про великі можливості такого симбіозу. Спільне використання КНС та ГА алгоритмів має й ідеологічну перевагу тому, що вони належать до методів еволюційного моделювання та розвиваються в рамках однієї парадигми запозичення технікою природних методів та механізмів як найбільш оптимальних.

Щоб змоделювати еволюційний процес, спочатку згенеруємо випадкову популяцію - кілька індивідуумів з випадковим набором хромосом (числових векторів). Генетичний алгоритм імітує еволюцію цієї популяції як циклічний процес схрещування індивідуумів та зміни поколінь (рис. 8).

Рис. 8. Алгоритм обчислень

Розглянемо переваги та недоліки стандартних та генетичних методів на прикладі класичної задачі комівояжера (TSP - travelling salesman problem). Суть завдання полягає у тому, щоб знайти найкоротший замкнутий шлях обходу кількох міст, заданих своїми координатами. Виявляється, що вже для 30 міст пошук оптимального шляху є складним завданням, що спонукало розвиток різних нових методів (у тому числі нейромереж та генетичних алгоритмів).

Кожен варіант рішення (для 30 міст) - це числовий рядок, де на j-му місці стоїть номер j-ого по порядку обходу міста. Таким чином, у цій задачі 30 параметрів, причому не всі комбінації значень допустимі. Звичайно, першою ідеєю є повний перебір всіх варіантів обходу.

Перебірний метод найпростіший за своєю суттю і тривіальний у програмуванні. Для пошуку оптимального рішення (точки максимуму цільової функції) потрібно послідовно обчислити значення цільової функції у всіх можливих точках, запам'ятовуючи максимальне їх. Недоліком цього є велика обчислювальна вартість. Зокрема, завдання комівояжера потрібно прорахувати довжини понад 1030 варіантів шляхів, що цілком неможливо. Однак, якщо перебір всіх варіантів за розумний час можливий, то можна бути абсолютно впевненим у тому, що знайдене рішення є дійсно оптимальним (рис. 9.).

Рис. 9. Пошук оптимального рішення

Генетичний алгоритм є саме такий комбінований метод. Механізми схрещування та мутації у якомусь сенсі реалізують перебірну частину методу, а відбір кращих рішень – градієнтний спуск. На малюнку показано (рис.), що така комбінація дозволяє забезпечити стійко хорошу ефективність генетичного пошуку будь-яких типів завдань (рис. 10).

Рис. 10. Метод градієнтного спуску

Отже, якщо на деякому безлічі задана складна функція від кількох змінних, то генетичний алгоритм - це програма, яка за розумний час знаходить точку, де значення функції досить близько до максимально можливого. Вибираючи прийнятний час розрахунку, ми отримаємо одне з найкращих рішень, які взагалі можна отримати за цей час.

Позитивні якості генетичних алгоритмів

1. Знаходження глобального мінімуму: непохитність "застрягання" в локальних мінімумах цільової функції.

Масовий паралелізм при обробці: особини у популяції функціонують незалежно: розрахунок значень цільової функції, загибель, мутації здійснюються незалежно кожної особини. За наявності кількох процесорних елементів швидкодія може бути дуже високою.

Біоподібність: генетичні алгоритми побудовані на тих же принципах, які призвели до виникнення людини та всього різноманіття видів, і, отже, можуть бути дуже продуктивні та корисні.

4. Автоматичне керування об'єктами

Управління будь-яким об'єктом - це процес на нього з метою забезпечення необхідного перебігу процесів у об'єкті чи необхідного зміни стану. Основою управління є отримання та обробка інформації про стан об'єкта та зовнішні умови його роботи для визначення впливів, які необхідно докласти до об'єкта, щоб забезпечити досягнення мети управління.

Управління, яке здійснюється без участі людини, називається автоматичним управлінням. Пристрій, за допомогою якого здійснюється керування, називається керуючим пристроєм. Сукупність об'єкта управління та керуючого пристрою утворює систему автоматичного керування (САУ) (рис. 11).

Рис. 11. Блок-схема системи автоматичного керування

Стан об'єкта характеризується вихідний величиною Х. Від керуючого пристрою на вхід об'єкта надходить керуючий вплив U. Крім керуючого впливу, до об'єкта прикладено вплив, що обурює (обурення, перешкода) F, яке змінює стан об'єкта, тобто. X, перешкоджаючи управлінню. На вхід пристрою, що управляє, подається задає вплив (завдання) G, що містить інформацію про необхідне значення X, тобто. про мету управління. У самому загальному випадку на вхід об'єкта надходить також інформація про поточний стан об'єкта у вигляді вихідної величини Х і обурення F, що діє на об'єкт. Змінні U, G, F і X в загальному випадку є векторами.

Як і у будь-якої динамічної системи, процеси в САУ поділяють на перехідні, що встановилися і.

При розгляді САУ має значення такі поняття: стійкість системи, якість процесу управління та точність управління.

Якість процесу управління характеризується тим, наскільки процес управління близький до бажаного. Кількісно вони виражаються критеріями якості:

Час перехідного процесу - інтервал часу від початку перехідного процесу досі, коли відхилення вихідний величини від її нового значення стає менше певної величини - зазвичай 5%.

Максимальне відхилення в перехідний період (перерегулювання) - відхилення визначається від нового значення і виявляється у відсотках.

Коливність перехідного процесу - визначається кількістю коливань, рівних числу мінімумів кривої перехідного процесу під час перехідного процесу. Часто коливальність виражають у відсотках як відношення сусідніх максимумів кривої перехідного процесу.

Точність управління характеризується похибкою системи в режимах (розбіжність між бажаним сигналом і дійсним) - статизм.

4.1 Об'єкт управління

Динаміка об'єкта управління описується наступною системою диференціальних рівнянь: Об'єкт управління

Вихідні дані: об'єкт управління представляє автомобіль. Параметр, яким необхідно керувати – це його швидкість. Швидкість автомобіля можна налаштувати за допомогою іншого параметра. Це можливо: сила натискання на педаль акселератора і т.п. На швидкість автомобіля може впливати безліч зовнішніх факторів: ухил, під яким рухається автомобіль, якість зчеплення з дорогою, вітер. Інформація про швидкість автомобіля надходить із датчика швидкості.

Динаміка об'єкта управління описується наступною системою диференціальних рівнянь:

Параметри T1, T2, K1, K2 визначені експериментально та мають наступні значення відповідно: K1=5, K2=7.156, T1=1.735, T2=16.85.

Потрібно побудувати такий регулятор у класі нейромережевих структур, який би забезпечував управління об'єктом за дотримання наступних вимог синтезованої системі автоматичного управління:

· Фізична реалізація регулятора.

· Стійкість роботи.

· Мінімальна складність.

· Побудова нейроконтролера

ІНС можна навчити на деякій множині шляхом підбору настроювальних параметрів (рис. 12.). Використовується метод зворотного поширення помилки, заснований на методі градієнта, з константою швидкості збіжності h. Для забезпечення збіжності змінюємо h з 1 до 0.00001 при кількості ітерацій в 1000000. Розмір навчальної множини вибрано 400 пар. Кількість нейронів прихованого шару 50.

Рис. 12. Блок-схема САУ з нейроконтролером

Для порівняння знято перехідну характеристику САУ з ПІД-регулятором, де k1=0.2, k2=0.007, k3=0.2.

На САУ з нейрорегулятором і ПІД-регулятором подається вплив G = 10, 20, 30 ... 110. На інтервалі 50-100с. на систему діє перешкода. Результати роботи САУ на рис. 13.

Рис. 13. Порівняння нейрорегулятора та ПІД-регулятора

Порівняння показує: ПІД-регулятор програє нейрорегулятор як у швидкодії на старті, при вході в зону перешкоди і при виході .

4.2 Робототехніка як напрямок Штучного Інтелекту

Вся інтелектуальна діяльність людини спрямована зрештою активну взаємодію Космосу з зовнішнім світом у вигляді рухів. Так само елементи інтелекту робота служать, передусім, в організацію його цілеспрямованих рухів. У той самий час основне призначення суто комп'ютерних систем Штучного Інтелекту (ІІ) полягає у вирішенні інтелектуальних завдань, які мають абстрактний чи допоміжний характері і зазвичай пов'язані з сприйняттям довкілля з допомогою штучних органів чуття, ні з організацією рухів виконавчих механізмів .

У рамках першого підходу вивчаються, насамперед, структура та механізми роботи мозку людини, а кінцева мета полягає у розкритті таємниць мислення. Необхідними етапами досліджень у цьому напрямі є побудова моделей на основі психофізіологічних даних, проведення експериментів з ними, висування нових гіпотез про механізми інтелектуальної діяльності, вдосконалення моделей тощо.

Другий підхід як об'єкт дослідження розглядає ІІ. Тут йдеться про моделювання інтелектуальної діяльності за допомогою обчислювальних машин. А мета робіт - створення алгоритмічного та програмного забезпечення обчислювальних машин, що дозволяють вирішувати інтелектуальні завдання не гірше за людину.

Нарешті, третій підхід спрямовано створення змішаних человеко-машинных (інтерактивних) інтелектуальних систем, на симбіоз можливостей природного і штучного інтелекту. Найважливішими проблемами у цих дослідженнях є оптимальний розподіл функцій між природним та штучним інтелектом та організація діалогу між людиною та машиною.

Спроби вчених всього світу зі створення роботів зустрілися принаймні з двома серйозними проблемами, які не дозволили скільки-небудь помітно просунутися в цьому напрямі: це розпізнавання образів і здоровий глузд. Роботи бачать набагато краще за нас, але не розуміють побаченого. Роботи чують набагато краще за нас, але не розуміють почутого.

4.2.1 Загальна блок-схема робота

Схема із зазначенням найважливіших вузлів майбутнього робота (система управління, датчики, сигналізатори) та їх зв'язків один з одним. За цією схемою легко орієнтуватися у цьому, що необхідно для робота, що належить зробити чи дістати (рис. 14.).

Рис. 14. Загальна блок-схема робота

4.2.2 Концептуальна модель

Схема робота, виконана двох рівнях деталізації. Відображає основні функціональні компоненти системи та зв'язку між ними. Дуже корисно для впорядкування думок (рис. 15-22).

Рис. 15. Концептуальна модель. Візок, що саморухається

Рис. 16. Схема поведінки

Рис. 17. Оточення робота

Рис. 18. Пульт керування

Рис. 19. Система датчиків

Рис. 20. Система управління

Рис. 21. Двигуна система

Рис. 22. Система оповіщення

4.2 Ефективне керування квантовим спіновим регістром. Криптографія та квантова телепортація

Вперше ідея про квантові обчислення була висловлена ​​радянським математиком Ю.І. Маніним у 1980 році і стала активно обговорюватися після опублікування у 1982 році статті Роберта Фейнмана. Дійсно, стани 0 і 1, які представлені в сучасних ЕОМ як рівні напруги деяких електричних схем (тригерів), можна інтерпретувати і як стан елементарних частинок, якщо, наприклад, скористатися такою характеристикою, як спин. Згідно з принципом Паулі, кожна частка може мати спином величиною +1/2 або -1/2 - чим не логічні «одиниця» і «нуль»? А квантова природа таких частинок-тригерів, названих "квантовими бітами" або "кубітами" (Qbit), надає можливостям побудованих на цій основі комп'ютерів унікальні властивості.

Розробка пристроїв квантової обробки інформації являє собою нову область нанотехнологій, що бурхливо розвивається. На шляху її розвитку є проблеми, які умовно можна поділити на фізико-технологічні, математичні та інформаційно-обчислювальні. До останніх ставиться питання: яким чином можна керувати квантовим комп'ютером із максимальною ефективністю.

p align="justify"> Для роботи квантового обчислювального пристрою необхідні так звані заплутані стани, які важливі також для квантової телепортації і криптографії, тому вивчення заплутаності є однією з основних цілей квантової інформатики. У загальному випадку безпечна обробка інформації в квантовому регістрі повинна ґрунтуватися на управлінні кубитами (квантовими бітами), що становлять його начинку.

Припустимо, є один кубит. У такому разі після виміру, у так званій класичній формі, результат буде 0 або 1. Насправді кубит-квантовий об'єкт і тому, внаслідок принципу невизначеності, в результаті виміру може бути і 0 і 1 з певною ймовірністю. Якщо кубіт дорівнює 0 (або 1) зі стовідсотковою ймовірністю, його стан позначається за допомогою символу (або) - в позначках Дірака і базові стани. У загальному випадку квантовий стан кубіту знаходиться "між" базовими та записується, у вигляді, де |a|І та |b|І -ймовірності виміряти 0 або 1 відповідно; ; |a|І + |b|І = 1. Понад те, відразу після виміру кубит перетворюється на базове квантове стан, аналогічне класичному результату.

Є таке поняття як квантова телепортація. Суть квантової телепортації полягає у передачі стану об'єкта на відстань, сам об'єкт у своїй не переміщається. Виходить, що телепортація, про яку стільки писали фантасти, поки залишається не більш ніж фантастикою. Квантова телепортація була описана ще Ейнштейном. Щоправда, сам учений у неї не вірив, хоча вона не суперечила жодним законам фізики. На думку великого вченого, квантовий ефект, експериментального підтвердження якого досягли наші сучасники, мав призвести до повного абсурду. Однак, приведе він, як нам тепер кажуть, до створення абсолютно нового покоління комп'ютерів.

Алгоритм телепортації реалізує точне перенесення стану одного кубіту (чи системи) в інший. У найпростішій схемі використовуються 4 кубіти: джерело, приймач і два допоміжні. Зазначимо, що в результаті роботи алгоритму початковий стан джерела зруйнується – це приклад дії загального принципу неможливості клонування – неможливо створити точну копію квантового стану, не зруйнувавши оригінал. Насправді досить легко створити однакові стани на кубитах. Наприклад, вимірявши 3 кубити, ми переведемо кожен із новачків у базові стану (0 чи 1) і хоча на двох їх вони збігатимуться. Не вдасться скопіювати довільний стан, і телепортація – заміна цієї операції.

Телепортація дозволяє передавати квантовий стан системи за допомогою традиційних класичних каналів зв'язку. Таким чином, можна, зокрема, отримати пов'язаний стан системи, що складається з підсистем, віддалених на велику відстань.

Перспективна концепція квантового регістру для квантової обробки інформації полягає в ансамблі спинів, що у заплутаному стані, які розглядатимуться як кубити. Використання статистичних сумішей чистих станів, таких як спінові ансамблі, призвело до розвитку квантових ансамблевих обчислень, які були експериментально здійснені в системі, що включає до 12 кубитов. Ще більші квантові регістри були експериментально досліджені для оцінки їхньої стійкості щодо декогерентності, яка є суттєвою проблемою. Отже, потрібна ефективна оцінка еволюції ансамблю.

Умови, за яких може виникнути заплутаність, можуть бути досягнуті при надійній теплоізоляції методом, що називається адіабатичним розмагнічуванням в системі координат, що обертається (ADRF). Звісно ж, що можливість легко управляти з допомогою зовнішнього впливу кількістю заплутаності кубитів у квантовому регістрі допоможе краще визначити режим його ефективної роботи. Управління можна моделювати найбільш просто і одночасно реалістично, припускаючи, що 1) система знаходиться поблизу рівноваги, 2) зовнішній вплив призводить до зміни температури кубитів, 3) вплив зовнішнім магнітним полем за типом ADRF має досить простий вигляд для моделювання, 4) це вплив можна повторно використовувати у різних поєднаннях як основний структурний елемент системи управління.

Квантовий паралелізм полягає в тому, що дані в процесі обчислень є квантовою інформацією, яка по закінченні процесу перетворюється на класичну шляхом вимірювання кінцевого стану квантового регістру. Виграш у квантових алгоритмах досягається за рахунок того, що при застосуванні однієї квантової операції велика кількість коефіцієнтів суперпозиції квантових станів, які у віртуальній формі містять класичну інформацію, перетворюється одночасно.

Застосування ідей квантової механіки вже відкрили нову епоху у сфері криптографії, оскільки методи квантової криптографії відкривають нові можливості у сфері передачі повідомлень.

Квантова криптографія говорить про наступне: перехоплення надісланого повідомлення відразу стає відомим. Це означає, що факт шпигунства не помітити не можна. Перехоплене повідомлення, зашифроване квантовим комп'ютером, втрачає структуру і стає незрозумілим для адресата. Оскільки квантова криптографія експлуатує природу реальності, а не людські вишукування, то приховати факт шпигунства стає неможливо. Поява такого шифрування поставить остаточну точку в боротьбі криптографів за найбільш надійні способи шифрування повідомлень.

Зазначимо, що чим довше тримається заплутаність, тим краще для квантового комп'ютера, оскільки "тривалі" кубити можуть вирішувати складніші завдання.

В даному випадку для виконання двох різних завдань процесор використовував квантові алгоритми Гровера та Дойча – Джоза. Процесор давав правильну відповідь у 80% випадків (при використанні першого алгоритму) та у 90% випадків (з другим алгоритмом).

Зчитування результату також відбувається за допомогою мікрохвиль: якщо частота коливань відповідає тій, що є в порожнині, сигнал проходить крізь неї.

5. Практична частина. Приклади Квантових Нейронних мереж

5.1 Перевернутий маятник

Завдання полягає у встановленні стійкого стану маятника, переміщуючи каретку в позицію X = 0 за допомогою квантових нейронних мереж (рис. 23).

Рис. 23. Стійкий стан маятника

Диспетчер рухає маятник, балансує і призводить каретку до позиції X=0 за умови, що каретка уникає завдання удару на пунктах кінця трека.

Рис. 24. Система диспетчера

Система диспетчера складається з нейронної мережі (FFNN), цільового генератора, компаратора і перевернутого маятника як керований об'єкт (рис. 24.).

Рис. 25. Порівняння принципу роботи Квантової та Штучної нейронних мереж

Квантова нейронна мережа має більш вищу здатність на відміну Штучних нейронних мереж (рис. 25.) .

5.2 Стиснення зображення

Тут пропонується модель кубічного нейрона як нова схема з невідповідним стандартом обчислення, яке поєднує квантове обчислення та нейронне обчислення.

Коли зображення на вхід у мережу з прямим зв'язком із вузьким прихованим шаром, можна забрати дані стисненого зображення з виходу прихованого шару. Відбувається навчання мережі. Коли мережа здійснює це тотожне відображення, можна підібрати дані з вихідного зображення з виходу прихованого вузького шару (рис. 26,27..) .

Рис. 26. Стиснення зображення на шаруваті нейронні мережі

Рис. 27. Вхідна схема, ділянка вихідного зображення

При моделюванні приймаємо значення параметрів, наведених у таблиці (табл. 6).

Таблиця 6: Значення параметрів під час моделювання

ПараметриЗначенняBI;BH8 бітBWO16 бітПатч розмір8х8 пікселівПочаткове значення параметра ( )-π~π Початкове значення параметра-1~1Цільовий діапазон квантування (вага, поріг)-5~5

Число прихованих нейронів шару, яке сильно впливає на значення R, залежить від експериментальних ситуацій. Квантування для BH та BWO робиться такою функцією квантування, як показано на рис. 28 .

Рис. 28. Приклад квантування функції

5.3 Кодування алфавіту

Рис. 29. Приклади графічних символів алфавіту

6. Інструментарій MATLAB NEURAL NETWORK TOOL. Мережа Кохонена

Успіх нейронних мереж пояснюється тим, що була створена необхідна елементна база для реалізації нейронних мереж, а також розроблені потужні інструментальні засоби для їх моделювання у вигляді пакетів прикладних програм. До подібних пакетів відноситься пакет Neural Networks Toolbox (NNT) системи математичного моделювання MATLAB 6 фірми Math Works. MATLAB використовують понад 1 000 000 інженерних та науковців, він працює на більшості сучасних операційних систем, включаючи Linux, Mac OS, Solaris та Microsoft Windows.

Пакет прикладних програм NNT містить засоби для побудови нейронних мереж, що базуються на поведінці математичного аналога нейрона. Пакет забезпечує ефективну підтримку проектування, навчання, аналізу та моделювання безлічі відомих типів мереж - від базових моделей персептрона до найсучасніших асоціативних та самоорганізованих мереж.

Моделі Кохонена (рис. 30.) виконується розв'язання задачі знаходження кластерів у просторі вхідних образів.

Ця мережа навчається без вчителя з урахуванням самоорганізації. У міру навчання вектора ваги нейронів прагнуть до центрів кластерів - груп векторів навчальної вибірки. На етапі вирішення інформаційних завдань мережа відносить новий пред'явлений образ одного зі сформованих кластерів, вказуючи цим категорію, до якої належить.

Рис. 30. Мережа Кохонена

Розглянемо архітектуру НР Кохонена та правила навчання докладніше. Мережа Кохонена, як і мережу Липпмана-Хемминга, складається з одного шару нейронів. Число входів кожного нейрона дорівнює розмірності вхідного образу. Кількість нейронів визначається тим ступенем подробиці з якою потрібно виконати кластеризацію набору бібліотечних образів. При достатній кількості нейронів та вдалих параметрах навчання НС Кохонена може не лише виділити основні групи образів, а й встановити "тонку структуру" отриманих кластерів. При цьому близьким вхідним образам буде відповідати близькі карти нейронної активності (рис. 31).

Рис. 31. Приклад карти Кохонена. Розмір кожного квадратика відповідає ступеню збудження відповідного нейрона.

Навчання починається із завдання випадкових значень матриці зв'язків. Надалі відбувається процес самоорганізації, що полягає у модифікації ваг при пред'явленні на вхід векторів навчальної вибірки. Для кожного нейрона можна визначити його відстань до вектора входу:

Далі вибирається нейрон m=m *для якого ця відстань мінімальна. На поточному етапі навчання t модифікуватимуться лише ваги нейронів з околиці нейрона m *:

Рис. 34. Навчання мережі Кохонена

Спочатку в околиці кожного з нейронів знаходяться всі нейрони мережі, надалі ця околиця звужується. Наприкінці етапу навчання підлаштовуються лише ваги найближчого нейрона. Темп навчання h (t)<1 с течением времени также уменьшается. Образы обучающей выборки предъявляются последовательно, и каждый раз происходит подстройка весов.

Результуючу карту зручно подати у вигляді двовимірного зображення, на якому різні ступені збудження всіх нейронів відображаються квадратами різної площі. Приклад карти, побудованої за 100 нейронами Кохонена, представлений на рис.7.2.

Кожен нейрон несе інформацію про кластері - потік у просторі вхідних образів, формуючи для цієї групи збірний образ. Таким чином СР Кохонена здатна до узагальнення. Конкретному кластеру може відповідати і кілька нейронів з близькими значеннями векторів ваги, тому вихід з ладу одного нейрона не такий критичний для функціонування НС Кохонена.

Висновок

Деякі порівняльні дослідження виявилися оптимістичними, інші – песимістичні. Для багатьох завдань, таких як розпізнавання образів, поки що не створено домінуючих підходів. Вибір кращої технології має диктуватися природою завдання. Потрібно намагатися зрозуміти можливості, передумови та сферу застосування різних підходів та максимально використовувати їх додаткові переваги для подальшого розвитку інтелектуальних систем. Подібні зусилля можуть призвести до синергетичного підходу, який поєднує КНС з іншими технологіями для суттєвого прориву у вирішенні актуальних проблем. Зрозуміло, що взаємодія та спільні роботи дослідників у галузі КНС та інших дисциплін дозволять не лише уникнути повторень, а й (що важливіше) стимулюють та надають нові якості розвитку окремих напрямків.

В даний час відбувається активне дослідження альтернативних методів обчислень, таких як обчислення за допомогою квантових комп'ютерів та нейрообчислювачів. Обидва напрями дають нам великі можливості у паралелізмі, проте розглядають це питання з різного боку. Квантові комп'ютери дозволяють виконати операцію над необмеженою кількістю кубитів одночасно, що може збільшити швидкість обчислень. Нейровичислитель дозволяє паралельно виконувати багато різних простих завдань на великій кількості примітивних процесорів, і отримати в результаті результат їх роботи. Враховуючи те, що основним завданням нейрокомп'ютерів є обробка образів. При паралельній архітектурі це завдання виконується набагато швидше, ніж у класичній послідовній. У той же час нейронні комп'ютери дозволяють нам отримати універсальні і в той же час «живучі» системи через їхню однорідну структуру.

У роботі я спробувала викласти систематичне введення в теорію Квантових Нейронних мереж, а також допомогла наблизитися до відповіді на важливе питання: чи є Квантові Нейронні мережі довгоочікуваним магістральним напрямком, в якому буде продовжуватися розвиток методів штучного інтелекту, або вони виявляться модою, своєю вією це раніше було з експертними системами та деякими іншими апаратами наукових досліджень (наприклад, діаграмами Фейнмана), від яких спочатку очікували на революційні прориви. Поступово ці методи виявляли свої обмеження та займали відповідне місце у загальній структурі науки.

2 Основи квантових обчислень Кубіти Кубіти Одиницею квантової інформації є кубит Одиницею квантової інформації є кубіт Кубіт можна як систему з двома станами, напр. спин 1/2 чи дворівнева система. Кубит можна як систему з двома станами, напр. спин 1/2 чи дворівнева система. Стан кубіту описується вектором з 2х компонентів.

3 Основи квантових обчислень Квантові гейти Квантові гейти Квантові гейти є аналогами булевських операцій AND, OR, NOT і т.д. Квантові гейти є аналогами булевських операцій AND, OR, NOT і т.д. Квантовий гейт, що діє на n кубітів це унітарний оператор Квантовий гейт, що діє на n кубітів, це унітарний оператор Приклад: гейт NOT: Приклад: гейт NOT:

4 Квантові алгоритми Алгоритм Саймона пошуку періоду функції Алгоритм Саймона пошуку періоду функції Алгоритм Шора розкладання на прості множники Алгоритм Шора розкладання на прості множники Алгоритм пошуку Гровера Алгоритм пошуку Гровера Алгоритм Дойча Джоза Алгоритм Дойча Джоза

7 Алгоритм Шора: основні кроки 1. Вибрати випадковий залишок a за модулем N 2. Перевірити НОД(a, N)=1 3. Знайти порядок r залишку a за модулем N 4. Якщо r четен то обчислити НОД , N) Визначення: мінімальне r таке, що a r 1 (mod N) називається порядком a за модулем N Порядок є періодом функції f(x)=a x (mod N)

17 Квантова асоціативна пам'ять Квантова асоціативна мережа Перуша (2000) Квантова асоціативна мережа Перуша (2000) Базується на Моделі Хопфілда Базується на Моделі Хопфілда Безперервне узагальнення Гамільтонана Хопфілда Колапс хвильової функції як збіжність до атрактору Колапс хвильової функції як збіжність до атрактора

18 Квантова нейромережа Квантова нейромережа (Берман та ін, 2002) Квантова нейромережа (Берман та ін, 2002) Призначена для обчислення ступеня квантової заплутаності Призначена для обчислення ступеня квантової заплутаності Працює в часі Працює в часі квантових об'єктів та лінійних осциляторів Складається з дворівневих квантових об'єктів та лінійних осциляторів

20 Квантова асоціативна пам'ять Квантова АП Вентури (1998, 2000, 2003) Квантова АП Вентури (1998, 2000, 2003) Базується на алгоритмі Гровера Базується на алгоритмі Гровера дає оператор P Спеціалізований квантовий алгоритм навчання дає оператор P Має експоненційну ємність ~2 n Має експоненційну ємність ~2 n

Витяг з роботи

Міністерство освіти і науки Російською Федерації

Державний освітній заклад Московської області

Міжнародний університет природи, товариства та людини «Дубна»

Магістерськя робота

ТемаКвантові нейронні мережі в процесах навчання та управління

ЗтудентаАфанасьєва Ольга Олександрівна

Анотація

Ця робота присвячена аналізу квантових нейронних мереж (КНС) та їх практичного застосування.

Вирішення перелічених завдань тісно пов'язане з розробкою методів квантового програмування та представляє теоретичний та практичний інтерес для процесів проектування робастного інтелектуального управління в умовах ризику та непередбачених ситуацій управління з урахуванням квантових ефектів при формуванні інформаційного процесу самоорганізації баз знань.

Для здійснення цілей вивчено літературу зарубіжних авторів, розглянуто приклади застосування КНС у процесах управління.

Результатом роботи є порівняльний аналіз між класичними та квантовими нейронами. Пропонуються нові квантові оператори типу суперпозиції, квантова кореляція та інтерференція. КНС дозволяє бачити простір пошуку та навчання, підвищити точність та робастність процесу апроксимації сигналу навчання.

Роботу виконано під науковим керівництвом доктора фіз.-мат. Наук, професора С. В. Ульянова в Інституті Системного Аналізу та Управління Міжнародного університету природи, суспільства та людини «Дубна».

• Вступ
• 1 . Постановка задачі
• 1.1 Ціль
• 1.2 Вихідні дані
• 1.3 Дослідницька складова
• 2 . Наукова складова
• 2.1 Архітектура Квантових Нейронних Мереж
• 2.2 Чому цікаві Квантові Нейронні Мережі
• 2.3 Квантовий нейрон
• 2.4 Побудова Квантової Нейронної Мережі
• 2.5 Квантові обчислення
• 2.6 Моделі КНС
• 2.7 Квантовий стан та його подання
• 3 . Навчання КНР
• 3.2 Одношаровий та багатошаровий персептрони
• 3.2.1 Одношаровий персептрон. Навчання
• 3.2.2 Багатошаровий персептрон. Навчання багатошарового персептрону
• 3.4 Генетичний алгоритм. Класичне завдання комівояжу
• 4 . Автоматичне керування об'єктами
• 4.1 Об'єкт управління
• 4.2 Робототехніка як напрямок Штучного Інтелекту
• 4.2.1 Загальна блок-схема робота
• 4.2.2 Концептуальна модель
• 4.2 Ефективне керування квантовим спіновим регістром. Криптографія та квантова телепортація
• 5 . Практична частина. Приклади Квантових Нейронних мереж
• 5.1 Перевернутий маятник
• 5.2 Стиснення зображення
• 5.3 Кодування алфавіту
• 6 Інструментарій MATLAB NEURAL NETWORK TOOL. Мережа Кохонена
• Висновок
• Список літератури
• Вступ
• Сьогодні, як і сто років тому, безперечно, що мозок працює більш ефективно і принципово іншим чином, ніж будь-яка обчислювальна машина, створена людиною. Саме цей факт протягом стільки років спонукає та спрямовує роботи вчених усього світу зі створення та дослідження штучних нейронних мереж.
• Штучний Нейронні мережі (ІНС) мають деякі привабливі особливості, як, наприклад, паралельність розподіленої обробки, помилкостійкість і здатність навчатися і узагальнювати отримані знання. Під властивістю узагальнення розуміється здатність ІНС генерувати правильні виходи для вхідних сигналів, які були враховані у процесі навчання (тренування). Ці дві властивості роблять ІНС системою переробки інформації, що вирішує складні багатовимірні завдання, непосильні іншим технікам. Проте ІНС також стикаються з багатьма труднощами, у тому числі відсутність правил для детермінованих оптимальних архітектур, обмежена місткість пам'яті, що займає багато часу на навчання і т. д. .
• Штучні Нейронні мережі увійшли до практики скрізь, де потрібно вирішувати завдання прогнозування, класифікації чи управління. Такий вражаючий успіх визначається кількома причинами:
• 1. Багаті можливості. Нейронні мережі – виключно потужний метод моделювання, що дозволяє відтворювати надзвичайно складні залежності. Упродовж багатьох років лінійне моделювання було основним методом моделювання у більшості областей, оскільки для нього добре розроблені процедури оптимізації. У завданнях, де лінійна апроксимація є незадовільною (а таких досить багато), лінійні моделі працюють погано. Крім того, нейронні мережі справляються з «прокляттям розмірності», яке не дозволяє моделювати лінійні залежності у разі великої кількості змінних
• 2. Простота у використанні. Нейронні мережі навчаються на прикладах. Користувач нейронної мережі підбирає представницькі дані, а потім запускає алгоритм навчання, який автоматично сприймає структуру даних. При цьому від користувача, звичайно, потрібно якийсь набір евристичних знань про те, як слід відбирати та готувати дані, вибирати потрібну архітектуру мережі та інтерпретувати результати, проте рівень знань, необхідний для успішного застосування нейронних мереж, набагато скромніший, ніж, наприклад, під час використання традиційних методів статистики.
• У сфері ІНС, деякі першовідкривачі вводили квантовеобчислення в аналогічне обговорення, таке як квантове нейронне обчислення, поглинена квантова нейронна мережа, квантова асоціативна пам'ять та паралельне навчання. Вони сконструювали фонд для подальшого вивчення квантового обчислення в ІНС. У результаті з'являється область штучних нейронних мереж, заснованих на квантових теоретичних поняттях і методах. Вони називаються Квантові Нейронні Мережі.
• 1. Постановка задачі

1.1 Ціль

Дослідження та аналіз Квантових Нейронних Мереж, їх практичне застосування.

Напрями роботи дослідження

· Виявити переваги квантових нейронних мереж перед класичними мережами.

· Розглянути приклади застосування квантових нейронних мереж у процесах інтелектуального управління.

· Провести моделювання роботи квантового нейрона на класичному комп'ютері.

· Моделювання мережі кластеризації даних у MATLAB.

· Розглянути конкретний приклад із робототехніки (робот-маніпулятор).

1.2 Вихідні дані

· Дев'ятитомник з квантових обчислень та квантового програмування, видання Міланського університету, автор Ульянов С.В.

· Монографія Нільсона, 2006 року.

· Сайт www.qcoptimizer.com.

1.3 Дослідницька складова

Дослідження відноситься до інноваційних технологій розробки квантових нейронних мереж у галузі інтелектуальних систем управління з навчанням. Вирішення перелічених завдань тісно пов'язане з розробкою методів квантового програмування та представляє теоретичний та практичний інтерес для процесів проектування робастного інтелектуального управління в умовах ризику та непередбачених ситуацій управління з урахуванням квантових ефектів при формуванні інформаційного процесу самоорганізації баз знань.

2. Наукова складова

2.1 Архітектура Квантових Нейронних Мереж

Квантова нейронна мережа є новою областю та є комбінацією класичних нейронних мереж та квантових обчислень.

Деяка система може бути названа нейронної, якщо в ній вдається ідентифікувати, принаймні один нейрон. Нейронна система є квантової нейронноїсистемою, якщо вона здатна реалізовувати квантові обчислення.

Існує кілька різних підходів до того, що можна назвати квантовими нейронними мережами. Різні дослідники використовують власні аналогії для встановлення зв'язку між квантовою механікою та штучними нейронними мережами. Деякі основні поняття цих двох областей наведено у наступній таблиці 1:

Таблиця 1. Основні концепції квантової механіки та теорії нейронних мереж

Не слід розглядати пари концепцій, що знаходяться в тому самому рядку таблиці, як аналогії — насправді встановлення такої аналогії і є одним з головних завдань теорії квантових нейронних мереж. На цей час, квантові уявлення були переважно використані реалізації класичних обчислень. Поняття про квантові обчислення було введено в 1982 році Річардом Фейнманом, який досліджував роль квантових ефектів у майбутніх процесорах, елементи яких можуть мати атомні розміри. 1985 року Девід Дойч сформулював концепцію квантових обчислень. Важливо відзначити, що ефективність використання нейронних мереж пов'язана з масивною паралельною розподіленою обробкою інформації та нелінійністю перетворення векторів входів нейронами. З іншого боку, квантові системи мають набагато потужніший квантовий паралелізм, що виражається принципом суперпозиції.

При розробці концепції квантових класичних та нейронних обчислень важливу роль відіграє обрана інтерпретація квантової механіки, серед яких

Копенгагенська інтерпретація;

Фейнманівський формалізм інтегралів з траєкторій;

Евереттовська інтерпретація багатьох світів, і т.д.

Вибір інтерпретації важливий при встановленні аналогій між квантовою механікою та нейрокомп'ютером. Зокрема він важливий для вирішення проблеми співвідношення такої лінійної теорії, якою є квантова механіка з суттєво нелінійною обробкою даних, що визначає потужність нейротехнології.

2.2 Чому цікаві Квантові Нейронні Мережі

Існують дві основні причини інтересу до квантових нейронних мереж. Одна пов'язана з аргументами на користь того, що квантові процеси можуть відігравати важливу роль у роботі мозку. Наприклад, Роджер Пенроуз навів різні докази на користь того, що тільки нова фізика, яка має поєднати квантову механіку із загальною теорією відносності, змогла б описати такі явища, як розуміння та свідомість. Однак його підхід адресований не до власне нейронних мереж, а до внутрішньоклітинних структур, таких як мікротрубочки. Інша причина пов'язана з бурхливим зростанням квантових обчислень, основні ідеї яких цілком могли б бути перенесені на нейрообчислення, що відкрило б для них нові можливості.

Квантові нейронні системи можуть обходити деякі важкі питання, суттєві для квантових обчислень через свою аналоговість, здатність до навчання на обмеженій кількості прикладів.

Що можна очікувати від квантових нейронних мереж? В даний час квантові нейронні мережі мають наступні переваги:

- Експонентна ємність пам'яті;

- найкращі характеристики при меншій кількості прихованих нейронів;

- Швидке навчання;

-усунення катастрофічного забування завдяки відсутності інтерференції образів;

- Вирішення лінійно нероздільних проблем одношаровою мережею;

- Відсутність з'єднань;

- Висока швидкість обробки даних (10 10 bits/s);

- Мініатюрність (10 11 нейронів/мм 3);

- Вища стабільність і надійність;

Ці потенційні переваги квантових нейронних мереж мотивують головним чином їхню розробку.

2. 3 Квантовий нейрон

Синапси здійснюють зв'язок між нейронами та множать вхідний сигнал на число, що характеризує силу зв'язку - вага синапсу. Суматор виконує складання сигналів, що надходять по синаптичних зв'язках від інших нейронів та зовнішніх вхідних сигналів. Перетворювач реалізує функцію одного аргументу, виходу суматора, деяку вихідну величину нейрона. Ця функція називається функцією активації нейрона.

Таким чином, нейрон повністю описується своїми вагами та функцією активації F. Отримавши набір чисел (вектор) як входи, нейрон видає деяке число на виході.

Активаційна функція може бути різного виду. Найбільш широко використовувані варіанти наведені у таблиці (табл. 2).

Таблиця 2: Перелік функцій активації нейронів

Визначення Квантового Нейрону дається так:

Він отримує вхідні сигнали (вихідні дані чи вихідні сигнали інших нейронів КНС) через кілька вхідних каналів. Кожен вхідний сигнал проходить через з'єднання, що має певну інтенсивність (або вага); ця вага відповідає синаптичній активності нейрона. З кожним нейроном пов'язане певне граничне значення. Обчислюється зважена сума входів, з неї віднімається граничне значення і в результаті виходить величина активації нейрона (вона також називається пост-синаптичним потенціалом нейрона - PSP).

Сигнал активації перетворюється за допомогою функції активації (або передавальної функції) і в результаті виходить вихідний сигнал нейрона (рис. 1).

Рис 1: Математична модель нейрона

Математична модель квантового нейрона, де це матриці, що діють на основі, — оператор, який може здійснювати мережу квантових осередків.

Наприклад: Навчальний процес квантового нейрона = - Оператор ідентичності: .

Квантове навчальне правило забезпечене в аналогії з класичним випадком, як, слідуючи: де бажаний вихід. Це навчальне правило приводить квантовий нейрон у бажаний стан, що використовується для навчання. Беручи квадратну для модуля різницю реального та бажаного виходу, ми бачимо, що:

Ціла мережа може бути скомпонована від примітивних елементів, використовуючи стандартні правила архітектури ІНС.

2.4 Побудова Квантової Нейронної Мережі

Це питання вирішується у два етапи: вибір типу (архітектури) КНР, підбір ваг (навчання) КНР.

На першому етапі слід вибрати наступне: які нейрони ми хочемо використати (число входів, передавальні функції); як слід з'єднати їх між собою; що взяти як входи та виходи КНС.

Це завдання на перший погляд здається неосяжним, але, на щастя, нам необов'язково вигадувати КНС «з нуля» — існує кілька десятків різних нейромережевих архітектур, причому ефективність багатьох з них доведена математично. Найбільш популярні та вивчені архітектури – це багатошаровий перцептрон, нейронна мережа із загальною регресією, нейронні мережі Кохонена та інші.

На другому етапі нам слід «навчити» обрану мережу, тобто підібрати такі значення її ваги, щоб вона працювала належним чином. Ненавчена КНС подібна до дитини — її можна навчити будь-чому. У нейронних мережах, що використовуються на практиці, кількість ваг може становити кілька десятків тисяч, тому навчання — справді складний процес. Для багатьох архітектур розроблено спеціальні алгоритми навчання, які дозволяють налаштувати ваги КНР певним чином. Найпопулярніший із цих алгоритмів — метод зворотного поширення помилки (Error Back Propagation), використовуваний, наприклад, для навчання перцептрону.

2.5 Квантові обчислення

Квантові обчислення дають можливість вирішувати проблеми, які не вирішуються на класичних комп'ютерах. Наприклад, алгоритм Шора дає на квантовому комп'ютері поліноміальне рішення факторизації цілого числа на два простих помножувачі, який вважається нерозв'язним на класичному комп'ютері. Крім того, алгоритм Гровера дає значне прискорення під час пошуку даних у невпорядкованій базі.

Досі ми не бачили якісної різниці між використанням звичайних бітів і кубітів, але щось дивне відбувається, якщо навчити атом світлом, якого достатньо лише для того, щоб електрон пройшов половину шляху між рівнями збудження. Оскільки електрони не можуть насправді існувати в просторі між цими рівнями, вони існують на обох рівнях одночасно. Це відомо як «суперпозиція».

Ця суперпозиція дозволяє теоретично обчислити одночасно кілька можливостей, оскільки група кубітів може представляти одночасно кілька чисел. Для обчислень з використанням властивості суперпозиції можна створити набір кубітів, перевести їх у стани суперпозиції і потім здійснити над ними дію.

Коли алгоритм буде завершено, суперпозиція може бути сколапсована, і буде отримано певний результат - тобто всі кубити перейдуть у стани 0 або 1. Можемо вважати, що алгоритм як би діє на всі можливі комбінації певних станів кубитів (тобто. 0 або 1) - трюк, відомий як квантовий паралелізм (табл. 3).

Таблиця 3: Основні поняття квантового обчислення

Побудова моделей квантових нейронних систем (як і створення моделей квантових обчислень) стикається з необхідністю з'ясування того, які обчислення можуть бути охарактеризовані як справді квантові і які джерела ефективності цих обчислень.

Важливе місце посідає з'ясування найефективніших сфер застосування квантових обчислювальних систем.

Фундаментальний ресурс та базове формування квантової інформації - квантовий біт (кубіт). З фізичної точки зору, кубіт представляє ідеальний подвійний стан квантової системи. Приклади таких систем включають фотони (вертикальна та горизонтальна поляризація), електрони та системи, визначені двома рівнями енергії атомів або іонів. З самого початку подвійне стан системи відігравало центральну роль вивчення квантової механіки. Це найпростіша квантова система, і в принципі всі інші квантові системи можуть моделюватися у просторі станів зборів кубітів.

Стан квантового біта визначається вектором у двовимірному комплексному векторному просторі. Тут вектор має дві компоненти і його проекції на базиси векторного простору є комплексними числами. Квантовий біт представляється (в позначеннях Дірака у вигляді кет-вектора) як або у векторному позначенні (бра-вектор). Якщо то. Для цілей квантового обчислення, базисні стану |0> та |1> кодують класичні розрядні значення 0 та 1 відповідно. Однак на відміну від класичних бітів, кубити можуть бути в суперпозиції |0> і |1>, як наприклад, де і комплексні числа, для яких виконано таку умову:. Якщо приймають нульові значення, то визначає класичний, чистий стан. Інакше кажуть, що перебуває у стані суперпозиції двох класичних базисних станів. Геометрично квантовий біт знаходиться в безперервному стані між і, поки не проводяться виміри його стану. Якщо система складається з двох квантових бітів, вона описується як тензорний твір. Наприклад, в позначеннях Дірака двоквантова біт система задається, як. Число можливих станів комбінованої системи зростає експоненційно при додаванні квантового біта.

Це призводить до проблеми оцінки квантової кореляції, яка є між квантовими бітами в складовій системі .

Експоненційне зростання серед станів разом зі здатністю піддати повний простір до перетворень (або унітарна динамічна еволюція системи, або проект вимірювання в підпросторі власного вектора) забезпечує фонд для квантового обчислення. Оскільки унітарні перетворення є оборотними, квантові обчислення (крім вимірювань) усі будуть оборотні, обмежуючи їх унітарними квантовими перетвореннями. Це означає, що кожні квантові осередки (на один або багато кубитів) здійснюють оборотне обчислення. Таким чином, враховуючи вихідний осередок, необхідно однозначно визначити, яким був вхід. На щастя, є класична теорія оборотного обчислення, яке говорить нам, що кожен класичний алгоритм може бути зроблений оборотним з прийнятним верхнім, таким чином, це обмеження квантового обчислення не викладає серйозну проблему. Це дещо, що має бути враховано, пропонуючи специфікацію для квантових воріт, як би там не було.

2.6 Моделі КНС

У світі є кілька дослідницьких інститутів, які ведуть роботи над концепцією квантової нейронної мережі, наприклад, Технічний Університет у Джорджії та Оксфордський університет. Більшість однак утримується від публікації своїх робіт. Ймовірно, це пов'язано з тим, що потенційно реалізація квантової нейронної мережі значно простіша, ніж звичайного квантового комп'ютера, і кожен інститут бажає виграти квантову гонку. Теоретично простіше побудувати квантову нейронну мережу, ніж квантовий комп'ютер з однієї причини. Ця причина – когерентність. Суперпозиція багатьох кубитів знижує опір до шуму в квантовому комп'ютері, а шум може потенційно викликати колапс або декогеренцію суперпозиції, перш ніж буде проведено корисне обчислення. Однак так як квантові нейронні мережі не вимагатимуть дуже довгих періодів або дуже багатьох суперпозицій на нейрон, вони будуть менш схильні до дії шуму, продовжуючи здійснювати обчислення, подібні до тих, що проводяться звичайною нейронною мережею, але в багато разів швидше (фактично експоненційно).

Квантові нейронні мережі могли б реалізовувати свою експоненційну перевагу у швидкості, використовуючи суперпозицію величин входів та виходів нейрона. Але іншою перевагою, яка могла б бути отримана, полягає в тому, що оскільки нейрони можуть обробляти суперпозицію сигналів, то нейронна мережа могла б насправді мати меншу кількість нейронів у прихованому шарі при навчанні апроксимації даної функції. Це дозволило б будувати прості мережі з меншою кількістю нейронів і, отже, поліпшувати стабільність і надійність їх роботи (тобто. для мережі скоротилася кількість можливостей втратити когерентність). Якщо все це взяти до уваги, то чи не могла б квантова нейронна мережа бути обчислювально сильнішою, ніж звичайна мережа? В даний час відповідь здається негативною, тому що всі квантові моделі використовують кінцеве число кубітів для проведення своїх обчислень, і це є обмеженням.

2.7 Квантовий стан та його подання

квантовий нейрон персептрон робототехніка

Квантовий стан і оператор квантового обчислення обидва важливі для розуміння паралельності та пластичності інформації обробки систем.

У квантовому логічному кругообігу фундаментальні квантові стани - однобітове обертання стану Uі, показане на Мал. 2 і двобітовий керований NOT стану, показане на Рис. 3. Перші стани обертають вхідний квантовий стан до цього в. Останні стани виконують операцію XOR.

Рис. 2. Однобітовий стан обертання

Рис. 3. Двобітове управління NOT стану

Виділяємо наступну комплекс-оцінку подання Ур. (3) обмежувально відповідну кубічному стану в Ур. (1).

(3)

Рівняння (3) дає можливість виразити такі операції: стан обертання та двобітовий керований NOT стану.

а) Операція стану обертання

Стан обертання - фаза переміщення станів, яка перетворює фазу на кубічний стан. Оскільки кубічний стан представлений Ур. (3), стан розуміється як таке ставлення:

(4)

b) Операція двобітовий керований NOT

Ця операція визначається вхідним параметром г наступним чином:

(5)

де г = 1 відповідає обертанню анулювання, і г = 0 - Неврота. У разі р=0, фаза ймовірності амплітуди квантового стану повністю змінена.

Однак ймовірність, що спостерігається, є інваріантною так, щоб ми розцінили цей випадок як неврання.

3. Навчання КНР

Квантові нейронні мережі ефективні під час виконання складних функцій у багатьох областей. Вони включають розпізнавання образів, класифікацію, бачення, системи управління, та передбачення.

Здатність до навчання - адаптації до умов і можливостей в зовнішньому середовищі, що змінюється, - така важлива особливість нейронних мереж, що тепер приєднана в якості окремого пункту до так званого «тесту Тьюринга», що є операційним визначенням поняття інтелект.

Емпіричний тест, ідея якого була запропонована Аланом Т'юрінгом у статті «Обчислювальні машини та розум» (англ. Computing Machinery and Intelligence), опублікованій у 1950 році у філософському журналі «Mind». Метою даного тесту є визначення можливості штучного мислення, близького до людського.

Стандартна інтерпретація цього тесту звучить так: «Людина взаємодіє з одним комп'ютером та однією людиною. На підставі відповіді на запитання він повинен визначити, з ким він розмовляє: з людиною чи комп'ютерною програмою. Завдання комп'ютерної програми - ввести людину в оману, змусивши зробити невірний вибір. Усі учасники тесту не бачать один одного.

Взагалі, навчання - відносно постійна зміна в поведінці, викликана досвідом. Навчання в КНР — більш прямий процес, і може захопити навчання кожного кроку у відмінних відносинах ефективності причини. Знання нейронної мережі, збережені у синапсах, є вагою зв'язків між нейронами. Ці ваги між двома шарами нейрона можуть бути представлені як матриці. Якщо в нейронній мережі з належним алгоритмом навчання визначено аналіз та попередня обробка даних, то можна зробити розумне передбачення.

Визначення процесу навчання має на увазі наступну послідовність подій:

· Нейронна мережа стимулюється довкіллям.

· Нейронна мережа зазнає змін у своїх вільних параметрах в результаті збудження.

· Мережа відповідає новим способом до навколишнього середовища через зміни, що відбулися у її внутрішній структурі.

Є численні доступні алгоритми і можна було б очікувати, що є унікальний алгоритм для того, щоб проектувати модель КНС. Відмінність між алгоритмами полягають у формулюванні, здатному змінити ваги нейронів, і щодо нейронів до їх довкілля.

Усі методи навчання можуть бути класифіковані у дві основні категорії: контрольовані та неконтрольовані.

У Таблиці 4 представлені різні алгоритми навчання та пов'язані з ними архітектури мереж (список не є вичерпним). В останній колонці перераховані завдання, для яких може бути застосований кожен алгоритм. Кожен алгоритм навчання орієнтований на мережу певної архітектури та призначений для обмеженого класу завдань. Крім розглянутих, слід згадати деякі інші алгоритми: Adaline та Madaline, лінійний дискримінантний аналіз, проекції Саммона, аналіз головних компонентів.

Таблиця 4: Відомі алгоритми навчання:

Навчити мережу — значить, повідомити її, чого ми домагаємося від неї. Цей процес дуже схожий на навчання дитини алфавіту. Показавши дитині зображення букви «А», ми запитуємо її: «Яка це буква?» Якщо відповідь невірна, ми повідомляємо дитині ту відповідь, яку ми хотіли б від неї отримати: «Це буква А». Дитина запам'ятовує цей приклад разом із правильною відповіддю, тобто у пам'яті відбуваються деякі зміни у потрібному напрямі. Ми будемо повторювати процес пред'явлення літер знову і знову до того часу, коли всі 33 літери будуть твердо запам'ятані. Такий процес називають «навчання з учителем» (рис. 4).

Рис. 4. Процес «навчання з учителем».

Під час навчання мережі ми діємо абсолютно аналогічно. Ми маємо деяку базу даних, що містить приклади (набір рукописних зображень букв). Пред'являючи зображення літери «А» на вхід КНС, ми отримуємо від неї певну відповідь, не обов'язково вірну. Нам відома й вірна (бажана) відповідь — у цьому випадку нам хотілося б, щоб на виході КНС з міткою «А» рівень сигналу був максимальним. Зазвичай в якості бажаного виходу завдання класифікації беруть набір (1, 0, 0, …), де 1 стоїть на виході з міткою «А», а 0 — на всіх інших виходах. Обчислюючи різницю між бажаною відповіддю та реальною відповіддю мережі, ми отримуємо 33 числа – вектор помилки. Алгоритм зворотного поширення помилки - це набір формул, який дозволяє по вектору помилки обчислити необхідні поправки для ваг нейронної мережі. Одну й ту саму літеру (і навіть різні зображення однієї й тієї ж літери) ми можемо пред'являти нейронної мережі багато разів. У цьому сенсі навчання швидше нагадує повторення вправ у спорті – тренування.

Після багаторазового пред'явлення прикладів ваги КНР стабілізуються, причому КНР дає правильні відповіді на всі (або майже всі) приклади з бази даних. У такому разі кажуть, що «мережа вивчила всі приклади», «нейронна мережа навчена», або «мережа натренована». У програмних реалізаціях можна побачити, що у процесі навчання величина помилки (сума квадратів помилок з усіх виходів) поступово зменшується. Коли величина помилки досягає нуля або прийнятного малого рівня, тренування зупиняють, а отриману мережу вважають натренованою та готовою до застосування на нових даних.

Навчання мережірозбивається на такі етапи:

Ініціалізація мережі: ваговим коефіцієнтам та зміщенням мережі присвоюються малі випадкові значення з діапазонів та відповідно.

Визначення елемента навчальної вибірки: (<текущий вход>, <желаемый выход>). Поточні входи (x0, x1… xN-1), повинні відрізнятися всім елементів навчальної вибірки. При використанні багатошарового персептрона як класифікатор бажаний вихідний сигнал (d0, d1 ... dN-1) складається з нулів за винятком одного одиничного елемента, що відповідає класу, до якого належить поточний вхідний сигнал.

Обчислення поточного вихідного сигналу: поточний вихідний сигнал визначається відповідно до традиційної схеми функціонування багатошарової нейронної мережі.

Налаштування синаптичних ваг: для налаштування вагових коефіцієнтів використовується рекурсивний алгоритм, який спочатку застосовується до вихідних нейронів мережі, а потім проходить мережу у зворотному напрямку до першого шару. Синаптичні ваги налаштовуються відповідно до формули:

,

де w ij - вага від нейрона i або від елемента вхідного сигналу i до нейрона j в момент часу t, x i "- Вихід нейрона i або i-ий елемент вхідного сигналу, r - крок навчання, g j - значення помилки для нейрона j. Якщо нейрон з номером j належить останньому шару, то

,

де dj - бажаний вихід нейрона j, yj - поточний вихід нейрона j. Якщо нейрон з номером j належить одному з шарів з першого до передостаннього, то

,

де k пробігає всі нейрони шару з номером на одиницю більше, ніж у того, якому належить нейрон j. Зовнішні усунення нейронів b налаштовуються аналогічним чином.

Розглянута модель може бути використана для розпізнавання образів, класифікації, прогнозування. Були спроби побудови експертних систем на основі багатошарових персептронів із навчанням за методом зворотного розповсюдження. Важливо відзначити, що вся інформація, яку КНР має про завдання, міститься в наборі прикладів. Тому якість навчання КНС безпосередньо залежить кількості прикладів у навчальної вибірці, і навіть від цього, наскільки повно ці приклади описують це завдання. Ще раз навчання нейронних мереж — складний і наукомісткий процес. Алгоритми навчання КНС мають різні параметри та налаштування, для управління якими потрібне розуміння їхнього впливу.

3.1 Застосування Квантових Нейронних мереж. Сенс алгоритму навчання з учителем

Клас завдань, які можна вирішити за допомогою КНР, визначається тим, як мережа працює і тим, як вона навчається. Працюючи КНС приймає значення вхідних змінних і видає значення вихідних змінних. Таким чином, мережу можна застосовувати в ситуації, коли Ви маєте певну відому інформацію, і Ви хочете з неї отримати деяку поки не відому інформацію (Patterson, 1996; Fausett, 1994). Ось деякі приклади таких завдань:

· Розпізнавання образів та класифікація

Як образи можуть виступати різні за своєю природою об'єкти: символи тексту, зображення, зразки звуків тощо. буд. Під час навчання мережі пропонуються різні зразки образів із зазначенням, якого класу вони ставляться. Зразок, як правило, представляється як вектор значень ознак. У цьому сукупність всіх ознак має однозначно визначати клас, якого належить зразок. Якщо ознак недостатньо, мережа може співвіднести той самий приклад з кількома класами, що неправильно. Після закінчення навчання мережі їй можна пред'являти невідомі раніше образи та отримувати відповідь про належність до певного класу.

· Прийняття рішень та управління

Це завдання близьке до завдання класифікації. Класифікації підлягають ситуації, характеристики яких надходять на вхід КНР. На виході мережі при цьому має з'явитися ознака рішення, яке вона ухвалила. При цьому як вхідні сигнали використовуються різні критерії опису стану керованої системи.

· Кластеризація

Під кластеризацією розуміється розбиття безлічі вхідних сигналів на класи, у тому, що кількість, ні ознаки класів заздалегідь невідомі. Після навчання така мережа здатна визначати, якого класу належить вхідний сигнал.

· Прогнозування

Після навчання мережа здатна передбачити майбутнє значення певної послідовності на основі кількох попередніх значень та/або якихось існуючих на даний момент факторів. Слід зазначити, що прогнозування можливе лише тоді, коли попередні зміни справді певною мірою визначають майбутні.

· Апроксимація

Доведено узагальнену апроксимаційну теорему: за допомогою лінійних операцій та каскадного з'єднання можна з довільного нелінійного елемента отримати пристрій, що обчислює будь-яку безперервну функцію з певною наперед заданою точністю.

· Стиснення даних та Асоціативна пам'ять

Здатність нейромереж до виявлення взаємозв'язків між різними параметрами дає можливість виразити дані великої розмірності компактніше, якщо дані тісно взаємопов'язані один з одним. Зворотний процес - відновлення вихідного набору даних із частини інформації - називається автоасоціативною пам'яттю. Асоціативна пам'ять дозволяє також відновлювати вихідний сигнал/образ із зашумлених/пошкоджених вхідних даних. Розв'язання задачі гетероасоціативної пам'яті дозволяє реалізувати пам'ять, що адресується за вмістом.

Етапи розв'язання задач:

- Збір даних для навчання;

- Підготовка та нормалізація даних;

- Вибір топології мережі;

- Експериментальний підбір характеристик мережі;

власне навчання;

- Перевірка адекватності навчання;

- Коригування параметрів, остаточне навчання;

- Вербалізація мережі з метою подальшого використання.

Отже, перейдемо до другої важливої ​​умови застосування Квантових Нейронних мереж: ми повинні знати, що між відомими вхідними значеннями та невідомими виходами є зв'язок. Цей зв'язок може бути спотворений шумом.

Як правило, КНС використовується тоді, коли невідомий точний вид зв'язків між входами і виходами — якби він був відомий, зв'язок можна було б моделювати безпосередньо. Інша істотна особливість КНС полягає в тому, що залежність між входом та виходом перебуває у процесі навчання мережі. Для навчання КНС застосовуються алгоритми двох типів (різні типи мереж використовують різні типи навчання): кероване («навчання з учителем») і кероване («без учителя»). Найчастіше застосовується навчання з учителем.

Для керованого навчання мережі користувач повинен підготувати набір навчальних даних. Ці дані є прикладами вхідних даних і відповідних їм виходів. Мережа вчиться встановлювати зв'язок між першими та другим. Зазвичай навчальні дані беруться із історичних відомостей. Також це можуть бути значення цін акцій та індексу FTSE, відомості про минулих позичальників — їхні анкетні дані та те, чи вони успішно виконали свої зобов'язання, приклади положень робота та його правильну реакцію.

Потім КНС навчається за допомогою того чи іншого алгоритму керованого навчання (найбільш відомим з них є метод зворотного розповсюдження, запропонований у роботі Rumelhart et al., 1986), при якому наявні дані використовуються для коригування ваги та порогових значень мережі таким чином, щоб мінімізувати помилку прогнозу на навчальній множині. Якщо мережа навчена добре, вона набуває здатності моделювати (невідому) функцію, що зв'язує значення вхідних та вихідних змінних, і згодом таку мережу можна використовувати для прогнозування ситуації, коли вихідні значення невідомі.

3.2 Одношаровий та багатошаровий персептрони

3.2.1 Одношаровий персептрон. Навчання

Історично першою штучною нейронною мережею, здатною до перцепції (сприйняття) та формування реакції на сприйнятий стимул, з'явився PerceptronРозенблатта (F. Rosenblatt, 1957). Термін « Perceptron» походить від латинського perceptioщо означає сприйняття, пізнання. Російським аналогом цього терміна є "Персептрон". Його автором персептрон розглядався не як конкретний технічний обчислювальний пристрій, бо як модель роботи мозку. Сучасні роботи зі штучних нейронних мереж рідко переслідують таку мету.

Найпростіший класичний персептрон містить елементи трьох типів (рис. 5).

Рис. 5. Елементарний персептрон Розенблатта

Одношаровий персептрон характеризується матрицею синаптичних зв'язків | | W | | від S-до A-елементів. Елемент матриці відповідає зв'язку, що веде від i-го S-елемента (рядки) до j-го A-елемента (стовпці). Ця матриця дуже нагадує матриці абсолютних частот та інформативностей, що формуються в семантичній інформаційній моделі, заснованій на системній теорії інформації.

З точки зору сучасної нейроінформатики одношаровий персептрон представляє в основному суто історичний інтерес, водночас на його прикладі можуть бути вивчені основні поняття та прості алгоритми навчання нейронних мереж.

Навчання класичної нейронної мережі полягає у підстроюванні вагових коефіцієнтів кожного нейрона.

Ф. Розенблаттом запропоновано ітераційний алгоритм навчання з 4-х кроків, який полягає у підстроюванні матриці ваг, що послідовно зменшує помилку у вихідних векторах:

Крок 1: Початкові значення ваги всіх нейронів вважаються випадковими.

Крок 2: Мережі пред'являється вхідний образ x a в результаті формується вихідний образ.

Крок 3: Обчислюється вектор помилки, яку робить мережа на виході. Вектори вагових коефіцієнтів коригуються таким чином, що величина коригування пропорційна помилці на виході і дорівнює нулю, якщо помилка дорівнює нулю:

ü модифікуються лише компоненти матриці ваг, що відповідають ненульовим значенням входів;

ü знак збільшення ваги відповідає знаку помилки, т. Е. Позитивна помилка (значення виходу менше необхідного) проводить до посилення зв'язку;

ü навчання кожного нейрона відбувається незалежно від навчання інших нейронів, що відповідає важливому з біологічної точки зору принципу локальності навчання.

Крок 4: Кроки 1-3 повторюються всім навчальних векторів. Один цикл послідовного пред'явлення усієї вибірки називається епохою. Навчання завершується після декількох епох, якщо виконується, принаймні, одна з умов:

коли ітерації зійдуться, тобто вектор ваг перестає змінюватися;

коли повна підсумована по всіх векторах абсолютна помилка стане менше деякого малого значення.

3.2.2 Багатошаровий персептрон. Навчання багатошарового персептрону

Ймовірно, ця архітектура мережі використовується зараз найчастіше. Вона була запропонована в роботі Rumelhart, McClelland (1986) і детально обговорюється майже у всіх підручниках з нейронних мереж (див., наприклад, Bishop, 1995). Кожен елемент мережі будує виважену суму своїх входів з поправкою у вигляді доданку і потім пропускає цю величину активації через передатну функцію, і таким чином виходить вихідне значення цього елемента. Елементи організовані в пошарову топологію із прямою передачею сигналу. Таку мережу легко можна інтерпретувати як модель вхід-вихід, в якій ваги та порогові значення (зсуви) є вільними параметрами моделі. Така мережа може моделювати функцію практично будь-якого ступеня складності, причому кількість шарів та кількість елементів у кожному шарі визначають складність функції. Визначення числа проміжних шарів та числа елементів у них є важливим питанням при конструюванні багатошарового персептрона (Haykin, 1994; Bishop, 1995).

Кількість вхідних та вихідних елементів визначається умовами завдання. Сумніви можуть виникнути, які вхідні значення використовувати, а які ні. Припускатимемо, що вхідні змінні обрані інтуїтивно і всі вони є значущими. Питання ж про те, скільки використовувати проміжних шарів та елементів у них, поки що зовсім неясно. Як початкове наближення можна взяти один проміжний шар, а число елементів у ньому покласти рівним напівсумі числа вхідних і вихідних елементів. Знову ж таки, пізніше ми обговоримо це питання докладніше.

Багатошаровий персептрон - це навчальна система, що розпізнає, реалізує коригуване в процесі навчання лінійне вирішальне правило в просторі вторинних ознак, які зазвичай є фіксованими випадково обраними лінійними пороговими функціями від первинних ознак.

При навчанні на вхід персептрона почергово подаються сигнали з навчальної вибірки, і навіть вказівки про клас, якого слід віднести цей сигнал. Навчання персептрона полягає в корекції терезів при кожній помилці розпізнавання, тобто при кожному випадку розбіжності рішення, що видається персептроном, і справжнього класу. Якщо персептрон помилково відніс сигнал, до деякого класу, то ваги функції справжнього класу збільшуються, а помилкового зменшуються. У разі правильного вирішення всі ваги залишаються незмінними (рис. 6).

Рис. 6. Двошаровий персептрон

Приклад: Розглянемо персептрон, тобто систему з n вхідними каналами та вихідним каналом y. Вихід класичного персептрона - це, where є функцією активації персептрона і це ваги налаштування під час навчального процесу. Алгоритм навчання персептрона працює в такий спосіб.

1. Ваги ініціалізуються невеликими кількостями.

2. Зразковий вектор представляє персептрон та вихід y, отриманий відповідно до правила

3. Ваги оновлюються відповідно до правила, де t є дискретним часом, а d – бажаний вихід, зроблений для навчання, і є кроком.

Зауваження. Навряд чи можна побудувати точний аналог нелінійної функції активації F, як і сигмовидної та інші функції загального користування в нейронних мережах, можливо для квантового випадку.

3.3 Алгоритм зворотного розповсюдження "Back Propagation"

У середині 1980-х кількома дослідниками незалежно один від одного було запропоновано ефективний алгоритм навчання багатошарових персептронів, що базується на обчисленні градієнта функції помилки. Алгоритм було названо «зворотним поширенням помилки».

Алгоритм зворотного поширення - це ітеративний градієнтний алгоритм навчання, який використовується з метою мінімізації середньоквадратичного відхилення поточного виходу та бажаного виходу багатошарових нейронних мереж.

У нейропарадигмі "back propagation" найчастіше використовуються сигмоїдальні передавальні функції, наприклад

Сигмоїдальні функції є монотонно зростаючими і мають відмінні від нуля похідні по всій області визначення. Ці характеристики забезпечують правильне функціонування та навчання мережі.

Функціонування багатошарової мережі виконується відповідно до формул:

де s – вихід суматора, w – вага зв'язку, y – вихід нейрона, b – зміщення, i – номер нейрона, N – число нейронів у шарі, m – номер шару, L – число шарів, f – функція активації.

Метод зворотного розповсюдження- Спосіб швидкого розрахунку градієнта функції помилки.

Розрахунок проводиться від вихідного шару до вхідного за рекурентними формулами і не вимагає перерахунку вихідних значень нейронів.

Зворотне поширення помилки дозволяє багато разів скоротити обчислювальні витрати на розрахунок градієнта в порівнянні з розрахунком за визначенням градієнта. Знаючи градієнт, можна застосувати безліч методів теорії оптимізації, які використовують першу похідну.

В алгоритмі зворотного розповсюдження обчислюється вектор градієнта помилок. Цей вектор вказує напрямок найкоротшого спуску по поверхні з цієї точки, тому якщо ми "трохи" просунемося по ньому, помилка зменшиться. Послідовність таких кроків (сповільнюється при наближенні до дна) зрештою призведе до мінімуму тієї чи іншої типу. Певну труднощі тут є питання, яку потрібно брати довжину кроків.

Звичайно, при такому навчанні нейронної мережі немає впевненості, що вона навчилася якнайкраще, оскільки завжди існує можливість попадання алгоритму в локальний мінімум (рис. 7.). Для цього використовуються спеціальні прийоми, що дозволяють вибити знайдене рішення з локального екстремуму. Якщо після кількох таких дій нейронна мережа сходиться до того ж рішенню, то можна зробити висновок про те, що знайдене рішення, швидше за все, оптимальне.

Рис. 7. Метод градієнтного спуску при мінімізації помилки мережі

3.4 Генетичний алгоритм. Класичне завдання комівояжу

Генетичний алгоритм (ГА) здатний здійснювати оптимальне настроювання КНС при розмірності пошукового простору достатньої для вирішення більшості практичних завдань. При цьому спектр додатків, що розглядаються, набагато перевершує можливості алгоритму зворотного поширення помилки.

Обробка інформації генетичним алгоритмом використовує два основних механізми відбору корисних ознак, запозичених із сучасних уявлень про природний відбір: мутації в окремому ланцюжку та схрещування (кросинговер) між двома ланцюжками. Розглянемо ці механізми докладніше (табл. 5).

Таблиця 5: Мутації та схрещування

На малюнку представлені послідовні етапи обміну інформацією між двома ланцюжками при схрещуванні. Отримані нові ланцюжка (або одна з них) можуть бути в подальшому включені в популяцію, якщо набір ознак, що задається ними, дає краще значення цільової функції. В іншому випадку вони будуть відсіяні, а в популяції залишаться їхні батьки. Мутація в генетичному ланцюжку носить точковий характер: у певній випадковій точці ланцюжка один із кодів замінюється іншим (нуль - одиницею, а одиниця - нулем) | "www..

З точки зору штучних систем обробки інформації генетичний пошук є специфічним методом знаходження рішення задачі оптимізації. При цьому такий ітераційний пошук є таким, що адаптується до особливостей цільової функції: ланцюжки, що народжуються в процесі схрещування тестують все більш широкі області простору ознак і переважно розташовуються в області оптимуму. Відносно рідкісні мутації перешкоджають виродженню генофонду, що рівнозначно рідкісному, але не припиняється пошуку оптимуму в інших областях ознакового простору.

Останні десять років розроблено безліч способів контрольованого навчання КНС з допомогою ГА. Отримані результати свідчать про великі можливості такого симбіозу. Спільне використання КНС та ГА алгоритмів має й ідеологічну перевагу тому, що вони належать до методів еволюційного моделювання та розвиваються в рамках однієї парадигми запозичення технікою природних методів та механізмів як найбільш оптимальних.

Щоб змоделювати еволюційний процес, спочатку згенеруємо випадкову популяцію — кілька індивідуумів з випадковим набором хромосом (числових векторів). Генетичний алгоритм імітує еволюцію цієї популяції як циклічний процес схрещування індивідуумів та зміни поколінь (рис. 8).

Рис. 8. Алгоритм обчислень Розглянемо переваги та недоліки стандартних та генетичних методів на прикладі класичної задачі комівояжера (TSP - travelling salesman problem). Суть завдання полягає у тому, щоб знайти найкоротший замкнутий шлях обходу кількох міст, заданих своїми координатами. Виявляється, що вже для 30 міст пошук оптимального шляху є складним завданням, що спонукало розвиток різних нових методів (у тому числі нейромереж та генетичних алгоритмів).

Міністерство освіти і науки Російської Федерації Державна освітня установа Московської області Міжнародний університет природи, суспільства і людини «Дубна» Магістерська робота Тема Квантові нейронні мережі в процесах навчання та управління Студента Афанасьєва Ольга Олександрівна Анотація Дана робота присвячена аналізу квантових нейронних мереж.

Магістерська робота, російська

Магістерська робота