.RU

О динамической интерпретации задачи обучения нейронных сетей



УДК 004.896(06) Интеллектуальные системы и технологии


С.А. БУТЕНКОВ, С.Х.С. АЛЬ-ДОУЯНИ

Таганрогский государственный радиотехнический университет


О динамической интерпретации задачи
обучения нейронных сетей


В работе рассматривается задача построения алгоритмов обучения нейронных сетей с точки зрения теории управления. В отличие от классических оптимизационных подходов, связанных с решением задач статической минимизации суммарной невязки, в настоящей работе предлагается рассматривать процесс обучения как динамический процесс изменения состояния весов сети. С этой точки зрения процесс обучения сводится к аппроксимации некоторой поверхности в пространстве выходов сети, являющейся аттрактором для обучаемой системы. Предложенный подход развивается для сетей с линейными нейронами и позволяет управлять качеством процесса обучения с использованием методов теории управления.


Традиционно задача выбора структуры и обучения нейронной сети рассматривается как задача статической оптимизации выхода сети на множестве тестовых данных [1]. Для решения задачи обучения предлагается использовать обратное распространение ошибок и классические оптимизационные алгоритмы (чаще всего, градиентные [1]). Такой подход является строгим с точки зрения достижения конечной цели обучения, но он не позволяет направленно влиять на ход процесса обучения, изучать сходимость процесса обучения для заданной архитектуры и, наконец, гарантировать сходимость процесса обучения.

Между тем, один из простейших методов обучения (Видроу-Хоффа по [1]) основан на управлении весами сети по норме ошибки выхода, как это принято в теории управления [2]. Однако, дальнейшего развития этот подход не получил [1], в связи с тем, что он также не гарантирует сходимости процесса обучения.

В работе [3] был предложен подход к оцениванию состояния и управлению многомерными линейными системами на основе теории волновых возмущений А.А. Волгина. Полученные результаты позволяют построить фильтр, обеспечивающий инвариантность к заданным типам возмущений, действующих на линейную многомерную систему, и сформировать вектор управлений, обеспечивающих асимптотическую устойчивость процессов изменения весов. В настоящей работе предлагается управлять динамикой процесса изменения весов линейного объекта

, (1)

где вектор состояния зависит от вектора обучающих значений . Задачей является конструирование вектора управлений , обеспечивающего асимптотическую устойчивость (1) на множестве обучающих векторов . Согласно [2] вектор состояния модели расширяется за счет введения в него моделей возмущений [3]. Таким образом, задача параметрической оптимизации вектора по суммарной невязке [1] сводится к задаче динамической оптимизации, что позволяет управлять также устойчивостью и показателями процесса обучения.

Применение метода модального управления для цифровых систем [2] позволяет обеспечить заданное расположение полюсов расширенной модели

(2)

где - вектор выходов сети, - матрица включения моделей возмущений в сети, - матрица выходов сети. Методы формирования моделей возмущений подробно описаны в ряде работ и запатентованы в [3].

Экспериментальное исследование подтвердило работоспособность предложенного подхода для многослойных сетей с линейными функциями возбуждения.

В качестве дальнейшего развития предложенного подхода к построению алгоритмов обучения можно использовать полученные в [4] результаты по конструированию синергетических (в смысле Г. Хакена) методов управления процессами в сложных дискретных динамических системах, что позволит упарвлять обучением сетей на основе нелинейных функций возбуждения.


Список литературы


  1. Осовский С.”Нейронные сети для обработки информации”, М.: Финансы и статистика, 2002.

  2. Изерман Р. “Цифровые системы управления”. М.: Мир, 1984.

  3. Гайдук А.Р., Бутенков С.А., Долгопятов Б.Г. “Регуляризованный фильтр” А.С. СССР 124247, Бюл. "Открытия, изобретения, промышленные образцы, товарные знаки" №21, 1992

  4. Бутенков С.А., Колесников А.А., Семерий О.С. ”Синергетические методы в классификации состояния экологических систем”. “Известия ТРТУ”, №2, 2001, с. 52-56.




ISBN 5-7262-0555-3. НАУЧНАЯ СЕССИЯ МИФИ-2005. Том 3

mndett-medicinali-tekserp-arau-tkzletn-ziyandi-ndrstk-faktorlardi-kspterd-tzbesn-mndett-medicinali-tekserp-araudi-tkzu-aidalarin-bektu-turali.html
mne-chasto-snitsya-otel-delfin-stranica-15.html
mne-chasto-snitsya-otel-delfin-stranica-24.html
mne-dostavlyaet-bolshoe-udovolstvie.html
mne-moya-sudba-nebezrazlichna-rossijskij-centr-obucheniya-izbiratelnim-tehnologiyam-pri-centralnoj-izbiratelnoj.html
mne-ne-prishlos-menyat-professii-v-poiskah-dela-kotoroe-okazalos-bi-bolshe-po-dushe-vsya-moya-zhizn-svyazana-s-sovetskim-voenno-morskim-flotom-yasdelal-vibor-od-stranica-19.html
  • notebook.bystrickaya.ru/internet-resursi-pervij-kanal-01-10-2004-vremya-21-00-00-novosti-18-00-00-15-00-00-kokorekina-olga.html
  • letter.bystrickaya.ru/obzor-respublikanskih-sredstv-massovoj-informacii-za-period-s-24-02-2012-po-01-03-2012-goda-gazeta-nomer-odin.html
  • ekzamen.bystrickaya.ru/semejnie-cennosti-i-orientacii-rossijskoj-molodezhi-v-usloviyah-demograficheskogo-krizisa-faktori-vliyaniya-i-tendencii-razvitiya.html
  • paragraph.bystrickaya.ru/lekcionnij-kurs-mnogourovnevoe-uchebnoe-posobie-3-e-izd-dop-rostov-nd-feniks-2001-544-s.html
  • otsenki.bystrickaya.ru/risunok-16-algoritm-formirovaniya-programm-upravleniya-riskom-orenburgskaya-gosudarstvennaya-medicinskaya-akademiya.html
  • klass.bystrickaya.ru/4-put-iskanij-andreya-bolkonskogo-urok-intervyu-sistema-urokov-po-izucheniyu-zhizni-i-tvorchestva-lva-nikolaevicha.html
  • literature.bystrickaya.ru/doklad-v-i-dashicheva-na-uchenom-sovete-imepi-ran-09-02-2005-g.html
  • composition.bystrickaya.ru/peterburgskij-dialog-vernulsya-na-rodinu-pervij-kanal-novosti-01-10-2008-pankratova-yuliya-12-00-9.html
  • education.bystrickaya.ru/-operatori-bankovskih-uslug-gotovyatsya-perejti-na-obsluzhivanie-edinih-kvitancij-po-uslugam-zhkh.html
  • prepodavatel.bystrickaya.ru/tehnicheskaya-ekspluataciya-avtotransportnih-sredstv.html
  • essay.bystrickaya.ru/dermoni-prolog.html
  • pisat.bystrickaya.ru/tema-1-vvedenie-v-biomehaniku-uchebno-metodicheskij-kompleks-disciplini-bijsk-bpgu-imeni-v-m-shukshina.html
  • lecture.bystrickaya.ru/72-logicheskaya-soglasovannost-gruppa-bazovih-prostranstvennih-dannih-territorialnie-edinici-lesoustrojstva.html
  • control.bystrickaya.ru/chetvertaya-lekciya-1-lekciya-pervaya.html
  • lesson.bystrickaya.ru/sravnenie-kapitalisticheskogo-i-krestyanskogo-zemledeliya-s-g-kara-murza.html
  • predmet.bystrickaya.ru/scenarijler-zhinai-sbornik-scenariev-kkshetau-2015-ozh-821-512-122-93-kbzh-84-5-az-e-74.html
  • portfolio.bystrickaya.ru/organizaciya-planirovaniya-i-realizacii-proekta.html
  • credit.bystrickaya.ru/pnn-masati-men-mdetter-zhne-ou-orni-pnn-masati.html
  • exchangerate.bystrickaya.ru/business-finance.html
  • lektsiya.bystrickaya.ru/programma-konferencii-plenarnoe-zasedanie-torzhestvennoe-otkritie-konferencii-vistupleniya.html
  • kolledzh.bystrickaya.ru/arhitekturnie-i-landshaftnie-dostoprimechatelnosti-tashkenta.html
  • testyi.bystrickaya.ru/4semanticheskaya-teoriya-perevoda-1-ponyatie-perevod.html
  • books.bystrickaya.ru/chistaya-voda.html
  • abstract.bystrickaya.ru/2-administrativnie-pravootnosheniya-osnovnie-spornie-voprosi-s-registriruyushimi-organami-preim-yusticii.html
  • write.bystrickaya.ru/glava-11-kniga-snabzhena-unikalnim-imennim-ukazatelem-k-iiiitomam-istorii-russkogo-naroda-v-xx-veke.html
  • studies.bystrickaya.ru/civilizacii-dokolumbovoj-ameriki.html
  • ucheba.bystrickaya.ru/prikaz-minfina-rossii-ot-30-12-2009-150n-ob-utverzhdenii-ukazanij-o-poryadke-primeneniya-byudzhetnoj-klassifikacii-stranica-11.html
  • tetrad.bystrickaya.ru/uchebno-metodicheskoe-posobie-po-discipline-tehnicheskaya-ekspluataciya-avtotransporta-dlya-kursantov-ochnoj-formi-obucheniya-i-slushatelej-fzo-po-specialnosti-030505-65.html
  • essay.bystrickaya.ru/bioritmologiya-i-urinoterapiya-celitelnie-sili-tom-3-malahov-stranica-9.html
  • otsenki.bystrickaya.ru/referat-po-matematike-na-temu-sofizmi-i-paradoksi-v-matematike.html
  • klass.bystrickaya.ru/48-pouchenie-v-nedelyu-23-yu-po-pyatidesyatnice-i-prosil-ego-ves-parod-gadarinskoj-okrestnosti-udalitsya-ot-nih-chelovek-zhe-iz-kotorogo-vishli-besi-prosil-ego-chtobi-bit-s-nim-lk-8-3738.html
  • tests.bystrickaya.ru/kurs-lekcij-moskva-2007-bbk-32-88-32-845-7-b-64.html
  • school.bystrickaya.ru/amir-timur-tamerlan-chast-2.html
  • holiday.bystrickaya.ru/o-kostyume-i-ne-tolko-demidova-a-s-d-30-begushaya-stroka-pamyati-avtobiograficheskaya-proza.html
  • zanyatie.bystrickaya.ru/razdel-4-opredelenie-sposobov-fiksacii-dinamiki-obrazovatelnaya-programma-utverzhdeno-soglasovano-na-pedsovete-.html
  • © bystrickaya.ru
    Мобильный рефератник - для мобильных людей.