🗊Презентация Искусственные нейронные сети. Лекция 15-16

Искусственные нейронные сети Понятие искусственной нейронной сети. Структура и функции моделей нейрона. Решение задачи разделения двух классов. Методы обработки информации Лекция 16

Разнообразие, большой объем и противоречивость различной диагностической информации выводят на передний план проблему поиска физических систем, способных к ее переработке. Разнообразие, большой объем и противоречивость различной диагностической информации выводят на передний план проблему поиска физических систем, способных к ее переработке. Решение этой комплексной задачи тесно связано с новыми информационными технологиями, важное место среди которых занимают методы распознавания и категоризации образов. Нейронные сети - мощный и на сегодня, пожалуй, наилучший метод для решения различных задач распознавания образов, в частности в ситуациях, когда в представленных для обработки данных (в том числе экспериментальных) отсутствуют значительные фрагменты информации, а имеющаяся информация предельно зашумлена.

На сегодняшний день развитие в области теории и приложений нейронных сетей идет в самых разных направлениях: поиск новых нелинейных элементов, которые могли бы реализовывать сложное коллективное поведение в ансамбле нейронов; новые архитектуры нейронных сетей; отыскание областей приложения нейронных сетей в системах обработки изображений, распознавания образов и речи, робототехники и др. На сегодняшний день развитие в области теории и приложений нейронных сетей идет в самых разных направлениях: поиск новых нелинейных элементов, которые могли бы реализовывать сложное коллективное поведение в ансамбле нейронов; новые архитектуры нейронных сетей; отыскание областей приложения нейронных сетей в системах обработки изображений, распознавания образов и речи, робототехники и др. Значительное место в данных исследованиях традиционно занимает математическое моделирование.

Одна из наиболее привлекательных для пользователя сторон нейросетевой технологии, обеспечившая ей нынешнюю всеобщую популярность - Одна из наиболее привлекательных для пользователя сторон нейросетевой технологии, обеспечившая ей нынешнюю всеобщую популярность - отсутствие необходимости в детальном программировании процесса решения задачи. Кроме того, возможность решения даже тех задач, для которых отсутствуют алгоритмы решения, а также возможность адаптации к условиям функционирования, обучения и переобучения.

Главное достоинство нейросетей в том, что они предоставляют в руки пользователю некий универсальный нелинейный элемент с возможностью широкого изменения и настройки его характеристик. Главное достоинство нейросетей в том, что они предоставляют в руки пользователю некий универсальный нелинейный элемент с возможностью широкого изменения и настройки его характеристик. Соединяя их в сеть, пользователь с одной стороны получает возможность широкого изменения ее характеристик, а с другой - может особенно не задумываться над процессами, происходящими в сети. Им гарантирована целенаправленность и оптимальность, приводящая в конечном итоге к достаточно приемлемому результату.

Набор нелинейных адаптивных элементов позволяет моделировать любое нелинейное преобразование и настраивать его на различные задачи автоматически путем изменения параметров в процессе обучения. Набор нелинейных адаптивных элементов позволяет моделировать любое нелинейное преобразование и настраивать его на различные задачи автоматически путем изменения параметров в процессе обучения. В последнее время наблюдается тенденция использовать для настройки не эмпирически найденные приемы (типа правила Хебба, обратного распространения ошибки и т.п.), а универсальные и хорошо отработанные математические методы поиска экстремума целевой функции в пространстве параметров.

Место нейронных сетей в системах обработки информации можно указать по аналогии со структурой человеческой психики: оно соответствует низшему интуитивному уровню реакций, когда требуется быстрый ответ на достаточно стандартную ситуацию. Место нейронных сетей в системах обработки информации можно указать по аналогии со структурой человеческой психики: оно соответствует низшему интуитивному уровню реакций, когда требуется быстрый ответ на достаточно стандартную ситуацию. Если ответ не найден или система сомневается в его правильности, то управление передается более высокому логическому уровню. Ему соответствует экспертная система, располагающая широкой базой знаний и способная делать более обоснованные выводы.

В общем случае в поведении нейросети следует различать три задачи: В общем случае в поведении нейросети следует различать три задачи: обучение и запоминание поведенческих образцов (эталонов), задаваемых внешними условиями. При этом происходит образование и модификация связей между элементами; распознавание внешней ситуации, отнесение ее к одному из запомненных эталонов, выбор соответствующего поведенческого образца; реализация выбранного эталона поведения, поддержание эталонных значений переменных, возвращение к ним после возмущений, исправление ошибок и нейтрализация помех, создаваемых внешней средой.

В настоящее время широко распространено использование нейросетей в различных задачах, таких как распознавание ситуаций, выделение сигнала на фоне шума, экстраполяция временных последовательностей и пр. В настоящее время широко распространено использование нейросетей в различных задачах, таких как распознавание ситуаций, выделение сигнала на фоне шума, экстраполяция временных последовательностей и пр. Существуют попытки использования НС для управления сложной адаптивной системой при невозможности формализовать экспертные знания или при отсутствии таковых. Нейросеть может запоминать действия опытного оператора, управляющего сложной системой, а затем воспроизводить их, проявляя необходимую гибкость, сменяя образцы поведения и выбирая среди них тот, который наиболее близок и адекватен текущей ситуации.

Биологический нейрон и его кибернетическая модель Основная цель нейроинформатики - исследование методов и кибернетических систем, имитирующих функции мозга при решении информационных задач. Биологический фундамент при изучении функций мозга живых организмов является крайне важным, поскольку природное многообразие дает исключительно богатый исходный материал для направленного создания искусственных моделей.

Метод нейробиологии Предмет нейробиологии - изучение нервной системы и ее главного органа - мозга. Принципиальный вопрос - соотношение между строением нервной системы и ее функцией. Классический нейробилогический подход состоит в последовательном продвижении от элементарных форм в направлении их усложнения. . Для практических целей нейроинформатики отправной точкой служит клеточный уровень. По современным представлениям, именно на нем совокупность элементарных молекулярных химико-биологических процессов, протекающих в отдельной клетке, формирует ее как элементарных процессор, способный к простейшей переработке информации.

Биологический нейрон Элементом клеточной структуры мозга является нервная клетка - нейрон. Нейрон в своем строении имеет много общих черт с другими клетками биоткани. Однако нервная клетка существенно отличается от иных по своему функциональному назначению: нейрон выполняет прием, элементарное преобразование и дальнейшую передачу информации другим нейронам. Информация переносится в виде импульсов нервной активности, имеющих электрохимическую природу.

Биологический нейрон Нейроны крайне разнообразны по форме, которая зависит от их местонахождения в нервной системе и особенностей функционирования. схема строения "типичного" нейрона Гигантский аксон кальмара имеет толщину около миллиметра, и именно наблюдение за ним послужило выяснению механизма передачи нервных импульсов между нейронами.

Механизмы синаптической передачи достаточно сложны и разнообразны. Они могут иметь химическую и электрическую природу. Механизмы синаптической передачи достаточно сложны и разнообразны. Они могут иметь химическую и электрическую природу. В химическом синапсе в передаче импульсов участвуют специфические химические вещества - нейромедиаторы, вызывающие изменения проницаемости локального участка мембраны. В зависимости от типа вырабатываемого медиатора синапс может обладать возбуждающим (эффективно проводящим возбуждение) или тормозящим действием. Обычно на всех отростках одного нейрона вырабатывается один и тот же медиатор, и поэтому нейрон в целом функционально является тормозящим или возбуждающим. Это важное наблюдение о наличии нейронов различных типов используется при проектировании искусственных систем.

Биологические нейронные сети Взаимодействующие между собой посредством передачи через отростки возбуждений нейроны формируют нейронные сети. Переход от рассмотрения отдельного нейрона к изучению нейронных сетей является естественным шагом в нейробиологической иерархии. Общее число нейронов в центральной нервной системе человека достигает 1010 - 1011, при этом каждая нервная клетка связана в среднем с 103 - 104 других нейронов. Установлено, что в головном мозге совокупность нейронов в объеме масштаба 1 мм3 формирует относительно независимую локальную сеть, несущую определенную функциональную нагрузку.

Выделяют несколько основных типов биологических нейронных сетей, отличающихся структурой и назначением. Выделяют несколько основных типов биологических нейронных сетей, отличающихся структурой и назначением. Один из них - иерархические сети, часто встречающиеся в сенсорных и двигательных путях. Информация в таких сетях передается в процессе последовательного перехода от одного уровня иерархии к другому.

Нейроны образуют два характерных типа соединений: Нейроны образуют два характерных типа соединений: конвергентные, когда большое число нейронов одного уровня контактирует с меньшим числом нейронов следующего уровня, дивергентные, в которых контакты устанавливаются со все большим числом клеток последующих слоев иерархии. Сочетание конвергентных и дивергентных соединений обеспечивает многократное дублирование информационных путей, что является решающим фактором надежности нейронной сети. При гибели части клеток, сохранившиеся нейроны оказываются в состоянии поддерживать функционирование сети.

Ко второму типу нейронных сетей относятся локальные сети, формируемые нейронами с ограниченными сферами влияния. Ко второму типу нейронных сетей относятся локальные сети, формируемые нейронами с ограниченными сферами влияния. Нейроны локальных сетей производят переработку информации в пределах одного уровня иерархии. При этом функционально локальная сеть представляет собой относительно изолированную тормозящую или возбуждающую структуру.

Важную роль также играют так называемые дивергентные сети с одним входом. Важную роль также играют так называемые дивергентные сети с одним входом. Командный нейрон, находящийся в основании такой сети может оказывать влияние сразу на множество нейронов, и поэтому сети с одним входом выступают согласующим элементом в сложном сочетании нейросетевых систем всех типов.

Сенсорные нейроны формируют первый (нижний) уровень иерархии. Выработанные ими сигналы передаются нейронам локальной сети, содержащим множество прямых и обратных связей с сочетанием дивергентных и конвергентных соединений. Характер преобразованного в локальных сетях сигнала определяет состояние возбуждения моторных нейронов. Сенсорные нейроны формируют первый (нижний) уровень иерархии. Выработанные ими сигналы передаются нейронам локальной сети, содержащим множество прямых и обратных связей с сочетанием дивергентных и конвергентных соединений. Характер преобразованного в локальных сетях сигнала определяет состояние возбуждения моторных нейронов.

Биологическая изменчивость и обучение нейронных сетей Структура основных типов биологических нейронных сетей генетически предопределена. При этом исследования в области сравнительной нейроанатомии говорят о том, что по фундаментальному плану строения мозг очень мало изменился в процессе эволюции. Однако детерминированные нейронные структуры демонстрируют свойства изменчивости, обуславливающие их адаптацию к конкретным условиям функционирования.

Генетическая предопределенность имеет место также и в отношении свойств отдельных нейронов, таких, например, как тип используемого нейромедиатора, форма и размер клетки. Генетическая предопределенность имеет место также и в отношении свойств отдельных нейронов, таких, например, как тип используемого нейромедиатора, форма и размер клетки. Изменчивость на клеточном уровне проявляется в пластичности синаптических контактов. Характер метаболической активности нейрона и свойства проницаемости синаптической мембраны могут меняться в ответ на длительную активизацию или торможение нейрона.

Изменчивость на уровне сети связана со спецификой нейронов. Изменчивость на уровне сети связана со спецификой нейронов. Нервная ткань практически лишена характерной для других типов тканей способности к регенерации путем деления клеток. Однако нейроны демонстрируют способность к формированию новых отростков и новых синаптических контактов. Ряд экспериментов с преднамеренным повреждением нервных путей указывает, что развитие нейронных ответвлений сопровождается конкуренцией за обладание синаптическими участками. Это свойство в целом обеспечивает устойчивость функционирования нейронный сетей при относительной ненадежности их отдельных компонент - нейронов.

Специфическая изменчивость нейронных сетей и свойств отдельных нейронов лежит в основе их способности к обучению - адаптации к условиям функционирования - при неизменности в целом их морфологической структуры. Специфическая изменчивость нейронных сетей и свойств отдельных нейронов лежит в основе их способности к обучению - адаптации к условиям функционирования - при неизменности в целом их морфологической структуры. Однако рассмотрение изменчивости и обучаемости малых групп нейронов не позволяет в целом ответить на вопросы об обучаемости на уровне высших форм психической деятельности, связанных с интеллектом, абстрактным мышлением, речью. Следует отметить, что нервная система содержит помимо нейронов клетки других типов.

Математический аппарат нейросетей Традиционно используемым для описания нейронных сетей математическим языком является аппарат векторной и матричной алгебры. Однако в современной нейронауке широко используются и другие разделы математики. Среди них дифференциальные уравнения, применяемые для анализа нейронных сетей в непрерывном времени, а также для построения детальных моделей нейрона; Фурье-анализ для описания поведения системы при кодировании в частотной области; теория оптимизации как основа для разработки алгоритмов обучения; математическая логика и булева алгебра - для описания двоичных сетей, и другие.

Математический аппарат нейросетей Основным структурным элементом в описании способов обработки информации нейронной сетью является вектор - упорядоченный набор чисел, называемых компонентами вектора. В зависимости от особенностей рассматриваемой задачи компоненты вектора могут быть действительными числами, целыми числами (например, для обозначения градаций яркости изображения), а также булевыми числами "ноль-один" или "минус один - один".

Математический аппарат нейросетей Компоненты вектора x = ( x1, x2, ... xn ) можно рассматривать, как его координаты в некотором n-мерном пространстве. В случае действительных компонент это пространство обозначается, как Rn и включает в себя набор всех возможных совокупностей из n действительных чисел. Тогда говорят, что вектор x принадлежит пространству Rn (или x из Rn).

Математический аппарат нейросетей Множество векторов с действительными компонентами является частным случаем более общего понятия, называемого линейным векторным пространством V, если для его элементов определены операции векторного сложения "+" и умножения на скаляр ".", удовлетворяющие следующим соотношениям: x + y = y + x, результат принадлежит V  . ( x + y ) =  . x +  . y, результат принадлежит V ( +  ) . x =  . x +  . x, результат принадлежит V ( x + y ) + z = x + ( y + z ), результат принадлежит V ( .  ) . x =  . ( . x ), результат принадлежит V  o из V, что  x из V => o + x = x (существует нулевой элемент) для скаляров 0 и 1,  x из V верно 0 . x = o, 1 . x = x

Математический аппарат нейросетей Для двух элементов векторного пространства может быть определено их скалярное (внутреннее) произведение : (x,y) = x1y1 + x2y2 + ... + xnyn. Скалярное произведение обладает свойствами симметричности, аддитивности и линейности по каждому сомножителю: ( x, y ) = ( y, x ) (.x, y ) = .( x, y ) ( x + y, z ) = ( x, z ) + ( y, z ) ( x, y ) >= 0, причем ( x, x ) = 0 <=> x = o

Математический аппарат нейросетей Два различных образа (или вектора) могут быть в той или иной мере похожи друг на друга. Для математического описания степени сходства векторное пространство может быть снабжено скалярной метрикой - расстоянием d(x,y) между всякими двумя векторами x и y. Пространства с заданной метрикой называют метрическими. Для метрики должны выполняться условия неотрицательности, симметричности, а также неравенство треугольника: d( x, y ) >= 0, причем d( y, x ) = 0 <=> x = y d( x, y ) = d ( y, x )  y, d ( x, z ) <= d ( x, y ) + d ( y, z )

Математический аппарат нейросетей Чаще всего в основном используются две метрики - Евклидово расстояние и метрика Хемминга. Евклидова метрика для прямоугольной системы координат определяется формулой: Хеммингово расстояние dH используется обычно для булевых векторов (компоненты которых равны 0 или 1), и равно числу различающихся в обоих векторах компонент.

Математический аппарат нейросетей Для векторов вводится понятие нормы ||x|| - длины вектора x. Пространство в котором определена норма векторов называется нормированным. Норма должна обладать следующими свойствами: ||x|| >= 0, причем ||x|| = 0 <=> x = o || .x || = || .||x|| ||x + y|| <= ||x|| + ||y||

Математический аппарат нейросетей Образы, состоящие из действительных признаков, принадлежат Евклидовому пространству. В случае булевых векторов размерности n рассматриваемое пространство представляет собой множество вершин n-мерного гиперкуба с Хемминговой метрикой. Расстояние между двумя вершинами определяется длиной кратчайшего соединяющего их пути, измеренной вдоль ребер.

Важным для нейросетевых приложений случаем является множество векторов, компоненты которых являются действительными числами, принадлежащими отрезку [0,1]. Важным для нейросетевых приложений случаем является множество векторов, компоненты которых являются действительными числами, принадлежащими отрезку [0,1]. Множество таких векторов не является линейным векторным пространством, так как их сумма может иметь компоненты вне рассматриваемого отрезка. Однако для пары таких векторов сохраняются понятия скалярного произведения и Евклидового расстояния. Вторым важным с практической точки зрения примером является множество векторов одинаковой длины (равной, например, единице). Образно говоря, "кончики" этих векторов принадлежат гиперсфере единичного радиуса в n-мерном пространстве. Гиперсфера также не является линейным пространством (в частности, отсутствует нулевой элемент).

Для заданной совокупности признаков, определяющих пространство векторов, может быть сформирован такой минимальный набор векторов, в разной степени обладающих этими признаками, что на его основе, линейно комбинируя вектора из набора, можно сформировать все возможные иные вектора. Для заданной совокупности признаков, определяющих пространство векторов, может быть сформирован такой минимальный набор векторов, в разной степени обладающих этими признаками, что на его основе, линейно комбинируя вектора из набора, можно сформировать все возможные иные вектора. Такой набор называется базисом пространства. Базис может состоять из любой комбинации из n линейно независимых векторов, где n - размерность пространства.

Если определена некоторая система линейно независимых векторов x1, x2, ..., xm, где m < n, то все возможные линейные комбинации этих векторов сформируют линейное пространство размерности m, которое будет являться подпространством или линейной оболочкой L исходного n-мерного пространства. Если определена некоторая система линейно независимых векторов x1, x2, ..., xm, где m < n, то все возможные линейные комбинации этих векторов сформируют линейное пространство размерности m, которое будет являться подпространством или линейной оболочкой L исходного n-мерного пространства. Выбранная базовая система из m векторов является базисом в подпространстве L. Важным частным случаем линейной оболочки является подпространство размерности на единицу меньшей, чем размерность исходного пространства (m=n-1), называемое гиперплоскостью. В случае трехмерного пространства это обычная плоскость.

Гиперплоскость делит пространство на две части. Совокупность гиперплоскостей разбивает пространство на несколько множеств, каждое из которых содержит вектора с близким набором признаков, тем самым осуществляется классификация векторов. Гиперплоскость делит пространство на две части. Совокупность гиперплоскостей разбивает пространство на несколько множеств, каждое из которых содержит вектора с близким набором признаков, тем самым осуществляется классификация векторов.

Матрица – еще один способ математического представления данных в нейросетях. Пространство квадратных матриц одинаковой размерности с введенными операциями сложения и поэлементного умножения на скаляр, является линейным пространством. Для него также можно ввести метрику и норму. Нулевым элементом служит матрица, все элементы которой равны нулю.

Общие характеристики нейросетей Традиционно нейрон описывается в терминах, заимствованных из нейрофизиологии. Согласно этим представлениям, нейрон имеет: один выход s j и несколько входов (синапсов), на которые поступают внешние воздействия хi (от рецепторов и от других нейронов)

С конструктивной точки зрения нейрон, являющийся основным элементом нейросети,- представляет собой устройство для получения нелинейной функции у от переменных хi. Или формально: С конструктивной точки зрения нейрон, являющийся основным элементом нейросети,- представляет собой устройство для получения нелинейной функции у от переменных хi. Или формально: у = f(х1, х2,..., хm, w1, w2,..., wn ), где f- нелинейная функция, хi , i =1,..., m  входные переменные, wj , j=1,..., n  параметры сети (весовые коэффициенты). Т.о. нейрон умножает входное воздействие хi на весовой коэффициент wij (проводимость синапса) и суммирует взвешенные входы: s j =  wij хi + w0j .

Выходная величина уj является некоторой функцией от этой суммы: уj = f (s j) Ее называют функцией активации или передаточной функцией.

Функциональная схема формального нейрона: Функциональная схема формального нейрона: формальный нейрон представляет собой математическую модель простого процессора, имеющего несколько входов и один выход.

Вид функции активации является важнейшей характеристикой нейрона. В простейшем случае функция активации - это линейная зависимость: уj = k s j = k (  wij хi + w0j )

Еще в работе У. Мак-Каллока и У. Питтса [1956 г.] использовалась ступенчатая функция активации, формально выражаемая с помощью следующей зависимости : Еще в работе У. Мак-Каллока и У. Питтса [1956 г.] использовалась ступенчатая функция активации, формально выражаемая с помощью следующей зависимости : уj = sgn(s j) = sgn(wij хi + w0j )

Линейный порог или гистерезис Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

В настоящее время в качестве активационной функции чаще используют нелинейную, близкую к ступенчатой, но гладкую (непрерывно дифференцируемую) зависимость, которую называют сигмоидальной или логистической функцией. Обычно она описывается следующим выражением: В настоящее время в качестве активационной функции чаще используют нелинейную, близкую к ступенчатой, но гладкую (непрерывно дифференцируемую) зависимость, которую называют сигмоидальной или логистической функцией. Обычно она описывается следующим выражением: уj = 1/(1+ e -ks ), где k 0.

Еще одним примером сигмоидальной функции активации является гиперболический тангенс, задаваемая следующим выражением: Еще одним примером сигмоидальной функции активации является гиперболический тангенс, задаваемая следующим выражением: где k – это также параметр, влияющий на наклон сигмоидальной функции.

Параметр k задает крутизну зависимости у от s: чем больше k, тем ближе сигмоида к пороговой функции, чем меньше k - тем ближе она к линейной. Параметр k задает крутизну зависимости у от s: чем больше k, тем ближе сигмоида к пороговой функции, чем меньше k - тем ближе она к линейной. Таким образом, сигмоида является некоторым компромиссом между линейной и ступенчатой функцией, сохраняющим достоинства обеих. Это обстоятельство оказывается чрезвычайно важным при поиске экстремума целевой функции в пространстве нейронных параметров.

Нейроны организуются в сеть за счет того, что выход i-го нейрона (уi ) соединяется с одним из входов (хi) другого, j-го, нейрона. При этом выходная переменная уi отождествляется с входной переменной хi. Нейроны организуются в сеть за счет того, что выход i-го нейрона (уi ) соединяется с одним из входов (хi) другого, j-го, нейрона. При этом выходная переменная уi отождествляется с входной переменной хi. Весовой коэффициент wij ("синаптический вес") характеризует знак и силу связи между переменными хi и хj. Возможна и обратная связь, при которой выход j-го нейрона соединяется с i-ым входом i-го нейрона. В общем случае коэффициент этой связи wji не обязательно равен wij.

Важнейшим свойством нейрона является его пластичность - возможность изменять параметры в процессе обучения. Важнейшим свойством нейрона является его пластичность - возможность изменять параметры в процессе обучения. В ранних работах по нейросетям обычно различали два типа пластичности: синаптическую (изменение wij ) и пороговую (изменение высоты порога нейрона w0j ).

В настоящее время пороговую пластичность обычно сводят к синаптической с помощью следующей операции: В настоящее время пороговую пластичность обычно сводят к синаптической с помощью следующей операции: К числу входов j-го нейрона добавляют еще один фиктивный х0, не связанный ни с каким реальным входным рецептором. На этот вход подают постоянный сигнал, равный +1. Весовой коэффициент этого входа w0j модифицируют в процессе обучения по общим правилам. Модификация этого коэффициента равносильна смещению порога нейрона.

Еще в 1949 г. Доналбдом Хеббом было предложено естественное правило модификации весовых коэффициентов: Еще в 1949 г. Доналбдом Хеббом было предложено естественное правило модификации весовых коэффициентов: если два нейрона по разные стороны от синапсов активируются синхронно, то "вес"синапса слегка возрастает; если два нейрона по разные стороны от синапсов активируются асинхронно, то "вес"синапса слегка ослабевает или синапс удаляется Правило оказалось настолько удачным, что до сих пор используется в различных моделях нейронных систем, и сегодня в мы можем увидеть этот мета-алгоритм в основных методах обучения нейронных сетей..

Один из самых неожиданных результатов анализа работы искусственного нейрона (М.Минский и С.Пейперт) состоял в том, что построенный на линейных функциях активации, он не может воспроизвести такую простую логическую функцию как исключающее ИЛИ (XOR). Один из самых неожиданных результатов анализа работы искусственного нейрона (М.Минский и С.Пейперт) состоял в том, что построенный на линейных функциях активации, он не может воспроизвести такую простую логическую функцию как исключающее ИЛИ (XOR). Это функция двух аргументов у(х1 , x2 ), каждый из которых может быть нулем или единицей. В этом случае не помогает и введение дополнительных слоев, так как произведение линейных преобразований снова дает линейное преобразование, обладающее теми же недостатками. Выходом является использование нелинейных элементов.

Одна из тенденций в развитии нейронных моделей состоит в переходе к более гибким и универсальным нелинейным функциям. Они позволяют выделять не просто линейную границу между категориями, а пространство одних признаков отделять от пространства других признаков. Одна из тенденций в развитии нейронных моделей состоит в переходе к более гибким и универсальным нелинейным функциям. Они позволяют выделять не просто линейную границу между категориями, а пространство одних признаков отделять от пространства других признаков. Например, можно описывать нейрон ступенчатой активационной функцией, положительной в некоторой области пространства признаков и отрицательной - во всех остальных областях этого пространства. Настраиваемыми параметрами при этом могут быть размеры области и ее положение в пространстве признаков: Суммируя выходы нескольких таких нейронов, можно легко выделить область самой сложной формы. Ступенчатую функцию можно сгладить, чтобы иметь возможность использовать градиентные методы поиска экстремума.

В последние годы все чаще появляются нейросети, использующие именно такого рода функции (радиальные базисные функции, -функции и т.п.). В последние годы все чаще появляются нейросети, использующие именно такого рода функции (радиальные базисные функции, -функции и т.п.). Так, сферическая радиальная базисная функция i-го нейрона может задаваться выражением, аналогичным выражению для нормального распределения. Комбинация элементов такого или подобного типа способна аппроксимировать любую нелинейную зависимость и, следовательно, выделить в пространстве признаков области самой сложной формы - невыпуклые, многосвязные и т.п.

Итак, в целом архитектура нейросети может быть задана матрицей весовых коэффициентов w ij, характеризующих силу связей между элементами сети. Итак, в целом архитектура нейросети может быть задана матрицей весовых коэффициентов w ij, характеризующих силу связей между элементами сети. В общем случае все элементы связаны со всеми, но матрица связей несимметрична, w ij  w ji. Некоторые коэффициенты связей могут оставаться свободными, не заданными и тогда возможно их изменение - обучение сети.

Наложением условий на значения wij, предопределяется конфигурация сети. При этом из множества возможных конфигураций получили распространение и достаточно хорошо исследованы лишь некоторые. Наиболее популярными и изученными являются три конфигурации: Наложением условий на значения wij, предопределяется конфигурация сети. При этом из множества возможных конфигураций получили распространение и достаточно хорошо исследованы лишь некоторые. Наиболее популярными и изученными являются три конфигурации: многослойный персептрон (нейросеть с промежуточными слоями "скрытых" нейронов); самообучающиеся нейросети, в том числе карты (сети) Кохонена; рекуррентные сети Хопфилда.

Задание 7 Описать структуру и основной алгоритм работы одной из следующих нейронных сетей: Персептрон Розенблатта; Многослойный персептрон; Карты (сети) Кохонена; Рекуррентные сети Хопфилда; Сеть Хемминга.

Основные принципы (свойства) нейросетей Согласно общепринятым представлениям наиболее общими принципами, характерными для современных нейросетей являются: коннекционизм (связанность), нелинейность активационной функции, локальность и параллелизм вычислений, обучение вместо программирования, оптимальность обучающих алгоритмов.

Принцип коннекционизма Означает, что каждый нейрон нейросети, как правило, связан со всеми нейронами предыдущего слоя обработки данных. Наиболее последовательно этот принцип реализован в архитектуре многослойного персептрона.

Нелинейность функции активации Нелинейность функции активации принципиальна. Если бы нейроны были линейными элементами, то любая последовательность нейронов также производила бы линейное преобразование, и вся нейросеть была бы эквивалентна одному нейрону (или одному слою нейронов - в случае нескольких выходов). Нелинейность разрушает линейную суперпозицию и приводит к значительному расширению возможностей нейросетей

Локальность обработки информации и параллелизм вычислений Локальность обработки информации и параллелизм вычислений в нейросетях означает, что каждый нейрон реагирует лишь на локальную информацию, поступающую к нему в данный момент от связанных с ним таких же нейронов, без апелляции к общему плану вычислений, обычной для универсальных ЭВМ.

Обучение вместо программирования Режим распространения информации по сети и соответствующей ей адаптации нейронов носит характер обучения. Из способности к обучению следует способность к обобщению, позволяющая обучать сеть на незначительной доле всех возможных ситуаций, с которыми ей придется столкнуться в процессе функционирования.

Оптимальность обучающих алгоритмов Еще одной чертой процесса обучения нейросетей является его оптимальность - целевая функция, оценивающая данную конфигурацию сети, имеет экстремальный характер (обычно это минимизация функции ошибки). Сеть постепенно модифицирует свою конфигурацию - состояние всех своих синаптических весов - таким образом, чтобы минимизировать эту ошибку. В итоге, в процессе обучения сеть все лучше справляется с возложенной на нее задачей.

Целевая функция Под целевой функцией обычно понимают минимум ошибки сети. В общем случае функция ошибки  имеет вид: ( w )=  (х ,у, у(х, w)), где (х ,у) – набор пар входов-выходов (примеров обучающей выборки), у(х, w) – реальные значения выходов нейросети, зависящие от конкретных значений ее синаптических весов w .

Обучение сети Базовой идеей всех алгоритмов обучения является учет локального градиента в пространстве конфигураций для выбора траектории быстрейшего спуска по функции ошибки. Функция ошибки, однако, может иметь множество локальных минимумов, представляющих субоптимальные решения. Поэтому градиентные методы обычно дополняются элементами стохастической оптимизации, чтобы предотвратить застревание конфигурации сети в таких локальных минимумах.

Обучение сети Идеальный метод обучения должен находить глобальный оптимум конфигурации сети. Основные типы обучения нейросети: обучение с учителем, с подкреплением (reinforcement learning), без учителя.

Обучение сети Обучение с учителем – это такой вид обучения, когда действительный выход нейросети сравнивается с эталонным. Обучение с подкреплением отличается от него тем, что в этом случае выходная информация известна не полностью и производится оценка выходов сети: например, вместо эталонных ответов известно лишь хуже или лучше данная конфигурация сети справляется с задачей. Если желаемые значения выходов вообще неизвестны и сеть обучается только на наборе входных данных (х), то такой режим обучения сети называется обучением без учителя. В этом случае сети, например, предлагается самой найти скрытые закономерности в массиве данных.

На способе обработки информации решающим образом сказывается наличие или отсутствие в сети петель обратных связей. На способе обработки информации решающим образом сказывается наличие или отсутствие в сети петель обратных связей. Если обратные связи между нейронами отсутствуют (т.е. сеть имеет структуру последовательных слоев, где каждый нейрон получает информацию только с предыдущих слоев), обработка информации в сети происходит однонаправленно.

Наличие обратных связей может сделать динамику нейросети (называемой в этом случае рекуррентной) непредсказуемой: сеть может зациклиться и вообще не выдавать ответа. Наличие обратных связей может сделать динамику нейросети (называемой в этом случае рекуррентной) непредсказуемой: сеть может зациклиться и вообще не выдавать ответа. Благодаря тому, что нейроны в рекуррентных сетях обрабатывают информацию неоднократно, рекуррентные сети производят более разнообразную и глубокую обработку информации. Но в этом случае следует принимать специальные меры, гарантирующие сходимость вычислений.

Классификация нейросетей по типу обучения

Пример: Обучение нейрона детектированию границы "черное-белое" Способность формального нейрона к обучению проявляется в возможности изменения значений вектора весов W, что соответствует изменению пластичности синапсов биологических нейронов. Рассмотрим обучение формального нейрона на примере простейшей задачи детектирования границы. Пусть имеется образ, составленный из одномерной цепочки черных и белых клеток:

В традиционных вычислительных системах: В традиционных вычислительных системах: Необходимо точное описание алгоритма (ориентация на обработку символов). Данные должны быть точными. Аппаратура легко повреждается. Разрушение основных элементов памяти делает машину неисправной. Каждый обрабатываемый объект явно указан в памяти. Трудно построить хороший алгоритм восприятия образов и ассоциативной выборки (неясно, например, как мы распознаем рукописные символы, конкретного написания которых раньше не видели).