🗊Презентация Нейронные сети

Нейронные сети нейронная сеть — сеть представляет из себя совокупность нейронов, соединенных друг с другом определенным образом.

Нейрон Нейрон представляет из себя элемент, который вычисляет выходной сигнал (по определенному правилу) из совокупности входных сигналов. То есть основная последовательность действий одного нейрона такая: Прием сигналов от предыдущих элементов сети Комбинирование входных сигналов Вычисление выходного сигнала Передача выходного сигнала следующим элементам нейронной сети

Связь нейронов

Связь нейронов В этой формуле: netj - это результат комбинирования всех входных сигналов для нейрона (комбинированный ввод нейрона) N — количество элементов, передающих свои выходные сигналы на вход сигнала j. wij — вес связи, соединяющей нейрон i с нейроном j. Суммируя все взвешенные входные сигналы, мы получаем комбинированный ввод элемента сети.

W – весовая матрица Чаще всего структура связей между нейронами представляется в виде матрицы W , которую называют весовой матрицей. Элемент матрицы , как и в формуле, определяет вес связи, идущей от элемента i к элементу j.

Задание 1 Напишите весовую матрицу для предложенных графов

Задание 1 Напишите весовую матрицу для предложенных графов

Задание 1 Напишите весовую матрицу для предложенных графов

Задание 1 Напишите весовую матрицу для предложенных графов

Задание 2 Восстановите граф, зная матрицу весов

Задание 2 Восстановите граф, зная матрицу весов

Задание 2 Восстановите граф, зная матрицу весов

Задание 2 Восстановите граф, зная матрицу весов

Функция активности элемента (активационная функция нейрона) Для каждого элемента сети имеется определенное правило, в соответствии с которым из значения комбинированного ввода элемента вычисляется его выходное значение. Это  правило называется функцией активности. А само выходное значение называется активностью нейрона. В роли функций активности могут выступать абсолютно любые математические функции, приведу в качестве примера несколько из наиболее часто использующихся: пороговая функция — если значение комбинированного ввода ниже определенного значения (порога), то активность равна нулю, если выше — единице. логистическая функция.

Пример При помощи нейронной сети вычислить отношение XOR. То есть на вход мы будем подавать разные варианты сигналов, а на выходе должны получить результат операции XOR для поданных на вход значений

Пример Элементы 1 и 2 являются входными, а элемент 7 — выходным. Нейроны 5 и 6 называются скрытыми, поскольку они не связаны с внешней средой. Таким образом, мы получили три слоя — входной, скрытый и выходной. Элементы 3 и 4 называют элементами смещения. Их выходной сигнал (активность) всегда равен 1. Для вычисления комбинированного ввода в этой сети мы будем использовать правило суммирования взвешенных связей, а в качестве функции активности будет выступать пороговая функция. Если комбинированный ввод элемента меньше 0, то активность равна 0, если ввод больше 0, то активность — 1. Давайте подадим на вход нейрона 1 — единицу, а на вход нейрона 2 — ноль. В этом случае на выходе мы должны получить 1 (0 XOR 1 = 1). Рассчитаем выходное значение вручную для демонстрации работы сети.

Пример

Задание 3 Для предложенной ранее сети, рассчитывающей значение операции XOR для остальных возможных активаций.

Особенность задания 3 В данном случае все значения весовых коэффициентов нам были известны заранее, но главной особенностью нейронных сетей является то, что они могут сами корректировать значения веса всех связей в процессе обучения сети.

Задание 3.1 Применение сигмоидельной функции

Задание 3.2

Обучение нейронной сети Цель обучения: корректировка весовых коэффициентов связей сети. Одним из самых типичных способов является управляемое обучение. Для его проведения нам необходимо иметь набор входных данных, а также соответствующие им выходные данные.

Обучение нейронной сети Мы подаем на вход сети данные, после чего сеть вычисляет выходное значение. Мы сравниваем это значение с имеющимся у нас (напоминаю, что для обучения используется готовый набор входных данных, для которых выходной сигнал известен) и в соответствии с разностью между этими значениями корректируем весовые коэффициенты нейронной сети. И эта операция повторяется по кругу много раз. В итоге мы получаем обученную сеть с новыми значениями весовых коэффициентов.

Правило корректировки весов Дельта правило (правило Видроу-Хоффа)

Правило корректировки весов Дельта правило (правило Видроу-Хоффа) Корректировка внутренних весов

Алгоритм обратного распространения ошибок

Алгоритм обратного распространения ошибок Пример

Алгоритм обратного распространения ошибок Пример

Рассчитываем корректировки

Пересчитываем веса И, наконец-то, рассчитываем величину, на которую необходимо изменить значения весовых коэффициентов. Например, величина корректировки для связи между элементами 0 и 2 равна произведению величины сигнала, приходящего в элементу 2 от элемента 0, ошибки элемента 2 и нормы обучения (все по дельта-правилу, которое мы обсудили в начале статьи):

Пересчитываем веса

Алгоритм обратного распространения ошибок Пример На этом обратный проход по сети закончен, цель достигнута Именно так и протекает процесс обучения по алгоритму обратного распространения ошибок. Мы рассмотрели этот процесс для одного набора данных, а чтобы получить полностью обученную сеть таких наборов должно быть, конечно же, намного больше, но алгоритм при этом остается неизменным, просто повторяется по кругу много раз для разных данных

Задание 4 Применить алгоритм обратного распространения ошибок.