🗊Индуктивное моделирование: содержание и примеры применения в задачах обработки текстов М. Александров Академия народного хозяйст

Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Введение История ИМСОМ = Индуктивный Метод Самоорганизации Моделей Был разработан в в 70-80 годы акад. А.Г. Ивахненко и его учениками Принадлежит к числу эволюционных алгоритмов Искусственного Интеллекта

Введение Что стоит за названием? ИМСОМ = Индуктивный Метод Самоорганизации Моделей Понятие модели зависит от задачи. Если необходимо описать связь наблюдений (Xi,Yi), то модель это зависимость Yi = F(Xi)

Введение В чем индуктивность? Индукция = из частных случаев делают обобщенный вывод Дедукция = из общего результата делают выводы о частных случаях Пример индуктивного вывода – метод математической индукции Индуктивность в нашем случае состоит в том, что мы рассматриваем конкретные частные модели, шаг за шагом усложняя их: прямая, парабола, полином 3-го порядка, 4-го порядка, и т.д. Но мы не рассматриваем одновременно все модели (степенные и тригоном. полиномы, ряды экспонет, и т.п.) или даже какой-то конкретный класс в целом

Введение В чем самоорганизация? Саморганизация системы – это изменение ее структуры/параметров под влиянием внешних условий Самоорганизация у нас состоит в том, что модель меняется от простой к сложной в процессе автоматического перебора моделей, пока она не достигнет оптимальной сложности Внешние условия – это данные наблюдений. Они отражают: как поведение объекта, так и шум Тогда очевидно, что: - Простая модель не реагирует на шум, но плохо отражает объект - Сложная модель отражает объект, но чувствительна к шуму Есть некоторый оптимум, который достигается в процессе перебора Термин используется условно – у нас иллюзия самоорганизации. Ведь это мы меняем модель, а не она сама себя

Введение

Введение

Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Индуктивное Моделирование

Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Постановка задачи

Постановка задачи

Постановка задачи

Эмпирические формулы

Эмпирические формулы Требования Построенная формула должна отражать два обстоятельства: Поддержать факт, что небольшое относительное число несовпавших букв n/s есть индикатор подобия слов translation translated Провести дискриминацию длинных слов. А именно: чем слова длинее, тем менее вероятно, что они подобны при том же отношении n/s ratio. Лингвисты полностью поддержали эти два требования

Эмпирические формулы

Эмпирические формулы Число степеней свободы Как было указано выше, формула должна зависеть от: - относительной доли числа несовпавших букв, то есть n/s - длины слов, то есть s или y Это определяет необходимость иметь 2 степени свободы Рассмотрим: n/s < C 1 степень свободы n/s n/s < F (s) 2 степени свободы n/s и s n/s < F(y) 2 степени свободы n/s и y n/s < F (y/s) 1 степень свободы, n/s etc. Коментарий: y = (s-n)/2, тогда y/s = (s-n)/2s = 0.5 (1- n/s) Поэтому: n/s < F (y/s) имеет 1 степень свободы

Эмпирические формулы Сложность модели F(y) ? Чтобы определить сложность модели (степень полинома), мы используем ИМСОМ = Индуктивный Метод Самоопределения Модели ИМСОМ позволяет построить подходящую модель при ограниченном наборе экспериментальных данных

Подход 1) Мы рассматриваем экстремальные случаи (равенство) n/s = a0 + a1y + a2y2 + ... 2) Эксперт готовит «вручную» пары подобных слов Примеры asking asked translation translated Перед началом эксперимента весь набор исходных данных (пары подобных слов) делится на обучающую и контрольную выборки

Внешние критерии Регулярность Kr Несмещенность Ku Комбинированный критерий K = 2/3 Kr + 1/3 Ku

Демонстрация Пример Начальный список 1-й шаг 2-й шаг 3-й шаг transform (7) transform (12) transform (19) transform (19) transformed(5) transformation(7) translating (6) translat (13) transformation(7) translating (6) translator (7) transport (11) translating (6) translator (7) transport (11) transported (2) translator (7) transport (11) transported (2) transport (11) transported (2) transported (2) Здесь: Скобки содержат число появлений слов в тексте. Значения сумируются, когда слова рассматриваются, как подобные

Дискуссия и выводы Примеры Мартина Портера Д-р Портер, автор знаменитого стеммера, реализованного на многих европейских языках, прислал письмо с примерами 1a. bead, bear, beat (короткий текст) 1b. cat, cats (короткий текст) 2a. bead, ..., beagle, beagling, ..., bear,..., beast, beastliness, ..., beat (длинный текст) 2b. cat, catalogue, cataplasm, catastrophe, catenary, cats (длинный текст) Примеры показывают влияние длины текста на работу стеммера: - на коротких текстах различные по смыслу слова могут оказаться рядом и быть принятыми за сходные (см. 1a) - на длинных текстах сходные по смыслу слова могут не оказаться рядом, и сходство не будет обнаружено (см. 2b)

Дискуссия и выводы Недостатки стеммера - Относительно низкая точность (80%-90%) - Зависимость результатов применения от длины текста Преимущества стеммера - Языково независим – легко настраивается на язык и тему - Простая настройка на заданный уровень ошибок 1 и 2 рода Замечания а) зависимость результатов от длины текста легко устраняется, если проверка сходства выполняется по всему списку, а не только для рядом стоящих слов б) ошибки 1-го рода (пропуск сходных по смыслу слов) легко обнаруживаются и исправляются при ручном контроле результата

Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы

Содержание Введение Коллеги и соавторы Индуктивное моделирование Статистический стеммер Subjectivity/Sentiment analysis Терминография Ресурсы