🗊Презентация Лингвистические основы машинного перевода. Краткий курс

Лингвистические основы машинного перевода. Краткий курс Linguistic Foundations of Machine Translation. An overview course Л.Л.Иомдин Лаборатория компьютерной лингвистики Института проблем передачи информации РАН им. А.А.Харкевича УНЦ компьютерной лингвистики РГГУ Leonid Iomdin Laboratory of Computational Linguistics, A.A.Kharkevich Institute for Information Transmission Problems, RAS Education and Research Centre of computational linguistics, RSUH iomdin@iitp.ru, iomdin@gmail.com

Морфологический анализ Morphological Analysis Поверхностный морфологический анализ: свойства морфем Surface morphological analysis: properties of morphemes: идущий – летящий – колющий - молчащий брат – братья, отец – отцы, мать – матери, сестра - сёстры

Морфологический анализ Morphological Analysis Глубинный морфологический анализ – общие характеристики слов - Deep morphological analysis: lexeme features идущий – ИДТИ, прич, несов, непрош, ед, муж, им/вин,неод братья - БРАТ, мн, им отцы - ОТЕЦ, мн, им матери – МАТЬ, мн, им

Глубинный морфологический анализ Deep Morphological Analysis Для задач автоматического анализа текста, выходящего за пределы морфологии, поверхностная морфология, как правило, не нужна. Поэтому анализ практически всегда ориентируется на глубинную морфологию. For automatic analysis of text going beyond morphology we hardly need surface morphology. Therefore, the analysis is almost always oriented at deep morphology.

Глубинный морфологический анализ Deep Morphological Analysis Вход – предложение в обычной орфографической записи Input – a sentence in a conventional orthographic form Выход – морфологическая структура предложения Output – a morphological structure of a sentence

Глубинный морфологический анализ Deep Morphological Analysis Вход – предложение в обычной орфографической записи Input – a sentence in a conventional orthographic form Все эти типы стали есть в литейном цехе

Глубинный морфологический анализ Deep Morphological Analysis 1.1 ВСЕ1 S,ЕД,СРЕД,ИМ,НЕОД,ALTJO 1.2 ВСЕ1 S,ЕД,СРЕД,ВИН,НЕОД,ALTJO 1.3 ВСЕ3 S,МН,ИМ,ОД 1.4 ВЕСЬ A,ЕД,СРЕД,ИМ,ALTJO 1.5 ВЕСЬ A,ЕД,СРЕД,ВИН,ALTJO 1.6 ВЕСЬ A,МН,ИМ 1.7 ВЕСЬ A,МН,ВИН,НЕОД 1.8 ВСЕ2 PART,ALTJO 2.1 ЭТОТ A,ИМ,МН,CAPIT,CAP 2.2 ЭТОТ A,ВИН,МН,НЕОД,CAPIT,CAP 3.1 ТИП1 S,ИМ,МН,МУЖ,НЕОД 3.2 ТИП1 S,ВИН,МН,МУЖ,НЕОД 3.3 ТИП2 S,ИМ,МН,МУЖ,ОД 4.1 СТАТЬ1 V,ПРОШ,МН,ИЗЪЯВ,СОВ 4.2 СТАНОВИТЬСЯ1 V,ПРОШ,МН,ИЗЪЯВ,СОВ 4.3 СТАНОВИТЬСЯ2 V,ПРОШ,МН,ИЗЪЯВ,СОВ 4.4 СТАЛЬ S,РОД,ЕД,ЖЕН,НЕОД 4.5 СТАЛЬ S,ДАТ,ЕД,ЖЕН,НЕОД 4.6 СТАЛЬ S,ПР,ЕД,ЖЕН,НЕОД 4.7 СТАЛЬ S,ИМ,МН,ЖЕН,НЕОД 4.8 СТАЛЬ S,ВИН,МН,ЖЕН,НЕОД

Морфологическая структура предложения Morphological Structure of a Sentence

Морфологическая структура предложения Morphological Structure of a Sentence

Морфологические категории Morphological Categories

Части речи в английском языке Parts of Speech in English

Части речи – Parts of Speech

Morphological Features in English

Morphological Features in English

Morphological Features in English

Morphological Features in English

Morphological Features in English

Morphological Features in English

Morphological Features in English

(Словоизменительные) морфологические категории в русском языке (Inflectional) Morphological Categories in Russian

Морфологические характеристики в русском языке Morphological Features of Russian

Аналитические формы слов Analytical forms of words

Аналитические формы слов – дальнейшая судьба Analytical forms of words – Future Fate

Аналитические формы слов Analytical forms of words

Аналитические формы слов – дальнейшая судьба Analytical forms of words – Future Fate

Элементы морфологического анализатора Elements of Morphological Analyzer Морфологический словарь – Morphological dictionary Стандартные морфологические объекты – Standard morphological objects Алгоритм морфологического анализа – Algorithm of Analysis Процедуры и программы – Procedures and programs

Морфологический словарь – Morphological dictionary

ENTRY:КРУГЛЫЙ acct:adj_ac1 ENTRY:КРУГЛЫЙ acct:adj_ac1 осн:кругл т:211 ф:51 \\кру`глый п 1а/с' trs:round ENTRY:КРУГЛО acct:adv_c осн:кругл ф:38 ф:15 ф:52 trs:roundly

Морфологический словарь – Morphological dictionary ENTRY:КРАСИВЫЙ acct:adj_a осн:краси`в т:211 ф:51 осн:кра`ше хар:A,срав осн:краси`вше хар:A,срав trs:beautiful ENTRY:КРАСИВО acct:adv_a осн:краси`в ф:15 ф:38 ф:52 осн:кра`ше хар:ADV,срав осн:краси`вше хар:ADV,срав trs:beautifully

ENTRY:КРУЖИТЬ1 [НЕСОВ!] acct:vn_ct ENTRY:КРУЖИТЬ1 [НЕСОВ!] acct:vn_ct хар:V,осн:круж т:353 т:411 || acct:vn_bt*2 хар:V,осн:круж т:353 т:411 \\с trs:whirl_about ENTRY:КРУЖИТЬ2 [НЕСОВ!] acct:vn_ct хар:V,осн:круж нет:страд т:353 т:411 || acct:vn_bt*2 хар:V,осн:круж нет:страд т:353 т:411 trs:circle

Стандартные морфологические объекты – Standard Morphological Objects Списки окончаний – Lists of Endings Форматы - Formats Трафареты - Templates Маски - Masks Чередования - Alternations

Списки окончаний – Lists of Endings ок:001 [ вода ] 'а'ед,им,'ы'ед,род,'е'ед,дат,'у'ед,вин,'ой'ед,твор, * 'е'ед,пр,'ы'мн,им,'#'мн,род,'ам'мн,дат, * 'ы'мн,вин,'ами'мн,твор,'ах'мн,пр,'ою'ед,твор,'о'сл ок:011 [ здание ] 'е'ед,им,'я'ед,род,'ю'ед,дат,'е'ед,вин,'ем'ед,твор,'и'ед,пр, * 'я'мн,им,'й'мн,род,'ям'мн,дат,'я'мн,вин,'ями'мн,твор, * 'ях'мн, пр,'е'сл

Форматы - Formats ф:001 хар:S,муж,неод ф:002 хар:S,жен,неод

Трафареты и маски – Templates and Masks т:001 [вода] ф:2,ок:1 т:101 [ жена ] хар:S,од,жен,ок:1/24,ок:'#'мн,вин

Чередования - Alternations чер:001 [ стрелок ] ед,им стрелок, стрелка,стрелку,…,стрелки,… чер:002 [лесок] ед,им/ед,вин лесок, леска, леску, лесок, …,лески,… чер:003 [ сосен ] мн,род сосна, сосны, сосне,…, сосны, сосен, соснам…

Алгоритм морфологического анализа – Algorithm of morphological analysis Морфологические позиции (обойма) - ordered list positions Русский язык: 6 позиций префикс основа тема суффикс окончание частица Prefix Base Theme Suffix Ending Particle 1 2 3 4 5 6 писать написанный поинтереснее рассматривающийся Просмотр слева направо или справа налево – Scanning from left to right or from right to left Конечный автомат! – finite-state automaton

Алгоритм морфологического анализа – Algorithm of morphological analysis Обработка сложных слов - Processing of Composita нефтепереработка = нефте (=НЕФТЬ,сл) +переработка пятитомный = пяти (=ПЯТЬ,сл) + томный2 полкруга = пол (=ПОЛ3,сл) + круг минсвязи = мин (=МИНИСТЕРСТВО,им,сл-верш) + связь бизнес-проект = бизнес (БИЗНЕС,им,ед) + проект наркоманка = нарко (НАРКОТИЧЕСКИЙ,сл) + манка (чтобы избежать этого, надо ввести слово в словарь: in order to avoid such parse one needs to add the word to the dictionary)

Алгоритм морфологического анализа – Algorithm of morphological analysis Обработка неопознанных слов Processing of Unidentified Words Технические приемы - Technicalities Guesser