🗊Презентация Теория и практика информационно-аналитической работы. Семинар 6 2018

«Теория и практика информационно-аналитической работы» Семинар 6 2018

Запускаем telegram-каналы1 Большинство telegram-каналов – вовсе не про «инсайд», это просто сборка сообщений по какой-то теме, вытащенных из открытых источников. Значит, задача создания telegram-канала сводится к следующим элементарным фрагментам: Выбор темы Составление поискового запроса Упаковка ежедневного набора сюжетов Третий пункт – ваш авторский выбор, мы здесь оттачиваем первые два.

Выбор темы Выбор темы определяется следующими критериями: Интуитивная понятность для потребителя: Тема «Новости рынка китайских автомобилей в России» – правильная, тема «Резонансные проблемы регионов» тема неправильная Главное: тема должна конечным образом укладываться в поисковый запрос для той поисковой системы, которую мы используем. Поэтому тему иногда приходится корректировать под запрос, а не только запрос под тему Размер выдачи документов – соответствовать тем ресурсам, которые вы можете выделить для их обработки

Составление поискового запроса Пишем запрос на поиск информации по теме: «Недовольство В.Путина работой чиновников» Важно: Тема, название телеграм-канала и состав лексем информационного запроса это три разные сущности Запрос пишем под Яндекс.Новости. Если пишем под Google или Медиалогию – возможности другие, значит, логика поиска и логика самого телеграм-канала будет чуть другой. Запрос в Google это не упрощенный запрос в Яндекс.Новости, и не еще более упрощенный запрос в Медиалогию. Это три разные логики построения поиска!

Выделяем ключевые лексемы1 Вспоминаем: пишем простейший запрос на естественном языке, читаем первые сто-двести документов, выделяем ключевые лексемы Лексема первая: Президент России В.В.Путин, описывается словами и словосочетаниями: Путин (в принципе его вполне достаточно) Президент РФ Президент России Так как все слова описывают (относятся) к одному понятию, то они должны объединяться через словосочетание «ИЛИ»: Путин ИЛИ «Президент РФ» ИЛИ «Президент России» Тогда запрос на это понятие для Яндекс.Новости имеет вид: Путин | «Президент РФ» | «Президент России» Еще можно учесть, что РФ и Россия – синонимы, тогда: запрос для Яндекс.Новости может быть такой: Путин | (Президент /1 (РФ | России))

Выделяем ключевые лексемы2 Понятие «недоволен» – формируем набор лексем: Недоволен, раскритиковал, пожурил , критикует , возмутился, разгневан, рассержен , рассердился, рассердило, недовольство, критика, разнос, гнев, неудовольствие … И еще сто лексем. Выбираем (интуитивно, по опыту!) наиболее значимые. Ваш выбор, ваш опыт, ваше решение. Фрагмент запроса под это понятие к тестированию: (недоволен | раскритиковал | пожурил | критикует | возмутился | разгневан | обвинил | рассержен | рассердился | рассердило | недовольство | критику | разнос | гнев | неудовольствие | укорять)

Выделяем ключевые лексемы3 Понятие «чиновники» – формируем набор лексем: Чиновники, министр, замминистра, премьер, вице-премьер, …. Силуанов, Голодец , Мединский, Дворкович … Министерство, ведомство, правительство…. Минфин, Минобрнауки. Центробанк … И еще десять категорий, в каждой из которых сто лексем Выбираем (интуитивно, по опыту!) наиболее значимые. Ваш выбор, ваш опыт, ваше решение. Фрагмент запроса для понятия «чиновники»: (Чиновники | министр | замминистра | премьер | вице-премьер | Силуанов | Голодец | Мединский| Дворкович | Министерство | ведомство | правительство | Минфин | Минобрнауки | Центробанк)

Как можно было сделать 3 Понятие «чиновники»: Чиновники ИЛИ министр ИЛИ замминистра ИЛИ премьер ИЛИ вице-премьер ИЛИ Силуанов ИЛИ Голодец ИЛИ Ливанов ИЛИ Дворкович ИЛИ … Министерство ИЛИ ведомство ИЛИ правительство Минфин ИЛИ Минобрнауки ИЛИ Центробанк … Кусок запроса для понятия «чиновники»: (Чиновники | министр | замминистра | премьер | вице-премьер | Силуанов | Голодец | Ливанов | Дворкович | Министерство | ведомство | правительство | Минфин | Минобрнауки | Центробанк)

Формируем запрос Соединяем три фрагмента запроса: (Путин | (Президент /1 (РФ | России))) & (недоволен | раскритиковал | пожурил | критикует | возмутился | разгневан | рассержен | рассердился | рассердило | недовольство | критику | разнос | гнев | неудовольствие) & (чиновники | министр | замминистра | премьер | вице-премьер | Силуанов | Голодец | Ливанов | Дворкович | Министерство | ведомство | правительство | Минфин | Минобрнауки | Центробанк) Проверяем этот запрос в Яндекс.Новости и видим, что выборка … явно не такая, как требуется

Проверяем в Яндекс.Новости Помните про ограничение на длину запроса!

Отладка запроса1: Что видно? Есть критика Путина в адрес кого-то и критика в адрес самого Путина и критика от имени помощников Путина… Почему так получилось? Потому что Путин сам нередко становится объектом критики. Кроме того, в одном предложении может встречаться «Путин» и критика, адресованная вообще другому лицу. И как этого избежать? «Отрицать» все лишнее (плохой выход – слишком много надо отрицать) Добавить понятие – объект (или предмет) критики. Задать жесткий порядок слов: не «критикуют Путина», но «Путин критикует». Отключить морфологию некоторых слов. Чтобы убрать вариант «помощник Путина критикует».

Отладка запроса2 Второй способ – добавить четвертое понятие - «предмет или повод для критики»: (Работу | решение | инициативу | закон | предложение | бюрократический | бюрократ | подход). Тем самым: Скрытым образом заужаем тему (например, исчезла критика личной нескромности) (Путин | (Президент /1 (РФ | России))) & (недоволен | раскритиковал | пожурил | критикует | возмутился | разгневан | рассержен | рассердился | рассердило | недовольство | критику | разнос | гнев | неудовольствие | укор) & (Работу | решение | инициативу) & (Чиновники | министр | замминистра | премьер | вице-премьер | Силуанов | Голодец | Мединский| Министерство | ведомство | правительство) Проверяем запрос в Яндекс.Новости и видим, что… выборка резко уменьшилась, и все равно не очень нас устраивает качеством

Проверяем в Яндекс.Новости Помните про ограничение на длину запроса!

Отладка запроса4 Второй вариант чуть лучше, но все равно большой шум, хотя выборка резко уменьшилась в объеме. Пробуем дальше Как в Яндекс задать жесткий порядок слов? Используем оператор /(1 7) поиск на расстоянии от 1 до 7 слов, с учетом порядка. ((Путин | (Президент /1 (РФ | России))) /(1 7) (недоволен | раскритиковал | пожурил | критикует | возмутился | разгневан | рассержен | рассердился | рассердило | недовольство | критику | разнос | гнев | неудовольствие | укор)) & (Работу | решение | инициативу) & (Чиновники | министр | замминистра | премьер | вице-премьер | Силуанов | Голодец | Ливанов | Министерство | ведомство | правительство)

Проверяем в Яндекс.Новости Обратите внимание как меняется выборка документов: сообщений стало меньше, но и шума почти не видно.

Отладка запроса5 Третий вариант заметно лучше, но попробуем продолжить работу Как в Яндекс задать жесткую форму слова? Используем оператор ! перед какими словами? Путин ((!Путин | (!Президент /1 (РФ | России))) /(1 7) (недоволен | раскритиковал | пожурил | критикует | возмутился | разгневан | рассержен | рассердился | рассердило | недовольство | критику | разнос | гнев | неудовольствие | укор)) & (Работу | решение | инициативу) & (Чиновники | министр | замминистра | премьер | вице-премьер | Силуанов | Голодец | Ливанов | Министерство | ведомство | правительство)

Проверяем в Яндекс.Новости

Как можно было сделать 9 Последний вариант еще лучше, только маловато статей – всего около 500 (вообще в Яндекс.Новости). Значит, дневной массив будет совсем небольшим. Возвращаемся на шаг вверх и принимаем решение убрать дополнительное понятие – предмет-повод для критики ((!Путин | (!Президент /1 (РФ | России))) /(1 7) (недоволен | раскритиковал | пожурил | критикует | возмутился | разгневан | рассержен | рассердился | рассердило | недовольство | критику | разнос | гнев | неудовольствие)) & (Чиновники | министр | замминистра | премьер | вице-премьер | Силуанов | Голодец | Ливанов | Министерство | ведомство | правительство | Минфин | Минобрнауки | Центробанк) Полученная выборка практически чистая, но в ней Путин чаще критикует США, а не наших чиновников…

Проверяем в Яндекс.Новости

И что делать? Добавим жесткий порядок слов еще и между понятиями «недовольство» и «чиновник», а также добавим отрицание (всего двух слов), предварительно убрав и слово «гнев» (не влезает в ограничение на 400 символов). !Путин /(1 7) (недоволен | раскритиковал | пожурил | критикует | возмутился | разгневан | рассержен | рассердился | рассердило | недовольство | !критику | разнос | неудовольствие) /(1 50) (Правительство | "вице-премьер" | чиновник | бюрократ | Минтруда | Минздрав | Минфин | МЭР | Минэкономразвития | Минтранс | Минобороны | Медведев | Голодец | Силуанов | Васильева | Трутнев) ~~ (Украина | США)

Проверяем в Яндекс.Новости

Итоги В последнем варианте мы получили нормальный результат – порядка 50-100 материалов на день (4-10 сюжетов) и уровень шума незначительный. Это вполне приемлемо для компактной обработки. Краткие выводы на будущее: Оказалось, что очень важно понимать как будет написано (сформулировано) в тексте то, что мы ищем. Оказалось, что сложные операторы действительно полезны. Иногда приходится сперва делать определенные ограничения, а потом появляется возможность от них отказаться (пример – введение дополнительного понятия предмет-повод для критики

План дальнейшей работы на вторую половину занятия Те, у кого есть ноутбуки – к доске. По очереди выдергивают из аудитории по одному в свою команду Каждая группа садится и организует работу внутри себя – по алгоритму, который был изложен на первом этапе занятия Выбирается тема Выбираются понятия Строятся фрагменты запроса под каждое понятие Отлаживается запрос Уточняется тема Итог работы – страничка выгрузки из Яндекс.Новости за день по сделанному запросу, которую мы все вместе обсуждаем

Советы и рекомендации1 Распределение времени (рекомендую) 5 минут – формирование команд 5 минут – выбор темы и обсуждение 10 минут – чтение результатов поиска на свободном языке, отбор лексем 15 минут – отладка запроса 10 минут - резерв

Советы и рекомендации2 Распределение людей (рекомендую) Название темы, выбор понятий – все вместе Отработка частей запроса – раздать внутри группы (если больше одного ноутбука) Сведение запроса и отладка – один исполнитель, один принимающий решение, остальные участвуют в обсуждении

Советы и рекомендации3 На следующем семинаре – каждая группа берет запрос другой группы и показывает (на основании работы дома), как его можно сделать еще эффективнее.