ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ

Государственное образовательное учреждение высшего профессионального образования «Уральский государственный университет им. А.М. Горького»

ИОНЦ «Русский язык»

филологический факультет

кафедра современного русского языка

Компьютерные технологии в филологии Методические указания к изучению дисциплины

Подпись руководителя ИОНЦ Дата

Екатеринбург 2007

2

Утверждено учебно-методической комиссией филологического факульте-

та

Методические указания состоят из следующих частей:

1. Введение

2. Программа учебного курса «Компьютерные технологии в филологии»,

включающая содержание лекционного курса и материалы для самостоятельной

работы студента по основным темам, сформулированные в тезисном виде.

3. Списки рекомендуемой учебной и научной литературы (основной и до-

понительной).

4. Темы лабораторных, семинарских занятий и коллоквиумов.

5. Вопросы и задания для самоконтроля.

6. Перечень вопросов к зачету.

ВВЕДЕНИЕ

Цель данной дисциплины — сформировать у студентов и магистрантов

системное представление о приложимости и развитии компьютерных техноло-

гий в филологических исследованиях. Филология объединяет разные по мето-

дологии направления: лингвистику, литературоведение и фольклористику. В то

же время их объединяет общий объект, которым является текст. Формализация

текстовых данных и возможность быстрой обработки больших текстов создают

новые стимулы для развития филологии. Данный курс в целом способствует

интеграции гуманитарного и естественнонаучного знания, расширению фило-

логического кругозора, развитию более серьезного отношения к применению

статистических методов в студенческих научных работах и практической цен-

ности гуманитарных исследований.

Задачи дисциплины: определить наиболее существенные филологические

направления, в которых активно задействуются компьютерные технологии; вы-

явить значимые аспекты автоматической обработки текста в программах ин-

3

формационного поиска, машинного перевода, атрибуции текста, в лингвистиче-

ских базах данных и т.п.; дать студентам представление о работе с компьютер-

ными программами, задействующими филологическую информацию.

Данный курс, с одной стороны, базируется на филологической информа-

ции, которую студенты получают в рамках лингвистических и историко-

литературных курсов. С другой стороны, синтетический характер курса пред-

полагает привлечение информации естественно-научных дисциплин: информа-

тики, математики, статистики.

Изучение курса предполагает общую ориентацию в привлечении совре-

менных компьютерных технологий в филологических исследованиях, знание

принципов устроуства лингвистических баз данных, существующих корпусов

русских текстов и умение ими пользоваться. Желательно умение грамотно

пользоваться поисковыми системами (в том числе грамотно построить запрос к

ИПС), системами машинного перевода и современными электронными слова-

рями. Студенты должны быть компетентны в плане применения своих знаний в

любой сфере, в которой может быть востребована филологическая информация.

ПРОГРАММА УЧЕБНОГО КУРСА

«КОМПЬЮТЕРНЫЕ ТЕХНОЛОГИИ В ФИЛОЛОГИИ»

Содержание лекционного курса

и материалы для самостоятельной работы студента

I. Введение

Содержани е л екций

Филологические направления, в которых активно задействуются компью-

терные технологии. Экскурс в проблемы автоматической обработки текста, не-

обходимой для работы программ, анализирующих и преобразующих текстовые

данные.

4

II. Компьютерная лексикография

Содержани е л екций

1. Общие сведения. Формализация структуры словаря. Устройство базы

данных словаря. Типы информации в словаре и базе данных (БД).

2. Объекты БД: таблицы и формы, фильтры, запросы, отчеты, макропро-

граммы. Пользовательская работа с объектами базы в лексикографической

практике.

3. Идеографическая лексикография. Словарь-тезаурус. Устройство идео-

графической базы данных, системное представление семантической иерархии.

Руские идеографические словари. Проект WordNet и его развитие в разных

странах.

Материалы для работы студента

Лексикография — практика, а теперь и большая теория разработки слова-

рей разного типа. Заведомо прикладная дисциплина.

Словари и энциклопедии on-line и в полнотекстовом формате можно най-

ти по следующим адресам:

● gramota.ru

● slovari.ru

● cfrl.ru

● lsw.ru

● rusgram.narod.ru (Грамматика-80)

● speakrus.narod.ru/dict-mirror

● ru.wikipedia.org (сайт «Википедии»)

… …

Словари на дисках

Сегодня большой выбор лексикографических источников, но некоторые

важные словари пока не существуют в электронном формате.

Формализация структуры словаря:

5

● макроструктура — словник и его организация (словник — совокуп-

ность описываемых единиц, не только слов),

● микроструктура – повторяющаяся модель словарной статьи.

Микроструктура обычного толкового словаря:

● заголовочная единица («лексический вход», вокабула, лемма),

● № значения,

●грамматическая информация,

● стилистическая информация,

● толкование,

● иллюстрации,

● производные единицы,

● фразеология,

● этимологическая информация.

Графическая разметка статьи (пример из БТС):

НÓТА –ы, ж. [от лат. nota – знак, замечание]. Дипл. Официальное ди-

пломатическое письменное обращение правительства одного государства к

другому. Н. протеста. Обмен нотами. < Нóтный, -ая, -ое.

Микроструктура конкретной статьи может быть неполной.

Словарь – заведомо формализованный источник, однако он делается для

людей, способных элементарно разделить словарные статьи на зоны.

Это приводит к неполной формализации данных.

Этапы создания современного словаря:

● корпус текстов (на его основе формируется словник и иллюстрации),

● словарные статьи,

● ввод информации в базу данных,

● редактирование информации в базе данных,

● компиляция словаря в текст,

● редактирование в тексте и базе данных,

● верстка и оригинал-макет,

● печать.

6

Пример словаря:

Русские глагольные предложения: экспериментальный синтаксический

словарь / Под ред. Л. Г. Бабенко. Москва, Флинта-Наука, 2000.

Схема обеспечения словаря:

● структура толкового словаря глаголов,

● иллюстрации из художественных текстов (конкорданс),

● речения авторов,

● массив структурных схем предложений,

● набор компонентов пропозиции,

● СЛОВАРНАЯ СТАТЬЯ,

● макет,

● печать,

Необходимость быстрой индексации, поиска, сплошного редактирования

информации и т.п.

Среды (системы) управления базами данных (СУБД).

MS Access – наиболее доступная рядовому пользователю СУБД, интегри-

рованная в пакет MS Office.

Содержит средства создания объектов базы данных для неопытных поль-

зователей.

Мастер (Wizard) – процедура создания объекта в полуавтоматическом

(диалоговом) режиме.

Архитектура СУБД:

● средства создания таблиц и поддержания связи между ними,

● средства ввода, поиска, редактирования, вывода данных,

● средства программирования.

Элементы СУБД:

● таблицы,

● формы,

● фильтры — запросы — отчеты,

7

● программные модули.

Элементы таблицы:

● строка = запись (record) БД,

● столбец = поле (field) БД.

Строки содержат одинаковое число столбцов, но столбцы могут содер-

жать разные виды данных.

Типы полей таблицы — типы информации в базе данных и словаре

● счетчик (Autonumber)

● числовой (number)

● текстовый (text)

● догический (boolean)

● мемо, примечание (memory)

● general, OLE (Object Linking and Embedding)

● дата, время (date, time)

● гиперссылка (hyperlink)

● денежный (currency)

Пример словарной статьи (из БТС) — разбить на типы информации:

НÓТА –ы, ж. [от лат. nota – знак, замечание]. Дипл. Официальное ди-

пломатическое письменное обращение правительства одного государства к

другому. Н. протеста. Обмен нотами. < Нóтный, -ая, -ое.

Объект «форма» как словарная карточка.

Основные признаки объектов:

● макет (внешний вид),

● данные,

● события.

Создание объектов СУБД:

● в режиме конструктора (обычно),

● в режиме мастера (для начинающих)

Идеографическая лексикография. Словари для изучения:

8

● Большой толковый словарь русских существительных: Идеографиче-

ское описание. Синонимы. Антонимы. Сер. «Фундаментальные словари». Под

ред. проф. Л. Г. Бабенко. М., 2005. 864 с.

● Большой толковый словарь русских глаголов: Идеографическое описа-

ние. Синонимы. Антонимы. Английские эквиваленты. Сер. «Фундаментальные

словари». Под ред. проф. Л. Г. Бабенко. М., 2007. 576 с.

● Русские глагольные предложения: экспериментальный синтаксический

словарь / Под ред. Л. Г. Бабенко. Москва, Флинта-Наука, 2000.

● Русский семантический словарь. Толковый словарь, систематизирован-

ный по классам слов и значений / Под общей ред. Н. Ю. Шведовой. М.: "Азбу-

ковник". Издание продолжается.

И другие издания.

WordNet как идеографическая система

Из аннотации: «WordNet was developed by the Cognitive Science Laboratory

at Princeton University (1985) under the direction of Professor George A. Miller».

http://wordnet.princeton.edu/

Визуализация семантических сетей: http://www.visualthesaurus.com/

Проекты EuroWordNet, BalcaNet

http://www.illc.uva.nl/EuroWordNet/

Русский WordNet: RussNet и др. проекты

Идея автоматического поиска семантических связей (Google):

www.labs.google.com/sets)

III. Корпусная лингвистика

Содержани е л екций

Введение в корпусную лингвистику (КЛ). Общие соображения. Понятия

КЛ. Требования к корпусу. Специфика разметки языковых данных. Проблемы

снятия неоднозначностей в корпусах текстов. Достижения КЛ. Современные

9

проекты. Корпуса текстов on-line. Проблемы современной корпусной лингвис-

тики.

Материалы для работы студента

Корпус — это сформированная по определенным правилам выборка язы-

ковых данных. По сути это лингвистическая база данных.

Чаще всего под корпусом понимают корпус текстов. Корпус не просто

хранилище в электроном. формате (библиотека), он содержит метатекстовую

разметку, т.е. единицам корпуса приписана содержательная лингвистическая

информация.

Плунгян Владимир Александрович, доктор филол. наук, координатор

проекта «Национальный корпус русского языка»: «Теперь ограничений на объ-

ем анализируемого материала и скорость поиска информации в нем по суще-

ству нет, а это означает, что в распоряжении исследователя оказываются

колоссальные массивы текстов самого разного типа. Это не замедлило ска-

заться на развитии наших знаний о языке <…> подлинно научные описания

грамматического строя языков, а также авторитетные академические сло-

вари — практически все без исключений — должны составляться на основе

корпусов этих языков» .

Появление корпусов изменило философию лингвистического исследова-

ния:

● возможность работы с огромными объемами информации,

● наличие корпусов не только подтверждение научных гипотез, но и по-

становка оригинальных проблем перед теоретической лингвистикой.

В итоге не дихотомия, а триада: Язык — Речь — Корпус

Построение словарей на основе корпуса.

Конкорданс — массив употреблений одной единицы.

Все смешалось в доме Облонских.

Дети бегали по дому как потерянные.

Подъехав к дому, Облонский высадил сестру.

… … … и еще множество контекстов.

10

Залог качественной, «неумозрительной» выборки материала ⇒ качест-

венная дефиниция в словаре.

Раньше конкорданс можно было представить на карточках словарной

коллекции. Он не был репрезентативен. На него уходило большое количество

времени и усилий.

Понятия корпусной лингвистики:

● корпус данных (чаще текстов),

● проблемная область,

● единица хранения и уровень разметки,

● порог отображения данных: пропорциональное сужение.

Вопрос объема корпуса:

● проблема недостаточности данных

● проблема чрезмерности данных.

Вопрос решается опытным путем.

Типология корпусов:

● статические — динамические,

● исследовательские — иллюстративные,

● параллельные (полиязыковые) – моноязыковые,

● структурированные – неструктурированные (последние нормальными

корпусами не являются).

Требования к корпусу:

● репрезентативность,

● полнота,

● разноуровневая разметка (желательно со снятой омонимией),

● прозрачность и логичность разметки,

● легкость ввода, редактирования и вывода данных в нужном формате,

● программное обеспечение.

Достижения корпусной лингвистики.

11

● Брауновский корпус американского английского (создан в 1962-1963

гг.) — около 1 млн словоупотреблений.

http://www.hd.uib.no/icame/bcm.html

● Британский национальный корпус (создан в 1990 г., published in 1994) –

около 1 млн словоупотреблений.

http://www.natcorp.ox.ac.uk

● Чешский национальный корпус Карлова университета (Прага).

Основан в 1994 г., 20 млн словоупотреблений для пользователей Интер-

нета, 100 млн словоупотреблений в целом.

http://www.ucnk.ff.cuni.cz

● Проект «Персей» (Perseus). Изначально размеченный массив античных

текстов, а теперь — расширенное хранилище:

Renaissance Materials.

Англоязычные тексты – около 10 млн словоупотреблений.

Латинские тексты — около 1 млн словоупотреблений. И прочее.

http://www.perseus.tufts.edu

Русские проекты

Уппсальский корпус (создан в Швеции в 1987 г.)

Единица хранения – текст.

Основа русского корпуса Тюбингенского университета (ФРГ)

http://www.sfb441.uni-tuebingen.de/b1/en/korpora.html

Русские проекты

Машинный (компьютерный) фонд Института русского языка РАН.

The Computer Fund of Russian Language (CFRL) is a research and develop-

ment department within the V.V.Vinogradov Institute for Russian Language of the

Russian Academy of Sciences. It was started in 1985.

(www.cfrl.ru )

12

Русские проекты

● Корпус газетных текстов, созданный под руководством Анатолия Яно-

вича Шайкевича (Машинный фонд Института русского языка РАН).

Около 7,5 млн словоупотреблений в 29,5 тысячах текстовых фрагментов.

Материал взят из публицистики 2-й половины 1990-х гг.

Выставлен на сайте Машинного фонда Русского языка

Пример разметки в корпусе Шайкевича:

[%iso88591; ]> CFRL Parole encoding Computer Fund of Russian Language

http:// On-line 99-01-27 &parole.tax; 99-01-27 Russian

izi02edu

Жизнь в России все же не темна. Есть 1 сентября — праздник, который

всегда с тобой…]

Кроме газетного корпуса, за время существования Машинного фонда соз-

дано несколько менее объемных собраний:

● корпус языка Ф. М. Достоевского,

● корпус рекламных слоганов,

● корпус метафор,

● корпус дискурсивных слов и ряд других.

● Национальный корпус русского языка (www.ruscorpora.ru). Руководи-

тель работ проф. В. А. Плунгян.

Около 100 млн словоупотреблений.

Метатекстовая, акцентная, морфологическая, синтаксическая и семанти-

ческая разметка.

Зона со снятой грамматической омонимией (около 5 млн словоформ)

Подразделы корпуса:

1) основной корпус (письменные и устные тексты),

2) диалектный корпус,

3) поэтический корпус,

4) параллельный корпус.

13

Принципы поиска в корпусе (на примере Национального корпуса русско-

го языка):

● создание подкорпуса,

● поиск по метатекстовым признакам,

● поиск по морфологическим, синтаксическим, семантическим призна-

кам,

● возможность задать расстояние между словами

Неровность проекта на сегодняшний день. Несистемные лакуны в зоне со

снятой омонимией. Тем не менее этот проект сегодня стал самым мощным и

перспективным.

● Хельсинкский аннотированный корпус (ХАНКО). Основан на материа-

лах журнала «Итоги».

100.000 словоупотреблений. Морфологическая разметка.

Руководитель проекта — проф. Арто Мустайоки, координатор — Михаил

Копотев.

Корпус небольшой, зато качественно подобранный и размеченный.

(http://www.slav.helsinki.fi/hanco/)

● Корпус газетных текстов, созданный под руководством А. А. Поликар-

пова (МГУ, филологический факультет, лаборатория общей и компьютерной

лексикографии).

Около 205.000 словоупотреблений. Выставлен на сайте лаборатории.

Кроме того, новый проект лаборатории (© МГУ, 2006):

Корпус «Поэзия и драматургия А. С. Пушкина» и «Путеводитель по Пуш-

кину»

Текстовые единицы размечены информацией 15 типов:

● «Дата»,

● «Адресаты»,

14

● «Варианты слов»,

● «Персонажи и лица»,

● «Цвето- и светообозначения» и т.д.

● Электронные библиотеки

Самое известное русское собрание – библиотека Максима Мошкова.

(www.lib.ru)

Там же можно найти множество ссылок на др. библиотеки.

В первое время самая большая часть русскоязычных собраний — русская

фантастика.

● www.aot.ru: поиск по библиотеке Мошкова: поиск без снятой омони-

мии, но объем корпуса таков, что он может быть полезен для пользователя.

Проблемы КЛ

● плохое качество электронных текстов,

● затратность в плане времени и ресурсов,

● создание корпуса под конкретный проект; проблема универсальности

корпуса.

IV. Статистический анализ текста

1. Проблема атрибуции текста

Содержани е л екций

Введение в проблему. Этапы и методы атрибуции художественного тек-

ста. Примеры квантитативных методов атрибуции текстов.

Литературоведческие и лингвистические методики. Методы буквенного

(А.А.Поликарпов, Д.В.Хмелев), грамматического, лексического, синтаксиче-

ского анализа. Вопросы, методы, решения. Примеры атрибуции текстов Ф.

Достоевского, М. Шолохова, М. Агеева.

Известные случаи атрибуции анонимных и псевдонимных текстов. Атри-

буция текста в криминалистике. Общие проблемы атрибуции текстов.

15

Материалы для работы студента

Термины-синонимы:

атрибуция = авторизация = установление авторства анонимного текста

(или текста с мистифицированным авторством)

В шир. смысле — приписывание тексту атрибутов (не только авторства,

но и времени и места создания, жанра и проч.).

Формулировки — результаты атрибуции:

● текст принадлежит автору Х,

● текст не принадлежит автору Х,

● текст, вероятней всего, принадлежит автору Х,

● текст может принадлежать автору Х.

→ Проблема оценки вероятности

Аспекты проблемы:

● текстологический,

● криминалистический.

Проблемы авторства:

● древнерусские литературные памятники

● литература XIX в. (например, стихотворения, приписываемые Пушки-

ну, «Гавриилиада»),

● проблемы авторства: ХХ в. («Тихий Дон», «Роман с кокаином» и т.д.).

ХХ в.. Развитие проблемы:

● Н. А Морозов, «формальная» школа (Б. Томашевский, Ю. Тынянов, Б.

Эйхенбаум),

● «объективно-исторический» подход (В. Виноградов, Д. Лихачев),

● современные направления (широкое использование квантитативных

методов).

Приемы атрибуции

● извлечение смысловой информации из содержания текста, словаря ав-

тора, референциальной среды (1),

● извлечение смысловой информации из «формы» текста (2).

16

(1):

● документально-фактологический материал,

● сравнение проблематики, сюжета и тематики с текстами-образцами,

● совпадение/несовпадение семантики и формы мелких сегментов (изби-

рательно-стилистический подход).

(2):

● палеографический и графологический анализ,

● квантитативный метод — собственно математико-лингвистический

Примеры квантитативных методик:

● Н. А. Морозов (1915 г.): идея «лингвистических спектров».

Изучение частотности служебных слов в классических текстах.

Частные наблюдения Морозова:

частица “было” (например, чуть было) — только у Пушкина; “близ” —

только у Тургенева (у других “около”); “ведь” — отсутствует у Карамзина и За-

госкина; “вдруг” и “даже” редки у Толстого; “еле” — только у Гоголя; “заме-

сто”— только у Тургенева; “ибо”— еще употребляется часто Карамзиным и Го-

голем, изредка Пушкиным, но уже совсем отсутствует у Толстого, Тургенева и

Загоскина и т.п.

Поиск характеристик текста, которые вряд ли мог учитывать автор.

● А. Л. Гришунин: анализ дублетных языковых средств (Иванович – Ива-

ныч, дверь – двери, много лет (тому) назад, может быть – быть может и

проч.).

● Г. В. Ермоленко (Анонимные произведения и их авторы. Минск, 1988).

4 приема:

анализ высокочастотной лексики,

анализ низкочастотной лексики,

выявление речевых параллелей (дублетов),

анализ покрытия текста нейтральными словами.

17

● Милов Л. В. и др. ( От Нестора до Фонвизина: Новые методы определе-

ния авторства. М., 1994): атрибуция древнерусских литературных памятников и

анонимных произведений XVII-XVIII вв.

Проведен морфологический и синтаксический анализ, выявлено порядка

150 признаков.

● Методика Дмитрия Хмелева (лингвоанализатор)

Самый любопытный ввиду абсолютной «формальности» метод:

● буквы текста как реализация марковских цепей,

● матрица буквосочетаний,

● оценка вероятности авторства.

Атрибуция «Тихого Дона»

Хьетсо Г. и др. Кто написал «Тихий Дон»? М., 1989.

Использованы традиционные способы; кроме того, проанализированы:

● словарный профиль,

● словарный запас,

● дистрибуция классов слов,

● частотность частей речи в разных позициях в предложении,

● самые частотные сочетания слов.

Атрибуция в криминалистике. Объекты:

● плагиат и авторские права

● дискредитация конкурентов

● разные тексты, связанные с составом преступления (угрозы, шантаж,

взятки, договоренности о сбыте наркотиков и т.п.)

→ Работа как с письменными, так и устными источниками

Методы:

● идентификационные,

● неидентификационные.

Выводы

● количественные методы атрибуции самые надежные;

18

● слабость методов — в их зависимости от длины анализируемых тек-

стов;

● поиск стилистических характеристик, не подверженных авторской во-

ле;

● важность временн'ых характеристик текстов.

2. Лингвистические принципы автоматического выделения инфор-

мации из текста

Содержани е л екций

Выделение терминов из корпуса текстов: графический уровень, словооб-

разовательный уровень, лексический уровень, синтаксический уровень, тексто-

вый уровень. Проблемы автоматического реферирования документов.

Материалы для работы студента

Основные задачи:

● выделение ключевых слов («терминов»)

● установление семантических связей между ними

● автоматическое реферирование документа (если необходимо)

Приложимость в научно-технической сфере. Экономия времени и денег.

Уровни языка и печатного текста:

● графический,

● словообразовательный,

● лексический,

● морфологический,

● синтаксический,

● текстовый.

Проблемы:

● идиоматичность семантики,

● размытость понятий «словосочетание» и «термин»,

● многофункциональность текстов,

19

● существование различных форматов (doc, pdf, txt, html и т.п.),

● «незавершенность» интернет-текстов.

Графический уровень: распознавание шрифтовых средств. Разметка в

html-документах.

Словообразовательный уровень: сложные термины (маркер — дефис),

аббревиатуры.

Лексический уровень:

● ключевые термины, keywords (они могут быть указаны — «плюсы» и

«минусы» анализа),

● статистическая идея, удаление «стоп-слов»; проблема ложной стати-

стики, тематическая и стилистическая специфика документа,

● поиск (квази)синонимии,

Лексическая частотность и закон Ципфа:

● закономерность распределения частоты слов естественного языка: если

все слова языка (или просто достаточно длинного текста) упорядочить по убы-

ванию частоты их использования, то частота n-го слова в таком списке окажет-

ся приблизительно обратно пропорциональной его порядковому номеру n (так

называемому рангу этого слова. Закон носит имя своего первооткрывателя —

американского лингвиста Джорджа Ципфа (George Kingsley Zipf) из

Гарвардского университета.

Морфология и синтаксис

● формы слов (использование форм род. п. в терминологии и др. шабло-

ны)

● частотность словосочетаний типа:

Adj + N

Adj + Adj + N

● статистика по типам предложений

«Дефиниционные конструкции». Фактор длины предложения

Текстовый уровень

20

● Роль тематической рубрикации.

● Авторские аннотации

● Источник информации (например, портал gramota.ru)

● Любые внешние сведения о документе

● Ранжирование слов по встречаемости в разных позициях:

заголовок,

1 абзац,

последний абзац,

2-4 абзацы,

подзаголовки, рубрикации, шрифтовые выделения,

первое и последнее предложение в каждом абзаце.

Задачи автоматического реферирования:

● список ключевых слов (иногда этого вполне достаточно),

● синтез текста из существующих предложений (sentence extraction),

● синтез принципиально нового текста (уровень с опорой на понимание),

● оценка исходного текста (?) – аналитический уровень.

Требования к реферату:

● информативность,

● соответствие содержанию исходного текста,

● хороший процент попадания ключевых слов,

● отсутствие «мусора»,

● небольшой объем,

● соответствие нормам естественного языка (лексические, морфологиче-

ские, синтаксические связи).

Ранжирование предложений: «вес» предложения, вероятно, связан с его

позицией в тексте.

Конечная обработка реферата:

● нормализация длины,

● построение связей между предложениями, вставка анафорических эле-

ментов,

21

● добавление ссылок на исходные источники и т.д.

3. Формализация филологических моделей художественного текста

Содержани е л екций

Лексическая статистика и идиостиль автора. Количественные методы в

применении к структуре сюжета. Статистические исследования стихотворного

ритма.

V. Автоматическая проверка орфографии и грамматики

Содержани е л екций

Общие проблемы проверки орфографии и грамматики. Спеллеры. Задей-

ствование разных уровней автоматической обработки текста для решения ор-

фографических проблем. Повышение скорости набора при помощи словарей.

Использование систем орфоконтроля в современных сотовых телефонах.

VI. Информационно-поисковые системы

Содержани е л екций

Поиск информации как лингвистическая проблема. Современные ИПС

(Google, Яндекс, Rambler и др.). Возможности расширенного поиска в ИПС.

Синтаксис запросов. Общие принципы индексации и ранжирования докумен-

тов.

Материалы для работы студента

Исходные положения:

● неконтролируемость, быстрота пополнения ресурсов и объем Интерне-

та,

● огромное количество дубликатов,

● представление информации в разных форматах,

● тематическое разнообразие текстов,

● специфика программирования WEB-страниц; спам,

22

● «коварство» гипертекста, гиперссылки.

Информационный поиск (Information retrieval, IR) — поиск неструктури-

рованной информации, единицей которой является документ произвольных

форматов. Предмет поиска – информационная потребность пользователя, вы-

раженная в поисковом запросе (query).

Синонимы:

● информационно-поисковая система (ИПС),

● поисковая система (ПС),

● поисковая машина (ПМ), машина поиска (МП),

● searching engine (SE),

● поисковик.

Направления передачи информации:

● запрос к ПМ,

● отклик ПМ.

Методология поиска:

● прямой поиск (подстроки в документе без дополнительной обработки),

● индексирование документов (создание «поискового образа» докумен-

та).

Предварительная обработка документа:

● извлечение,

● определение формата, кодировки и языка,

● сегментация (выделение слов и предложений) = «токенизация» (про-

блема многословных токенов и границ предложений),

● удаление стоп-слов,

● морфоанализ (при необходимости).

Предварительная обработка запроса: преобразование языковых выраже-

ний.

Инвертированный файл индекса:

23

в индексе поисковой системы значатся слова коллекции документов, а

для каждого слова перечислены все места, в которых оно встретилось:

подберезовик: 1→3→7→10→15

подосиновик: 2→3→5→11→15 →23

опенок: 10→15→27→114

Вопросы к индексу

● Сколько единиц должен содержать индекс?

● Какова вероятность отсутствия нужных ссылок в индексе?

● Как должен изменяться индекс в соответствии с изменением источни-

ков информации?

Пополнение баз поисковых систем:

● прямая индексация: разработчик сайта сам посылает информацию в ПС,

● программы-роботы, которые находят ссылки на новые страницы; за-

пускаются разработчиками (основной способ).

«География» поиска:

● в «открытом пространстве» Интернета,

● в закрытой коллекции.

Принцип человеко-машинного взаимодействия. Возможное участие экс-

пертов в индексировании: деньги VS. качество

Базовые установки поисковой системы:

● формат представления данных в ПС,

● формат запросов,

● оценка релевантности документов (степени близости запроса и доку-

мента).

Модели ИП:

● Булевская (булевая, boolean model, двоичная модель): опирается на опе-

рации пересечения, объединения и вычитания множеств.

● Векторная: документы и запросы рассматриваются как векторы в про-

странстве слов, а релевантность как расстояние между ними.

24

Булевская модель ИП. Работа с логическими операторами (And, Or,

(And)Not)

● Киркоров And Пугачева [++]

● Киркоров Or Пугачева [+/+]

● Киркоров Not Пугачева [+/–]

Простота и удобство для тех, кто умеет пользоваться логическими опера-

торами, но излишняя строгость, отсутствие механизмов оценки релевантности

слова для документа (и, соответственно, запроса), требование вроде простых,

но все же специальных знаний.

Векторная модель ИП

● Оценка значимости термина в документе и запросе.

● Мера близости.

Вес термина: отношение между частотой в тексте и частотой в коллекции

насколько часто встречается в документе?

Частота термина (term frequency, TF) – частота употреблений слова в до-

кументе.

Частота (слова) в документах (document frequency, DF) – число докумен-

тов в коллекции, содержащих данное слово.

Чем чаще термин встречается в коллекции, тем он менее интересен для

ИП.

Сравним термины звук и фонема в лингвистическом тексте.

Какой более значим для автоматической оценки содержания текста и оп-

ределения его тематики?

При использовании векторной модели оценивается важность термина

(есть механизм ранжирования), но модель плохо работает при анализе текстов

небольшого объема.

Общая идея страницы поисковой системы:

● поле для ввода запроса с необязательной кнопкой типа «Найти», «По-

иск», «Find», «Search» и т.п.

25

● отклик — вывод контекстов в ответ на запрос и ссылки на первоисточ-

ники.

Длительность ожидания зависит от сложности запроса, скорости работы

ПС, качества связи. Последнее обычно наиболее актуально.

Дополнительные возможности ПС:

● возможность указать группу WEB-сайтов (новости, магазины, картин-

ки, блоги и т.п.),

● возможность задать регион(ы) поиска,

● поиск по уже найденным страницам,

● расширенные запросы,

● сортировка результатов по релевантности, дате и др. показателям.

Новые пути развития ПС

В настоящее время порталы современных ПС функционально существен-

но расширяются не только за счет собственно поиска:

● словари,

● новости (автоматически обновляющиеся),

● погода,

● телепрограммы,

● гороскопы.

ПС как большой бизнес:

● реклама (разнообразные формы),

● системы перевода денег,

● интернет-магазины,

● программные продукты (не только поисковые: браузеры, плейеры, иг-

ры, антиспам, лингвистические модули etc.).

Статистика только Яndex’а: 3-5,5 млн посещений в день!

Использование конкретной ПС – это часто дело привычки и вкуса, а так-

же вопрос ареала поиска.

Как оценить работу ПС? Критерии точности (precision, P) и полноты (re-

call, R):

26

Проекты оценки ИП:

● РОМИП — Российский семинар по оценке методов

информационного поиска (www.romip.ru)

● TREC – Text Retrieval Evaluation Conference (www.trec.nist.gov)

Соревнования по ИП:

В России – кубок Яndex’а (www.kubok.yandex.ru).

Проблема грамотного составления запроса. Средний запрос колеблется

вокруг двух слов. В итоге пользователь расплачивается сотнями (тысячами)

лишних ссылок.

Синтаксис запросов в ПС (Яndex): полезные операторы и язык запросов:

www.yandex.ru/advanced.html

www.help.yandex.ru/search/

VII. Проблемы машинного перевода

Содержани е л екций

Перевод как прикладная лингвистическая дисциплина. Комбинирование

различных методов уровневого лингвистического анализа при переводе. Идея

универсализации перевода: утопия и реальность. Современные проекты (UNL).

Материалы для работы студента

Неоднозначность термина «перевод»:

● деятельность,

● результат деятельности,

● теория осуществления этой деятельности.

Перевод как прикладная лингвистическая дисциплина:

● теория перевода,

● анализ перевода,

● методика обучения переводу.

27

Междисциплинарность перевода. Перевод как сложный когнитивный фе-

номен

Классификации перевода:

● по типу речи: устный (синхронный / последовательный) / письменный,

● по направлению: односторонний / двусторонний,

● по задачам: пословный → подстрочник / буквальный / филологический

/ адаптивный (реферативный).

Машинный перевод (МП) — интенсивно развивающаяся область иссле-

дований, экспериментальных разработок и работающих систем, в которых к

процессу перевода с одного естественного языка на другой привлекаются ком-

пьютеры.

Междисциплинарность МП.

Привлекательность МП:

● АОТ на всех уровнях языка,

● отработка лингвистических теорий,

● лексико-синтаксическая основа,

● «интеллектуальность».

→ МП называют центральным направлением искусственного интеллекта.

Лингвистические проблемы:

● разрешение неоднозначностей,

● текстовый уровень их появления (ситуативная обусловленность текста,

экстралингвистические знания),

● возможность построения альтернативных структур текста,

● несовершенство формальных методов анализа текста, необходимость

их уточнения,

● обучаемость системы МП.

Альтернативы МП:

● изучение иностранных языков,

● выработка универсального языка,

● распространение одного из языков.

28

Но рынок перевода увеличивается ≈ на 15 % в год!

Наиболее актуальные сферы МП:

● научно-технический,

● коммерческий / деловой,

● рекламный,

● юридический,

● политический.

Сфера художественного перевода не является самой актуальной.

Отраслевые предпосылки:

● большой поток иноязычной информации в отрасли,

● политематический массив документов в международных организациях,

● техническая документация к экспортируемой продукции,

● поток однотипных сообщений.

Хронология МП

● к. 1940-х. – 1950-е гг. Постановка проблемы, разработка первичных ко-

дов, презентации первых систем;

● 1960-е – время разочарования: МП нерентабелен;

● 1970-е – новые возможности вычислительных систем, подъем работ;

● 1980-е – удешевление ПК, появление экономически оправданных раз-

работок;

● 1990-е – развитие Интернет, новый взгляд на МП как инструмент ком-

муникации;

2 основных направления МП:

● прямой перевод (нет различий между анализом и синтезом естественно-

го языка),

● системы с трансфером (построение промежуточного семантического

представления).

→ стратегия языка-посредника, создание «knowledge-based systems»

29

Стратегия «универсального семантического языка»

Проект UNL (www.unl.ru). Многоязыковой лингвистический конвертер,

основанный на семантических примитивах.

Разумные решения в практике МП:

● сужение проблемной области,

● тематические сферы текстов,

● следование прагматике перевода.

● стратегия ограниченного МП (пред- и постредактирование, полуавто-

матическое снятие омонимии.

Классификация систем МП (Л. Чайлдс, 1990):

● FAMT – полностью автоматизированный МП

● HAMT – МП при участии человека

● MAHT – перевод, осуществляемый человеком при помощи компьютера

Существующие системы МП и словари.

Выводы:

● МП как технологическая реальность,

● четкая постановка задачи,

● тематическое сужение,

● работа в новых форматах (UNL),

● обучаемость программ,

● отсутствие косности в плане «человеческого» перевода,

● избавление от утопических взглядов.

VIII. Заключение

Содержани е л екций

Перспективы развития компьютерных технологий в филологии. Взаимо-

влияние различных филологических направлений и методов. Вопрос о новом

месте филологии в современном мире.

30

РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА (ОСНОВНАЯ)

1. Апресян Ю. Д., Богуславский И. М., Иомдин Л. Л. и др. Лингвистиче-

ское обеспечение системы ЭТАП-2. М., 1989.

2. Баевский В. С. Лингвистические, математические, семиотические и

компьютерные модели в истории и теории литературы. М., 2001.

3. Богданов В. В. Статистические концепции языка и речи // Статистика

речи и автоматический анализ текста. М., 1973. С. 9–19.

4. Виноградов В.В. Проблема авторства и теория стилей. М., 1961.

5. Ермоленко Г. В. Анонимные произведения и их авторы. Минск, 1988.

[Атрибуция текста: филологические и количественные методы.]

6. Интернет-сайты, связаные с направлениями прикладной филологии:

dialog-21.ru, aot.ru, ruscorpora.ru и др.

7. Караулов Ю.Н. Лингвистическое конструирование и тезаурус литера-

турного языка. М., 1981.

8. Кукушкина О. В., Поликарпов А. А., Хмелев Д. В. Определение автор-

ства текста с использованием буквенной и грамматической информа-

ции // Проблемы передачи информации. Т. 37, № 2. М., 2001; http://

lexigraph.nm.ru/library.htm (сайт Лаборатории общей и компьютерной

лексикографии МГУ).

9. Лингвистический энциклопедический словарь. М., 1990. Ст.: "Автома-

тическая обработка текстов", "Количественные методы" и др..

10. Марчук Ю. Н. Методы моделирования перевода. М., 1985.

11. Марчук Ю.Н. Проблема машинного перевода. М., 1983.

12. Машинный перевод и прикладная лингвистика. М., 1986.

13. Машинный фонд русского языка: идеи и суждения. М., 1986.

14. Мельников Г.П. Системология и языковые аспекты кибернетики. М.,

1978.

31

15. Мельчук И. А. Опыт теории лингвистических моделей «Смысл —

Текст»: семантика, синтаксис. М., 1999. (Или: Мельчук И. А. Опыт тео-

рии лингвистических моделей «Смысл — Текст». М., 1974.)

16. Моделирование языковой деятельности в интеллектуальных системах.

М., 1987.

17. От Нестора до Фонвизина: Новые методы определения авторства / Ми-

лов Л.В. и др. М., 1994.

18. Хьетсо Г., Густавссон С. и др. Кто написал “Тихий Дон”? М., 1989.

19. Эндрю А. Искусственный интеллект. М., 1985.

РЕКОМЕНДУЕМАЯ ЛИТЕРАТУРА (ДОПОЛНИТЕЛЬНАЯ)

1. Андреев Д. Н. Статистико-комбинаторные методы в теоретическом и

прикладном языковедении. Л., 1967.

2. Богданов В. В. Статистические концепции языка и речи // Статистика

речи и автоматический анализ текста. М., 1973. С. 9–19.

3. Виноград Т. Программа, понимающая естественный язык. М., 1976.

4. Виноград Т. Работа с естественными языками // Современный компью-

тер. М., 1986.

5. Искусственный интеллект. В 3-х кн. М., 1990. — Кн. 1. Системы обще-

ния и экспертные системы. Кн. 2. Модели и методы.

6. Кулагина О.С., Мельчук И.А. Автоматический перевод: краткая исто-

рия, современное состояние, возможные перспективы // Автоматиче-

ский перевод. М., 1971.

7. Лавошникова К. Э. Спеллер, ты не прав! О подводных камнях в систе-

мах проверки правописания // http:// infolex.ru/elword4.html.

8. Лингвистические проблемы автоматизации редакционно-издательских

процессов. Киев, 1986.

9. Лукьянова Е. М. Информационная база автоматических словарей //

Статистика речи и автоматический анализ текста. М., 1980.С. 106–144.

32

10. Перцова Н. Н. Автоматические системы типа «вопрос — ответ», рабо-

тающие с естественным языком: история, современное состояние, пер-

спективы // Прикладная лингвистика. М., 1976. С. 135–161.

11. Попов Э.В. Общение с ЭВМ на естественном языке. М., 1982.

12. Попов Э.В. Экспертные системы. М., 1987.

13. Поспелов Д.А. Логико-лингвистические модели в системах управления.

М., 1981.

14. Прикладная лингвистика и автоматический анализ текста. Тарту, 1988.

15. Прикладные аспекты лингвистики. М., 1989.

16. Промышленные системы машинного перевода. Вып. 20. М., 1991.

17. Реферирование в общественных науках. Теория и методика. М., 1982.

18. Рождественский, Ю.В., Марчук, Ю.Н., Волков, А.А. Введение в при-

кладную филологию. М., 1998. (Рождественский Ю. В. и др. Введение в

прикладную филологию. М., 1987.)

19. Севбо И. П. Сквозной анализ как шаг к структурированию текстовых

знаний // НТИ. Сер. 2. 1989. № 2.

20. Скороходько Э. Ф. Лингвистические проблемы обработки текстов в ав-

томатизированных ИПС // Вопросы информационной теории и практи-

ки. N 25. М., 1974.

21. Струве Н. Роман-загадка // Агеев М. Роман с кокаином. М., 1990. С.200-

221.

22. Шенк Р. Обработка концептуальной информации. М., 1980.

ТЕМЫ ЛАБОРАТОРНЫХ, СЕМИНАРСКИХ ЗАНЯТИЙ

И КОЛЛОКВИУМОВ

1. Системы русского морфологического анализа (Mystem, Диалинг).

2. Автоматический синтаксический и семантический анализ (Диалинг).

3. Корпусная лингвистика. Русские проекты. Синтакис запросов.

33

4. Знакомство с работой словарной базы данных.

5. Разработка объектов словарной базы данных.

6. Поисковые системы. Синтакисис запросов.

7. Автоматизация поиска и замены в текстовом процессоре Word.

8. Макропрограммирование в текстовом процессоре Word.

ВОПРОСЫ И ЗАДАНИЯ ДЛЯ САМОКОНТРОЛЯ

I. Контрольные задания для самостоятельной работы:

1) формализация структуры словаря (на выбор). Выделение типов ин-

формации,

2) создание простейшей лексикографической базы данных,

3) проблемы атрибуции художественного текста (реферирование ли-

тературы),

4) атрибуция текста в криминалистике (по материалам Интернета),

5) сопоставление современных ИПС, изучение критериев оценки по-

исковых систем,

6) современные многоязычные словари и программы перевода: общая

характеристика,

7) тестирование системы проверки орфографии MS Office,

Принципы выделения значимой информации из текста:

8) словообразовательный уровень,

9) морфологический уровень,

10) лексический уровень,

11) композиционно-текстовый уровень.

34

II. Вопросы для самостоятельной подготовки к семинарским и практиче-

ским занятиям

12) системы русского морфологического анализа (Mystem, Диалинг),

13) автоматический синтаксический и семантический анализ (Диа-

линг),

14) корпусная лингвистика (русские проекты, синтаксис запросов в

корпусе),

15) знакомство с работой словарной базы данных,

16) разработка объектов словарной базы данных.

17) поисковые системы, синтаксис запросов,

18) автоматизация поиска и замены в текстовом процессоре Word,

19) макропрограммирование в текстовом процессоре Word.

III. Задания для самостоятельного реферирования источников:

20) современные методы атрибуции текста: постановка проблемы,

21) атрибуция текста: «шведское решение» проблемы «Тихого Дона»,

22) атрибуция текста: графический метод (Д. Хмелев),

23) количественные методы в применении к структуре сюжета,

24) лексикографические базы данных,

25) принципы автоматического выделения терминологии из корпуса

текстов,

26) общие проблемы создания вопросно-ответных систем,

27) общие проблемы статистических подходов к языку,

28) лингвистические модели текстообразования,

29) основы дистрибутивно-статистического метода анализа лексики,

30) проблемы машинного перевода,

31) статистические исследования стихотворного ритма,

32) структура и задачи машинного фонда русского языка,

33) формализация семантики: опыт распознавания смысла текста,

35

34) формализация семантики: опыт составления толково-комбина-

торного словаря.

ПЕРЕЧЕНЬ ВОПРОСОВ К ЗАЧЕТУ

1. Применимость компьютерных технологий в филологических исследо-

ваниях. Использование прикладных филологических разработок в дру-

гих сферах деятельности.

2. Возможности автоматической обработки печатного текста при верстке

в современных текстовых процессорах и издательских системах.

3. Компьютерная лексикография как современный этап словарного дела.

Компьютерные словари.

4. Формализация структуры словаря. Лингвистическое и компьютерное

обеспечение словарей.

5. Типы информации в словаре и компьютерной базе данных.

6. Элементы систем управления базами данных. Таблицы, формы, фильт-

ры, запросы, отчеты.

7. Идеографическая лексикография. Устройство тематических словарей и

проблемы организации иерархических баз данных.

8. Проблемы и задачи корпусной лингвистики.

9. Понятия корпусной лингвистики: проблемная область, единица хране-

ния, порог отображения данных и др.

10. Основные требования к лингвистическому корпусу данных.

11. Достижения и перспективы развития корпусной лингвистики. Сущест-

вующие национальные корпуса текстов.

12. Проблемы "нормализации" и разметки текста для корпуса. Специфика

текстовых библиотек в Интернете.

13. Атрибуция текста: история разработки и сферы применения.

14. Современные приемы и методы атрибуции художественного текста.

15. Атрибуция текста как элемент судебно-психологической экспертизы.

36

16. Квантитативный анализ художественного текста: изучение идиостиля

автора.

17. Количественные методы в применении к структуре сюжета.

18. Статистические исследования стихотворного ритма.

19. Проблемы автоматической проверки орфографии и грамматики

20. Повышение скорости набора при помощи словарей. Современные сис-

темы орфоконтроля.

21. Информационно-поисковые системы. История разработки и современ-

ное состояние. Семинары оценки методов ИП.

22. Принципы поиска в ИПС.

23. Принципы ранжирования документов в ИПС.

24. Машинный перевод как проблема искусственного интеллекта. История

систем МП.

25. Лингвистические проблемы современного машинного перевода.

26. Перспективы развития компьютерных технологий в филологии. Меж-

дисциплинарный характер исследований.