Информационный поиск с использованием татарской морфологии

Сулейманов Д.Ш., Невзорова О.А., Гатиатуллин А.Р., Гильмуллин Р.А.

Электронная Казань, 27-28 апреля 2009 года

Университетская информационная система РОССИЯ (УИС РОССИЯ) создана как ресурсная база Российского университетского информационно-исследовательского консорциума по социальным и гуманитарным наукам (Russian inter-University Social Sciences Information and Analytical consortium - RUSSIA Consortium).

Предназначена для проведения исследований по социальным наукам и открыта для коллективного доступа ученым и исследователям из университетов РФ

http://www.cir.ru

Электронная Казань

Проект направлен на разработку прикладной двухуровневой компьютерной модели татарского языка и применение ее в интеллектуальных технологиях информационного поиска в корпусах многоязыковых текстов.

Решение задачи интеллектуального информационного поиска требует создания:-полной морфологической модели татарского языка,-прагматически-ориентированной синтаксической модели татарского языка.

Эти модели будут использованы для адаптации механизмов информационного поиска Университетской информационной системы РОССИЯ, базирующихся на терминологическом и лексическом поисковых индексах.

Электронная Казань

  Источник Ретроспектива Количество

Правовые акты НТЦ Система 1990 - ... 80,000

Стенограммы заседаний Государственной Думы

Аппарат ГД ФС РФ 1994 - ... 150,000

Статистические материалы Госкомстат РФ; Межгос. Стат. Комитет СНГ

1998 - ... 25,000

Материалы СМИ "Эксперт", "Независимая газета", "Известия", "Комсомольская правда", "Аргументы и факты", "Слово", ...

1997 - ... 280,000

Аналитические материалы материалы министерств и ведомств РФ, Счетная палата РФ, ЦБ РФ, РЕЦЭП

1996 - ... 15,000

Научные издания Вестник МГУ, "Соц.исследования"

1998 - ... 600

Библиографические описания материалов по экономике, социологии, ...

СОЦИОНЕТ / RePEc ... 300,000

Электронная Казань

Решаются следующие задачи интеграции разнородных информационных ресурсов:

- обеспечение единообразного формата хранения документов разных источников; - единообразные способы доступа ко всей коллекции документов; - использование специфических поисковых атрибутов для каждой коллекции; - тематическая систематизация /классификация документов по тезаурусу, рубрикаторам; - аннотирование полнотекстовых документов; -создание предметно-ориентированных баз данных, интегрированных в общую систему.

Электронная Казань

Электронная Казань

Этапы автоматизированной лингвистической обработки текстов (АЛОТ): - Морфологический анализ; - Терминологический анализ; - Рубрицирование; - Аннотирование.

В ходе морфологического анализа русскоязычного текста всем словам анализируемого текста сопоставляются леммы с соответствующей грамматической информацией (род, число, падеж, категория одушевленности и т.п.).

Размер используемого морфологического словаря - 130 тысяч лемм.

В сочетании с простыми словарями, описывающими словообразование, это обеспечивает более чем 99.6% покрытие текстов российских правовых актов и материалов СМИ.

Электронная Казань

Подготовка больших электронных корпусов текстов по социально-экономической тематике (более 70 Мб).

Разработка специализированных лингвистических ресурсов на татарском языке: - морфологический словарь татарского языка (объем 50000 словарных статей)

Электронная Казань

Статистические данные электронной коллекции текстов на русском и татарском языках по рубрикам

Количество файлов Количество слов в файлах

1. Воспитание и образование

Русские тексты 13 197857

Татарские тексты 4 50095

2. Экономика

Русские тексты 2 66263

Татарские тексты 1 2794

3. Политика

Русские тексты 2 14026

Татарские тексты 24 394239

4. Фольклор и обычаи

Русские тексты 1 6686

Татарские тексты 21 644819

…

Общее количество

Русские тексты 145 284832

Татарские тексты 481 2289761

Электронная Казань

Модуль графематического анализа татарских текстов 1. Фрагментация исходного текстового файла на предложения

2. Разбиение каждого предложения на слова, числа, знаки пунктуации, формулы и другие базовые текстовые единицы и представление выходной информации в следующем формате:

лексема тип лексемы (число) № номер в предложении № предложения

Выделяемые типы лексем:

1 – слово; 2 – аббревиатура;3 – метка; 4 – формула;5 – знак пунктуации; 6 – число;7 – ФИО; 8 – имя собственное;9 – комментарий; 10 – сокращение;11 – стандартное сокращение; 12 – дата;13 – email; 14 – http(www) гиперссылка

Электронная Казань

Морфологический анализатор татарского языка

Информационная база двухуровневого морфологического анализатора:

1. Файл правил - алфавит и фонологические правила (правила преобразования лексических символов в поверхностные символы в различных контекстных окружениях).

2. Лексикон - словарь лексических единиц (корневых и аффиксальных морфем) и их толкования, а также описания морфотактических правил.

Электронная Казань

Файл фонологических правил

ГЕНЕРАТОР

РАСПОЗНАВАТЕЛЬ

Файл морфотактических правил

урман+ДАлес+Локатив

урмандав лесу

урмандав лесу

урман+ДАлес+Локатив

Структурно-функциональная схема ДМА татарского языка

Электронная Казань

Диаграмма для номинативных

парадигм

Электронная Казань

Аффиксальныйкласс

Лексическая запись морфемы

Код Глоссарий Примеры

N_Plural +LEr NNI_PLU Множественность атлар, өйләр

N_Poss +Hm NNI_1sPOSS притяжательность в форме 1 л. ед. числа

атым, өем

+HbHz NNI_1pPOSS притяжательность в форме 1 л. мн. числа

атыбыз, өебез

+HgHz NNI_2pPOSS притяжательность в форме 2 л. мн. числа.

атыгыз, өегез

+HN NNI_2sPOSS притяжательность в форме 2 л. ед. числа.

атың, өең

+ZH NNI_3sPOSS притяжательность в форме 3 л. ед. числа.

аты, өе

Описание фрагмента значений словоизменительных и словообразовательных морфем

Электронная Казань

Электронная Казань

Электронная Казань

Атрибуты коллекции "Татарский язык" "Татар теле" коллекциясенең атрибутлары

бизнес бизнес

Бюджет РФ РФ бюджеты

В случае повторения ошибки свяжитесь со службой поддержки. Хата кабатланса ярдәм күрсәтү хезмәте белән элемтәгә керегез.

Введите ваш email: Электрон адресыгызны кертегез:

Восстановление забытого пароля Онытылган серсүзне төргезү

Все коллекции Барлык коллекцияләр

Все слова Барлык сүзләр дә

Выберите коллекции документов, по которым будет производиться поиск.

Эзләү алып барыласы документлар коллекцияләрен сайлагыз.

Выборы РФ РФ сайлаулары

Выбрать открытые коллекции Ачык коллекцияләрне сайлау

Главная Төп

Гостевая книга Кунак китабы

Гранты Грантлар

Дайджест Дайджест

Добавить Өстәү

Таблица перевода интерфейса

Электронная Казань

Спасибо за внимание

Электронная Казань