Математическое и программное обеспечение полнотекстового поиска в базах данных на основе концептуального моделирования

  • Автор:
  • Специальность ВАК РФ: 05.13.11
  • Научная степень: Кандидатская
  • Год защиты: 2012
  • Место защиты: Тула
  • Количество страниц: 171 с. : ил.
  • бесплатно скачать автореферат
  • Стоимость: 250 руб.
Титульный лист Математическое и программное обеспечение полнотекстового поиска в базах данных на основе концептуального моделирования
Оглавление Математическое и программное обеспечение полнотекстового поиска в базах данных на основе концептуального моделирования
Содержание Математическое и программное обеспечение полнотекстового поиска в базах данных на основе концептуального моделирования
1 Системы полнотекстового поиска: состояние и актуальные задачи развития
1.1 Задача полнотекстового поиска
1.2 Обзор существующих алгоритмов
1.2.1 Теоретико-множественные модели
1.2.2 Алгебраические модели
1.2.3 Вероятностные модели
1.2.4 Свойства моделей
1.2.5 Обработка словосочетаний
1.3 Применяемые модели и методы
1.3.1 Концептуальные модели и их применение
1.3.2 Обработка структуры документов
1.4 Постановка задач исследования
1.4.1 Особенности поставленной задачи
1.4.2 Задачи исследования
Выводы к главе
2 Алгоритмическое и программное обеспечение поддержки концептуальных графов в информационных системах
2.1 Концептуальный граф как семантическая модель текстовых данных
2.1.1 Определение концептуального графа
2.2 Применение концептуальных графов для идентификации словосочетаний
2.3 Алгоритм построения концептуальных графов
2.3.1 Общий принцип построения концептуальных графов
2.3.2 Алгоритм концептнографического анализа
2.3.3 Алгоритм формирования концептуального графа из элементов предложения
2.3.4 Инвариантность алгоритма относительно последовательности слов предложений
2.4 Применение концептуальных графов для идентификации словосочетаний
Выводы к главе
3 Технология концептуального моделирования для извлечения словосочетаний в системах полнотекстового поиска
3.1 Разработка алгоритма индексирования документов с обработкой знаков препинания
3.2 Применение концептуальных графов для идентификации словосочетаний в тексте
3.3 Разработка алгоритма полнотекстового поиска с применением словосочетаний
3.3.1 Булевский поиск
3.3.2 Вычисление релевантности
Выводы к главе
4 Программная реализация технологии концептуального моделирования в системе полнотекстового поиска
4.1 Архитектура системы
4.2 Структура базы данных
4.3 Разработка модуля взаимодействия с базой данных
4.4 Разработка словарного модуля
4.5 Разработка модуля индексирования
4.6 Разработка модуля обработки текстов
4.7 Разработка модуля обработки словосочетаний
4.8 Разработка модуля поиска
4.9 Пример применения разработанной технологии в системе технической поддержки
Выводы к главе
5 Экспериментальные исследования технологии концептуального моделирования
5.1 Задачи экспериментальных исследований разработанной технологии
5.2 Организация экспериментальных исследований
5.3 Определение веса отношений
5.4 Оценка качества выделения словосочетаний
5.5 Оценка качества вычисления релевантности
5.6 Выбор веса полей индексируемых документов
5.7 Выбор величин искусственного изменения позиций слов
5.8 Оценка качества алгоритма полнотекстового поиска
3. Разработка нового алгоритма поиска, включающего в себя алгоритм вычисления релевантности документа множеству ключевых словосочетаний, выделенных из текста запроса.
4. Разработка программного обеспечения, реализующего предлагаемые алгоритмы.
5. Экспериментальная проверка эффективности разработанных алгоритмов и настройка алгоритмов на основе реальных данных.
Выводы к главе
1. Сформулирована задача полнотекстового поиска в базах данных по запросам, являющимся текстами из нескольких предложений на естественном языке, актуальная для систем технической поддержки, форумов и прочих информационных ресурсов, посвященных ответам на вопросы.
2. На основе анализа показано, что точность существующих алгоритмов недостаточна для эффективного решения поставленной задачи, поэтому целью работы является создание нового, более точного, алгоритма поиска по текстам запросов, состоящих из нескольких предложений на естественном языке.
3. Предложено применять концептуальные графы для моделирования смысла запросов.
4. Поставлены следующие задачи исследования:
• Разработка нового алгоритма извлечения ключевых словосочетаний из текстов на естественном языке.
• Разработка нового алгоритма поиска, включающего в себя алгоритм вычисления релевантности документа множеству ключевых словосочетаний, выделенных, из текста запроса.
• Разработка программного обеспечения, реализующего предлагаемые алгоритмы.
• Экспериментальная проверка эффективности разработанных алгоритмов и настройка алгоритмов на основе реальных данных

Рекомендуемые диссертации данного раздела