АНАЛИЗ АЛГОРИТМ РАНЖИРОВАНИЯ ДОКУМЕНТОВ НА ОСНОВЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Аннотация

Эффективный поиск документов в базах данных документаций компаний каждым годом становится все более сложной задачей. Главной причиной такой ситуации является быстрый рост информации и появление новых особенностей сбора данных. Современные поисковые системы постоянно оптимизируют свою работу, обращая внимание на ранжирования найденных документов в соответствии с их соответствия запросу Задачей данного исследования является анализ эффективности алгоритмов ранжирования документов в поисковых системах, использующих искусственные нейронные сети для согласования текстов. Целью исследования было проверить модель нейронной сети текстового документа ran-king, что использует кластеризацию, факторный анализ и многослойную сетевую архитектуру. Работу алгоритмов нейронной сети сравнивали со стандартным алгоритмом статистического поиска OkapiBM25. Результатом исследования является оценка эффективности использования конкретных моделей и рекомендация выбора модели для конкретных да-тасет. В алгоритме идентификации системы предлагается поиск текста в базах данных компаний, включая факторный и регрессионный анализ данных. Анализ включает в себя кластеризацию данных на основе использования с помощью сети Kohonen. Для регрессионных анализов мы предлагаем использовать одну из двух моделей нейронной сети: на основе гибридной нейронной сети или на основе многослойного перцептрона. Результаты тестирования алгоритма показывают успешное обучение модели и низкие значения для ошибок обучения и тестирования. Более того, модель, основанная на гибридной нейронной сети, испытывает трудности с обучением, если большое количество незаурядных характеристик. Узким местом алгоритма является метод факторного анализа, позволяющего выявить значимые факторы. Кроме предложенного статистического метода, который определяет важнейшие факторы, можно использовать Байесовские или нечеткие логические методы. Возможна модификация модели с использованием весов характеристик, которые повлияют на обучение и интерпретацию результатов. Развитие может предусматривать анализ влияния сложных нелинейных факторов и их комбинаций .