Назва статті

АНАЛІЗ АЛГОРИТМІВ РАНЖУВАННЯ ДОКУМЕНТІВ НА ОСНОВІ ШТУЧНОЇ НЕЙРОННОЇ МЕРЕЖІ

Номер віснику

23

DOI:

10.36994/2707-4110-2019-2-23-21

Автори

Ліщитович А.Л. Університет «Україна», Київ, Україна. AL@sors.me Павленко В.І. к.ф.-м.н., Університет «Україна», Київ, Україна. Pavlenko.v@i.ua

Ключові слова

OkapiBM25, нейромережа, мережа Кохонена, перцептрон, гібридна мережа, регресійний аналіз

Анотація

Ефективний пошук документів у базах даних документацій компаній щороку стає все більш складним завданням. Головною причиною такої ситуації є швидке зростання інформації та поява нових особливостей збору даних. Сучасні пошукові системи постійно оптимізують свою роботу, звертаючи увагу на ранжування знайдених документів відповідно до їх відповідності запиту Завданням цього дослідження є аналіз ефективності алгоритмів ранжування документів у пошукових системах, які використовують штучні нейронні мережі для узгодження текстів. Метою дослідження було перевірити модель нейронної мережі текстового документа ran-king, що використовує кластеризацію, факторний аналіз та багатошарову мережеву архітектуру. Роботу алгоритмів нейронної мережі порівнювали зі стандартним алгоритмом статистичного пошуку OkapiBM25. Результатом дослідження є оцінка ефективності використання конкретних моделей та рекомендація вибору моделі для конкретних да-тасет. В алгоритмі ідентифікації системи пропонується пошук тексту в базах даних компаній, включаючи факторний та регресійний аналіз даних. Факторний аналіз включає в себе кластеризацію даних на основі використання за допомогою мережі Kohonen. Для регресійних аналізів ми пропонуємо використовувати одну з двох моделей нейронної мережі: на основі гібридної нейронної мережі або на основі багатошарового перцептрона. Результати тестування алгоритму показують успішне навчання моделі та низькі значення для помилок навчання та тестування. Більше того, модель, заснована на гібридній нейронній мережі, має труднощі з навчанням, якщо велика кількість непересічних характеристик. Вузьким місцем алгоритму є метод факторного аналізу, що дозволяє виявити значущі фактори. Окрім запропонованого статистичного методу, який визначає найважливіші фактори, можна використовувати байєсівські або нечіткі логічні методи. Можлива модифікація моделі з використанням ваг характеристик, які впливатимуть на навчання та інтерпретацію результатів. Розвиток може передбачати аналіз впливу складних нелінійних факторів та їх комбінацій.

  • Регистрация
  • Авторизация