Статті

Назва статті

ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ РОЗПОДІЛЕНИХ ІНФОКОМУНІКАЦІІЙНИХ СИСТЕМ НА ОСНОВІ ОБРОБЛЕННЯ ВЕЛИКИХ ОБСЯГІВ ДАНИХ

Номер віснику

23

DOI:

10.36994/2707-4110-2019-2-23-03

Автори

Климаш М.М., д.т.н.,проф., Національний університет «Львівська полі-техніка», Львів, Україна. mklimash@polynet.lviv.ua Гордійчук-Бублівська О.В., Національний університет «Львівська політехніка», Львів, Україна. obublivska@gmail.com Чайковський І.Б., к.т.н., Національний університет «Львівська політехніка», Львів, Україна. ihor.b.chaikovskyi@lpnu.ua Урікова О.М., к.е.н., Національний університет «Львівська політехніка», Львів, Україна. oksana.m.urikova@lpnu.ua

Ключові слова

Розподілені системи, Big Data, Сингулярна декомпозиція даних, MPI, MapReduce

Анотація

В роботі досліджено особливості обробки великих масивів інформації для ро-зподілених систем. Застосовано метод сингулярної декомпозиції даних, за-вдяки якому можна зменшити обсяг оброблюваних даних, відкинув¬ши над-лишковість. Отримано залежності ефективності обчислень у розподілених системах із використанням протоколу обміну повідомленнями MPI та про-грамної моделі взаємодії вузлів MapReduce. Проаналізовано ефективність застосування кожної технології для обробки масивів даних різних розмірів. Визначено, що протокол MPI дозволяє ефективніше проводити обчислення невеликих обсягів інформації. При збільшення масивів даних доцільно засто-совувати модель Map Reduce. В системах з розподіленими ресурсами пристрій обробляє лише певну частину даних, які надходять для обчислення. Після того, як окремі об-числювальні засоби проведуть опрацювання своїх задач, відбувається об*єднання всіх частин та отримується кінцевий результат. Далі пристрої отримують частини інших даних і т.д. Внаслідок такого підходу підви-щується продуктивність системи, оскільки значно швидше опрацьовуються великі обсяги інформації. Розподілені обчислювальні системи мають ряд ін-ших переваг, зокрема, масштабованість і надійність обробки та зберігання даних. В подібних системах дані розподіляються різними пристроями неве-ликими частинами, що значно зменшує втрату інформації при помилках і пошкодженні останньої Звичайні нерозподілені системи обробки даних неефективні для великого обсягів інформації через невисоку продуктивність обчислень. Пропонується використовувати розподілені системи, в яких використовують метод син-гулярної декомпозиції даних, що дозволить зменшити обсяг оброблюваної інформації. В результаті дослідження систем з використанням протоколу MPI та моделі MapReduce отримано залежності тривалості обчислень від кількості процесів, які свідчать про доцільність використання розподілених обчислень при обробці великих масивів даних. Також визначено, що розподілені системи із застосуванням моделі обчислень MapReduce працюють значно ефектив-ніше ніж за протоколом MPI, особливо при великому обсягу даних