ВІСНИК УНІВЕРСИТЕТУ "УКРАЇНА"

Серія "Інформатика, обчислювальна техніка та кібернетика"

ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ РОЗПОДІЛЕНИХ ІНФОКОМУНІКАЦІІЙНИХ СИСТЕМ НА ОСНОВІ ОБРОБЛЕННЯ ВЕЛИКИХ ОБСЯГІВ ДАНИХ





PDF версія

УДК 621.391:681.5

 

ДОСЛІДЖЕННЯ ЕФЕКТИВНОСТІ РОЗПОДІЛЕНИХ ІНФОКОМУНІКАЦІІЙНИХ СИСТЕМ НА ОСНОВІ ОБРОБЛЕННЯ ВЕЛИКИХ ОБСЯГІВ ДАНИХ

 

DOI 10.36994/2707-4110-2019-2-23-03

 

Климаш М.М., д.т.н.,проф. Національний університет «Львівська політехніка», Львів, Україна. mklimash@polynet.lviv.ua

Гордійчук-Бублівська О.В., студентка. Національний університет «Львівська політехніка», Львів, Україна. obublivska@gmail.com

Чайковський І.Б., к.т.н. Національний університет «Львівська політехніка», Львів, Україна. ihor.b.chaikovskyi@lpnu.ua

Урікова О.М., к.е.н. Національний університет «Львівська політехніка», Львів, Україна. oksana.m.urikova@lpnu.ua

 

Анотація. В роботі досліджено особливості обробки великих масивів інформації для розподілених систем. Застосовано метод сингулярної декомпозиції даних, завдяки якому можна зменшити обсяг оброблюваних даних, відкинув­ши надлишковість. Отримано залежності ефективності обчислень у розподілених системах із використанням протоколу обміну повідомленнями MPI та програмної моделі взаємодії вузлів MapReduce. Проаналізовано ефективність застосування кожної технології для обробки масивів даних різних розмірів. Визначено, що протокол MPI дозволяє ефективніше проводити обчислення невеликих обсягів інформації. При збільшення масивів даних доцільно застосовувати модель Map Reduce.

Ключові слова: Розподілені системи, Big Data, Сингулярна декомпозиція даних, MPI, MapReduce.

 

INVESTIGATION OF THE EFFICIENCY OF DISTRIBUTED INFORMATION
SYSTEMS BASED ON THE PROCESSING OF LARGE AMOUNTS OF DATA

 

Mykhajlo Klymash, Dr.habil., Prof. Lviv Polytechnic National University, Lviv, Ukraine. mklimash@polynet.lviv.ua

Olena Hordiichuk — Bublivska, student. Lviv Polytechnic National University, Lviv, Ukraine. obublivska@gmail.com

Ihor Tchaikovskyi, Ph.D. Lviv Polytechnic National University, Lviv, Ukraine. ihor.b.chaikovskyi@lpnu.ua

Oksana Urikova, Ph.D. Lviv Polytechnic National University, Lviv, Ukraine. oksana.m.urikova@lpnu.ua

 

Abstract. In this article investigated the features of processing large arrays of information for distributed systems. A method of singular data decomposition is used to reduce the amount of data processed, eliminating redundancy. Dependencies of com­putational efficiency on distributed systems were obtained using the MPI messa­ging protocol and MapReduce node interaction software model. Were analyzed the effici­ency of the application of each technology for the processing of different sizes of data: Non — distributed systems are inefficient for large volumes of information due to low computing performance. It is proposed to use distributed systems that use the method of singular data decomposition, which will reduce the amount of information processed. The study of systems using the MPI protocol and MapReduce model obtained the dependence of the duration calculations time on the number of processes, which testify to the expediency of using distributed computing when processing large data sets. It is also found that distributed systems using MapReduce model work much more efficiently than MPI, especially with large amounts of data. MPI makes it possible to perform calculations more efficiently for small amounts of information. When increased the data sets, advisable to use the Map Reduce model.

Keywords: Distributed System, Big Data, Singular Value Decomposition, MPI, MapReduce.



Номер сторінки у виданні: 0

Повернутися до списку новин