ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РАСПРЕДЕЛЕННЫХ ИНФОКОМУНИКАЦИИЙНИХ СИСТЕМ НА ОСНОВЕ ОБРАБОТКИ БОЛЬШИХ ОБЪЕМОВ ДАННЫХ
Ключевые слова:
распределенные системы, Big Data, Сингулярная декомпозиция данных, MPI, MapReduceАннотация
В работе исследованы особенности обработки больших массивов информации для распределенных систем. Применен метод сингулярной декомпозиции данных, благодаря которому можно уменьшить объем обрабатываемых данных, отбросив избыточность. Получены зависимости эффективности вычислений в распределенных системах с использованием протокола обмена сообщениями MPI и программной модели взаимодействия узлов MapReduce. Проанализирована эффективность применения каждой технологии для обработки массивов данных различных размеров. Определено, что протокол MPI позволяет эффективно проводить вычисления небольших объемов информации. При увеличении массивов данных целесообразно применять модель Map Reduce. В системах с распределенными ресурсами устройство обрабатывает только определенную часть данных, которые поступают для вычисления. После того, как отдельные вычислительные средства проведут обработки своих задач, происходит объединение всех частей и получается конечный результат. Далее устройства получают части других данных и т.д. Вследствие такого подхода повышается производительность системы, поскольку значительно быстрее обрабатываются большие объемы информации. Распределенные вычислительные системы имеют ряд других преимуществ, в частности, масштабируемость и надежность обработки и хранения данных. В подобных системах данные распределяются различными устройствами небольшими частями, что значительно уменьшает потерю информации при ошибках и повреждении последней Обычные нераспределенные системы обработки данных неэффективны для большого объемов информации через невысокую производительность вычислений. Предлагается использовать распределенные системы, использующие метод сингулярной декомпозиции данных, что позволит уменьшить объем обрабатываемой информации. В результате исследования систем с использованием протокола MPI и модели MapReduce получены зависимости продолжительности вычислений от количества процессов, которые свидетельствуют о целесообразности использования распределенных вычислений при обработке больших массивов данных. Также определено, что распределенные системы с применением модели вычислений MapReduce работают значительно эффективнее по протоколу MPI, особенно при большом объема данных.
