Підвищення ефективності роботи розподілених сховищ даних

Автор(и)

  • M. Мамута КПІ ім. Ігоря Сікорського, Україна
  • T. Ліхоузова КПІ ім. Ігоря Сікорського, Україна

DOI:

https://doi.org/10.20535/1560-8956.40.2022.261542

Ключові слова:

великі дані, сховище даних, оптимальний розподіл ресурсів, розподілені системи обробки даних, хмарні обчислення

Анотація

В статті розглянуто проблему оптимальної обробки та зберігання великих даних. Запропоновано на базі декількох реплік сховища даних підготувати сховище, яке є об’єднанням кількох різних за типом сховищ даних у одному і є
адаптивним до задач користувачів. Розроблено комплекс програм, завдяки яким можна здійснити вибір способу введення великих даних, вибір алгоритму зміни внутрішньої будови сховища, виконання алгоритму перетворення, отримання результатів виконання запитів до даних. В систему перетворення внутрішньої будови сховища даних додано
блок, що відповідає за введення в роботу алгоритмів перетворення.
Для оцінки швидкодії роботи використано метрики обсягу використаної пам'яті для резервних копій та швидкість виконання запитів до даних. Практичне значення: розробка програмного забезпечення, що використовує існуючі репліки сховища (які створювалися для резервного копіювання) для підвищення швидкодії роботи із
сховищем в цілому. Перевагою запропонованого рішення є те, що немає потреби в додатковому просторі для збереження даних, а додається лише управляючий модуль сховищами.

Бібл. 10, іл. 2, табл. 1.

Посилання

Airflow / Apache Software Foundation // URL: https://airflow.apache.org/[accessed 23.10.2021]

Bigtable / Google Inc // URL: https://cloud.google.com/bigtable/ [accessed 23.10.2021]

Rethink DB / Rethink DB Community // URL:https://rethinkdb.com/ [accessed 23.10.2021]

Redis / Redislabs // URL:https://redis.io/ [accessed 23.10.2021]

Mondal, A.S., Neogy, S., Mukherjee, N. et al. A survey of issues and solutions of health data management systems. Innovations Syst Softw Eng 15, 155–166 (2019). https://doi.org/10.1007/s11334-019-00336-4

Mohebi, A., Aghabozorgi, S., Wah, T. Y., Herawan, T., Yahyapour, R. Iterative big data clustering algorithms: a review. Software-Practice & Experience 46 (1), 107-129 (2015). https://doi.org/10.1002/spe.2341

Siddiqa, A., Karim, A. & Gani, A. Big data storage technologies: a survey. Frontiers Inf Technol Electronic Eng 18, 1040–1070 (2017).

https://doi.org/10.1631/FITEE.1500441

Plase, D. A Systematic Review of SQL-on-Hadoop by Using Compact Data Formats Baltic J. Modern Computing 5(2), 233-250 (2017).

http://dx.doi.org/10.22364/bjmc.2017.5.2.06

Nachiappan, R., Javadi, B., Calheiros, R., Matawie,K. Cloud storage reliability for Big Data applications: A state of the art survey. Journal of Network and Computer Applications 97, 35-47 (2017). https://doi.org/10.1016/j.jnca.2017.08.011

Milani, B., Navimipour, N. A comprehensive review of the data replication techniques in the cloud environments: Major trends and future directions. Journal of Network and Computer Applications 64, 229-238 (2016). https://doi.org/10.1016/j.jnca.2016.02.005

##submission.downloads##

Опубліковано

2022-07-19