Підвищення ефективності роботи розподілених сховищ даних
DOI:
https://doi.org/10.20535/1560-8956.40.2022.261542Ключові слова:
великі дані, сховище даних, оптимальний розподіл ресурсів, розподілені системи обробки даних, хмарні обчисленняАнотація
В статті розглянуто проблему оптимальної обробки та зберігання великих даних. Запропоновано на базі декількох реплік сховища даних підготувати сховище, яке є об’єднанням кількох різних за типом сховищ даних у одному і є
адаптивним до задач користувачів. Розроблено комплекс програм, завдяки яким можна здійснити вибір способу введення великих даних, вибір алгоритму зміни внутрішньої будови сховища, виконання алгоритму перетворення, отримання результатів виконання запитів до даних. В систему перетворення внутрішньої будови сховища даних додано
блок, що відповідає за введення в роботу алгоритмів перетворення.
Для оцінки швидкодії роботи використано метрики обсягу використаної пам'яті для резервних копій та швидкість виконання запитів до даних. Практичне значення: розробка програмного забезпечення, що використовує існуючі репліки сховища (які створювалися для резервного копіювання) для підвищення швидкодії роботи із
сховищем в цілому. Перевагою запропонованого рішення є те, що немає потреби в додатковому просторі для збереження даних, а додається лише управляючий модуль сховищами.
Бібл. 10, іл. 2, табл. 1.
Посилання
Airflow / Apache Software Foundation // URL: https://airflow.apache.org/[accessed 23.10.2021]
Bigtable / Google Inc // URL: https://cloud.google.com/bigtable/ [accessed 23.10.2021]
Rethink DB / Rethink DB Community // URL:https://rethinkdb.com/ [accessed 23.10.2021]
Redis / Redislabs // URL:https://redis.io/ [accessed 23.10.2021]
Mondal, A.S., Neogy, S., Mukherjee, N. et al. A survey of issues and solutions of health data management systems. Innovations Syst Softw Eng 15, 155–166 (2019). https://doi.org/10.1007/s11334-019-00336-4
Mohebi, A., Aghabozorgi, S., Wah, T. Y., Herawan, T., Yahyapour, R. Iterative big data clustering algorithms: a review. Software-Practice & Experience 46 (1), 107-129 (2015). https://doi.org/10.1002/spe.2341
Siddiqa, A., Karim, A. & Gani, A. Big data storage technologies: a survey. Frontiers Inf Technol Electronic Eng 18, 1040–1070 (2017).
https://doi.org/10.1631/FITEE.1500441
Plase, D. A Systematic Review of SQL-on-Hadoop by Using Compact Data Formats Baltic J. Modern Computing 5(2), 233-250 (2017).
http://dx.doi.org/10.22364/bjmc.2017.5.2.06
Nachiappan, R., Javadi, B., Calheiros, R., Matawie,K. Cloud storage reliability for Big Data applications: A state of the art survey. Journal of Network and Computer Applications 97, 35-47 (2017). https://doi.org/10.1016/j.jnca.2017.08.011
Milani, B., Navimipour, N. A comprehensive review of the data replication techniques in the cloud environments: Major trends and future directions. Journal of Network and Computer Applications 64, 229-238 (2016). https://doi.org/10.1016/j.jnca.2016.02.005
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у нашому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована нашим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у нашому журналі.
3. Політика журналу дозволяє і заохочує розміщення рукопису роботи авторами в мережі Інтернет (наприклад, на arXiv.org або на особистих веб-сайтах). Причому рукописи статей можуть бути розміщенні у відкритих архівах як до подання рукопису до редакції, так і під час його редакційного опрацювання. Це сприяє виникненню продуктивної наукової дискусії, позитивно позначається на оперативності ознайомлення наукової спільноти з результатами Ваших досліджень і як наслідок на динаміці цитування вже опублікованої у журналі роботи. Детальніше про це: The Effect of Open Access.
