Автоматизований спосіб визначення користувачів продуктів даних в розподіленій системі сіток даних
DOI:
https://doi.org/10.20535/1560-8956.43.2023.292261Ключові слова:
метадані, розподілені системи сіток даних, продукт данихАнотація
Об’єктом дослідження є розподілена система сіток даних. У статті зроблено огляд основних типів програмних користувачів продуктів даних в розподілених системах сіток даних. Існує багато типів програмних користувачів, які можуть відрізнятись за своєю реалізацією, архітектурою і побудовою. В той же час для розподіленої системи сіток даних важливо вести облік програмних користувачів продуктів даних для їх вчасного інформування, отримання вимог, тощо. Метою роботи є автоматизований спосіб визначення програмних користувачів продуктів даних в розподіленій системі сіток даних. Це дозволить зменшити ручний процес ведення обліку програмних користувачів, знизивши при цьому операційні витрати на обслуговування системи. Для досягнення мети розглядались декілька способів автоматизованого визначення програмних користувачів продуктів даних в розподіленій системі сіток даних, зокрема спосіб, що базується на мережевих запитах, спосіб, що базується на асинхронних повідомленнях і спосіб, що базується на метаданих програмних користувачів. Внаслідок порівняння згаданих способів, було виявлено, що перші два потребують суттєвої зміни архітектури системи розподілених сіток даних, додавання нових програмних компонентів, тощо. В той же час метод, оснований на метаданих програмних користувачів продуктів даних не мав відповідних
обмежень. Було запропоновано декілька підходів до застосування даного методу для різних технологій виконання компонентів розподілених сіток даних.
Бібл. 7, іл. 4.
Посилання
Dehghani Z. How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh. 2019. / Retrieved from: https://martinfowler.com/articles/data-monolith-to-mesh.html
Inês Araújo Machado, Carlos Costa, Maribel Yasmina Santos. Data Mesh: Concepts and Principles of a Paradigm Shift in Data Architectures, 2021. / Retrieved from https://reader.elsevier.com/reader/sd/pii/S1877050921022365?token=D16A531B8281668BA35608A988D318A68D6213FFDB2F7AE66002018933044CF03F2C5322EE58DD8DA7BD62ED11BBF6BC&originRegion=eu-west-1&originCreation=20221111101328
Zhamak Dehghani. Data Mesh: Delivering Data-Driven Value at Scale. / March 2022. ISBN: 9781492092391
Yamada, M., Kitagawa, H., Amagasa, T. et al. Augmented lineage: traceability of data analysis including complex UDF processing. / The VLDB Journal (2022). https://doi.org/10.1007/s00778-022-00769-7
Marian Siwiak, Sven Balnojan, Jacek Majchrzak. Data Mesh in Action.
Melton, Jim; Simon, Alan R. Metadata, Repositories and The INFORMATION_SCHEMA. Understanding the New SQL: A Complete Guide. / The Morgan Kaufmann series in data management systems, ISSN 1046-1698. Morgan Kaufmann
Piethein Strengholt Data Management at Scale: Modern Data Architecture with Data Mesh and Data Fabric / April 2023. ISBN: 9781098138868
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution License, котра дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у нашому журналі.
2. Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована нашим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у нашому журналі.
3. Політика журналу дозволяє і заохочує розміщення рукопису роботи авторами в мережі Інтернет (наприклад, на arXiv.org або на особистих веб-сайтах). Причому рукописи статей можуть бути розміщенні у відкритих архівах як до подання рукопису до редакції, так і під час його редакційного опрацювання. Це сприяє виникненню продуктивної наукової дискусії, позитивно позначається на оперативності ознайомлення наукової спільноти з результатами Ваших досліджень і як наслідок на динаміці цитування вже опублікованої у журналі роботи. Детальніше про це: The Effect of Open Access.
