Автоматизований спосіб визначення користувачів продуктів даних в розподіленій системі сіток даних

Автор(и)

  • Є. Власюк КПІ ім. Ігоря Сікорського, Україна
  • В. Онищенко КПІ ім. Ігоря Сікорського, Україна

DOI:

https://doi.org/10.20535/1560-8956.43.2023.292261

Ключові слова:

метадані, розподілені системи сіток даних, продукт даних

Анотація

Об’єктом дослідження є розподілена система сіток даних. У статті зроблено огляд основних типів програмних користувачів продуктів даних в розподілених системах сіток даних. Існує багато типів програмних користувачів, які можуть відрізнятись за своєю реалізацією, архітектурою і побудовою. В той же час для розподіленої системи сіток даних важливо вести облік програмних користувачів продуктів даних для їх вчасного інформування, отримання вимог, тощо. Метою роботи є автоматизований спосіб визначення програмних користувачів продуктів даних в розподіленій системі сіток даних. Це дозволить зменшити ручний процес ведення обліку програмних користувачів, знизивши при цьому операційні витрати на обслуговування системи. Для досягнення мети розглядались декілька способів автоматизованого визначення програмних користувачів продуктів даних в розподіленій системі сіток даних, зокрема спосіб, що базується на мережевих запитах, спосіб, що базується на асинхронних повідомленнях і спосіб, що базується на метаданих програмних користувачів. Внаслідок порівняння згаданих способів, було виявлено, що перші два потребують суттєвої зміни архітектури системи розподілених сіток даних, додавання нових програмних компонентів, тощо. В той же час метод, оснований на метаданих програмних користувачів продуктів даних не мав відповідних
обмежень. Було запропоновано декілька підходів до застосування даного методу для різних технологій виконання компонентів розподілених сіток даних.

Бібл. 7, іл. 4.

Посилання

Dehghani Z. How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh. 2019. / Retrieved from: https://martinfowler.com/articles/data-monolith-to-mesh.html

Inês Araújo Machado, Carlos Costa, Maribel Yasmina Santos. Data Mesh: Concepts and Principles of a Paradigm Shift in Data Architectures, 2021. / Retrieved from https://reader.elsevier.com/reader/sd/pii/S1877050921022365?token=D16A531B8281668BA35608A988D318A68D6213FFDB2F7AE66002018933044CF03F2C5322EE58DD8DA7BD62ED11BBF6BC&originRegion=eu-west-1&originCreation=20221111101328

Zhamak Dehghani. Data Mesh: Delivering Data-Driven Value at Scale. / March 2022. ISBN: 9781492092391

Yamada, M., Kitagawa, H., Amagasa, T. et al. Augmented lineage: traceability of data analysis including complex UDF processing. / The VLDB Journal (2022). https://doi.org/10.1007/s00778-022-00769-7

Marian Siwiak, Sven Balnojan, Jacek Majchrzak. Data Mesh in Action.

Melton, Jim; Simon, Alan R. Metadata, Repositories and The INFORMATION_SCHEMA. Understanding the New SQL: A Complete Guide. / The Morgan Kaufmann series in data management systems, ISSN 1046-1698. Morgan Kaufmann

Piethein Strengholt Data Management at Scale: Modern Data Architecture with Data Mesh and Data Fabric / April 2023. ISBN: 9781098138868

##submission.downloads##

Опубліковано

2023-12-01