Англійська мова для архітекторів платформ даних: Lakehouse, Medallion, Data Contracts

Сучасна архітектура платформи даних має свій власний діалект. Такі терміни, як «медальйон», «договір з даними» і «озерне житло» не просто модні слова — вони мають точне значення, і їх правильне використання сигналізує про архітектурну плавність. Ця стаття присвячена англійській лексиці і фразам, які вам слід використовувати під час перегляду проекту платформи даних, обговорення архітектури і зустрічей з метою вирівнювання між різними командами.

Основний словник

Дейта Лейкхаус

** Data Lakehouse ** це архітектура, яка поєднує гнучкість і низьку вартість озера даних (сирі файли на об’ єкті зберігання) зі структурою і швидкістю запиту складу даних (примусове виконання схеми, транзакції ACID, індексування).

«Ми перейшли від чистого озера даних до архітектури озерного будинку. Тепер ми отримуємо ACID транзакції і подорожі у часі на наших даних S3 без переміщення всього в Redshift»

Ключові фрази: прийняти архітектуру озера, рівень озера, об’єднати зберігання і обчислення, привести можливості складу до озера.

Слово ** unify ** часто з’ являється в цьому домені - інженери говорять про об’ єднання зберігання, об’ єднання пакетних і потокових шляхів, об’ єднання шаблонів доступу.

Медаль «За архітектуру»

** Архітектура медалей ** впорядковує дані у три послідовні шари, названі на честь дорогоцінних металів: ** бронза **, ** срібло ** і ** золото **.

• ** Бронзовий шар **: необроблені, неперевірені дані, отримані безпосередньо з джерел. Часто називається зона посадки або сирий шар.
• ** Срібний шар **: очищені, збалансовані та знищені дублікати даних. З’єднання відбуваються тут. Це місце, де живе більшість логіки трансформації.
• ** Золотий шар **: готові до використання, агреговані дані, оптимізовані для використання — панелі, функції ML, звіти.

“Команда аналитиков напрямую запрашивает золотой слой. Якщо вони бачать проблеми з якістю даних, проблема є вгорі — перевірте перетворення срібного шару»

“Ми перетворюємо все на бронзу і ніколи не змінюємо її. Бронзовий доступний тільки для додавання і служить нашим журналом аудиту»

Корисні фрази: ** перенесення даних через шари **, ** дані потрапляють у бронзу **, ** очищення срібного шару **, ** обробка золотого шару **.

Контракт з даними

** Договір щодо даних ** є формальною, версійною угодою між виробником даних і споживачем даних, яка визначає схему, семантику, гарантії якості і SLA набору даних.

“Команда по платежам разрушила наш канал в прошлый вторник, потому что они переименовали столбец без обновления контракта на данные. Ми тепер вимагаємо підтвердження контракту в їх CI pipeline»

“Перед тим, як ми встановимо нове джерело даних, ми просим виробника підписати контракт на дані. Він вказує на частоту доставки, схему і прийнятну нульову частоту для кожного поля.”

Дієслова: визначити контракт, підписати контракт, розірвати контракт (коли виробник його порушує), затвердити контракт, версія контракту.

Фраза ** підписати ** важлива — вона передбачає формальний дозвіл, а не лише обізнаність. Ви будете використовувати його у розмовах між командами: * “Чи підписала команда розробників зміни до схеми?” *

Схема реєстру

** Реєстр схем ** це централізована служба, яка зберігає і версує схеми даних — зазвичай для потокових конвеєрів, що використовують Avro, Protobuf або JSON Schema. Вона забезпечує сумісність схем між виробниками і споживачами.

“Ми забезпечуємо зворотну сумісність у реєстрі схем. Продюсер може додавати поля, але не може видаляти або перейменовувати їх без головного вибуху версії»

Фрази: ** зареєструвати схему **, ** перевірити сумісність **, ** сумісність назад/ вперед **, ** еволюція схеми **, ** реєстр відкидає несумісну схему **.

Інформаційна мережа

** Data mesh ** — це організаційний і архітектурний підхід, за якого право власності на дані децентралізовано — кожна команда домену володіє і управляє своїми власними продуктами даних, а не центральною командою даних, яка володіє всім.

“Ми рухаємося до моделі даних сітки. Команда платежів буде володіти і обслуговувати свої власні продукти даних. Команда центральної платформи забезпечує інфраструктуру — інструменти, стандарти управління, реєстр схем»

Важлива відмінність для розмов: мережа даних є * організаційним * шаблоном, а не певною технологією. Інженери іноді розмивають це. У дизайн-оглядах: “Це принцип даних сітки, а не озерний будинок - ці дві доповнюють одна одну, але окремі концепції.”

Інформаційний продукт

У контексті мережі даних, ** продукт даних ** є набором даних або API, що обробляється з огляду на продукт — він має власника, визначений інтерфейс (схема + SLA), документацію, метрики якості і політику версії.

“Склад рекомендаційної команди є першокласним продуктом даних. Він має заявлене SLA свіжості 15 хвилин, документовану семантику поля і власника, який є на зв’язку для нього»

Фрази: розглядати дані як продукт, власник продукту даних, опублікувати продукт даних, використовувати продукт даних, SLA продукту даних.

Кваліфікаційні вимоги

** Договором про якість даних SLA ** (Договором про рівень обслуговування) визначаються вимірювані зобов’ язання щодо якості набору даних - повноти, свіжості, точності і нульових ступенів.

«Наш золотий шар має SLA якості даних: 99,5% повності в полі user_id, свіжість даних протягом 2 годин від джерела і нуль дублікатів первинних ключів. Будь-яке порушення викликає попередження і блокує роботи вниз по течії»

У розмовах: відповідати SLA, порушити SLA, визначити пороги якості, контролювати відповідність SLA.

Лінійне відстеження

** Lineage tracking ** записує історію походження і перетворення даних — з якого джерела вони прийшли, які конвеєри перетворили їх, і які споживачі залежать від них.

“Коли фінансова команда знайшла аномалії в щомісячному звіті, відстеження лінії дало нам можливість відстежити дані назад до пошкодженого завдання ETL, яке було запущено трьома днями раніше. Без родословної, це дослідження зайняло б декілька днів»

Фрази: ** слідувати за попередником **, ** попередник по джерелу ** (звідки взято дані), ** попередник по джерелу ** (що від нього залежить), ** попередник на рівні стовпчика **, ** графік попередника по джерелу **.

Формат таблиці

Формат ** table ** (Delta Lake, Apache Iceberg, Apache Hudi) є відкритим шаром зберігання, який додає ACID- транзакції, еволюцію схеми і подорож у часі до файлів, збережених на об’ єкті зберігання.

«Ми стандартизували Iceberg як формат нашої таблиці. Це дає нам подорож у часі для зневадження, одночасних записів без конфліктів і прихованого розділення, тому продуктивність запиту не залежить від того, як дані були введені»

“Перед тим, як ми обрали Айсберг, ми оцінювали Дельта-Лейк і Худі. Iceberg виграв на співпраці з каталогом — він працює як зі Spark, так і з нашим кластером Trino без будь-яких роз’ємів»

Фрази: ** затвердити транзакцію **, ** подорож у часі до зніму **, ** прихований розділ **, ** співпраця з форматом таблиці **.

Інформаційні технології: інженерні системи, що використовують інформацію

В обзорах архитектурного дизайна:

• • “Де ці дані будуть спочатку? Бронзовий? І коли він підвищиться до срібла?»*
• • “Хто є власником цього продукту даних? Якщо SLA порушується о 2 годині ранку, хто буде викликаний?»*
• “Ми змішуємо шари медаліона тут — ця трансформація належить сріблу, а не золоту. Gold повинні бути агрегаціями тільки для читання.”

** На зустрічах з координації між командами: **

• • “У договорі зазначено, що схема є зворотньо сумісною, але ви втратили поле, яке не можна скасувати. Це руйнівна зміна.»*
• • “Нам нужна линия от сырого поглощения до приборной панели. Прямо зараз є чорна діра між ETL і складом.”*

В результате вскрытия:

• • “У нас не було SLA якості даних для цієї таблиці, тому аномалію не було виявлено протягом тижня. В подальшому, кожна золота таблиця потребує перевірки на повноту і свіжість. “*

Ключові слова

Collocation	Meaning
promote data through layers	move data from bronze → silver → gold
land in bronze	initial raw ingestion
break a data contract	produce data that violates the agreed schema or SLA
sign off on a schema	formally approve a schema change
trace column-level lineage	follow a field’s origin through transformations
breach the SLA	fail to meet a data quality commitment
time travel to a snapshot	query historical state of a table via table format
treat data as a product	apply product ownership and SLAs to datasets

Practice

Напишіть короткий коментар щодо перегляду архітектури (4- 6 речень) для гіпотетичного запиту на звантаження, який вводить нову таблицю золотого шару без договору щодо даних або SLA якості. Використовуйте принаймні три слова з цього повідомлення. Потім напишіть відповідь від автора — де вони погоджуються і пояснюють, як вони розглянуть цю думку. Ця діалогова практика відображає реальні взаємодії перегляду проекту і змушує вас використовувати словниковий запас як у реєстрах « підняття занепокоєння », так і « визнання зворотнього зв’ язку », які є рівно важливими в інженерному спілкуванні англійською мовою.