Data Governance Vocabulary for Engineers
60 основних термінів управління даними для інженерів даних: управління даними, походження, каталогізація, контроль доступу, якість даних, відповідність і управління метаданими.
Управління даними — це система правил, ролей, стандартів і процесів, які забезпечують надійність, відстежуваність і відповідальне використання даних в організації. Як інженерія даних дозріває, інженери очікують реалізувати управління - а не просто будувати трубопроводи. Цей посібник містить 60 термінів, які вам потрібні для вільної участі у розмовах щодо управління даними.
Основні принципи управління
Управління даними
** Управління даними ** є загальною структурою для керування даними як корпоративним активом — забезпечення того, щоб дані були точними, доступними, послідовними, безпечними і використовувалися відповідально.
«Управління даними — це не просто пункт відповідності — це те, як ми забезпечуємо, щоб наші дані були достатньо надійними, щоб приймати рішення»
Управління даними
** Керування даними ** це повний життєвий цикл практики зберігання даних: збір, зберігання, обробка, безпека і знищення. Управління - це політика; управління - це практика.
Інформаційна стратегія
Стратегія даних є загальним для організації планом того, як дані будуть збиратися, зберігатися, керуватися і використовуватися для досягнення бізнес-цілей.
Ролі та обов’язки
Власник даних
** Власник даних ** є старшим бізнес- учасником, відповідальним за набір даних або домен даних — відповідальним за визначення правил доступу і стандартів якості.
“Власником даних для домену клієнта є віце-президент CX. Вона схвалює всі нові запити доступу до PII клієнта»
Стюард даних
** Data steward ** це оперативний практик, який відповідає за щоденну якість, документацію і управління певним набором даних або доменом.
Наш керівник даних для фінансових даних підтримує словник даних і переглядає попередження про якість щоранку
Інженер-технолог/інженер-технолог
Охоронець даних (часто інженер даних) реалізує і намагається забезпечити технічні засоби контролю, надані власником і керівником — засоби контролю доступу, шифрування, правила зберігання.
Головний інженер (англ. Chief Engineer)
CDO є виконавчим керівником, який відповідає за стратегію корпоративних даних, управління та якість даних в організації.
Інформаційні технології
Споживач даних це будь-хто, хто використовує дані для аналізу, звітів або створення продуктів — аналітики, вчені з даних, команди продуктів.
Якість даних
Якість даних
** Якість даних ** стосується придатності даних для їхньої призначеної мети, що вимірюється за такими параметрами, як точність, повність, послідовність і своєчасність.
Accuracy
Точність даних ** - це ступінь, в якому дані правильно відображають реальну сутність, яку вони представляють. Неправильна адреса клієнта є проблемою точності.
Completeness
** Завершеність ** — це відсоток записів з ненульовими значеннями у обов’ язкових полях. * “Завершеність замовлення становить 99, 7% — 0, 3% замовлень не мають ідентифікатора клієнта.” *
Consistency
Послідовність означає, що один і той же атрибут даних має одне і те ж значення у всіх системах. “Статус клієнта не збігається між CRM і складом — вони показують «неактивний» і «витягнутий» для одного і того ж клієнта.”
Вчасність / Freshness
Вчасність (також свіжість) означає, чи є дані достатньо актуальними для їх запланованого використання. “Фінансовий звіт вимагає свіжості даних T+1 — вчорашні операції повинні бути доступні до 6 ранку.”
Uniqueness
** Унікальність ** означає, що запис (або комбінація полів) з’ являється лише один раз — немає дублікатів. * « Ідентифікатор_ замовлення має бути унікальним у всій таблиці замовлень ». *
Validity
** Коректність ** — це те, чи відповідають значення даних визначеним правилам і форматам. Поле електронної пошти, що містить « N/A », є проблемою з перевіркою.
Список відомих дат / Пер
** Оцінка DQ** є складною метрикою, яка підсумовує якість даних у різних вимірах — зазвичай виражається у відсотках.
Метадані і каталогізація
Metadata
** Метадані ** — це дані про дані — описова інформація, яка пояснює, що таке набір даних, звідки він походить, кому він належить і як його слід використовувати.
Типи:
- ** Технічні метадані ** — схема, типи даних, кількість рядків, останнє оновлення
- ** Бізнес- метадані ** — описи, власники, визначення бізнесу
- ** Операційні метадані ** — часи виконання конвеєра, стан завдання, відповідність SLA
Каталог даних (англ. Data Catalog)
** Каталог даних ** — це інвентар, у якому можна шукати всі дані у організації — з метаданими, родоводом, власником і інформацією про якість. Приклади: Apache Atlas, Collibra, Alation, Datahub.
Перед тим, як побудувати свій конвеєр, перевірте каталог даних — таблиця клієнта може вже бути задокументована з власниками і SLO якості
Інформаційний словник
** Словник даних ** — це офіційний довідковий документ, у якому визначено значення, тип, формат і обмеження кожного поля у наборі даних або базі даних.
«Словник даних говорить, що
statusможе бути тільки одним з: очікування, підтверджено, відправлено, доставлено, скасовано — будь-яке інше значення є проблемою якості даних»
Бухгалтерський облік
Бизнес-глоссарий визначає бізнес-терміни простим мовою — що означає «активний клієнт»? Що таке “дохід” за нашим визначенням?
«Фінансові та продуктові команди мають різні визначення «місячного активного користувача» — бізнес-глосарій повинен вирішити це»
Схема реєстру
** Реєстр схем ** зберігає і версує схеми для потокових даних (Kafka, Pulsar) - забезпечуючи виробників і споживачів погоджуються на формат даних. Приклади: Confluent Schema Registry, AWS Glue Schema Registry.
Інформаційна лінія
Інформаційна лінія
** Походження даних ** — це запис того, звідки походять дані, як вони протікають через системи і які перетворення вони зазнають — від джерела до призначення.
«Аудитор попросив про послідовність даних на цифру доходу — я відслідковував її з таблиці замовлень через три моделі dbt до фінансового звіту»
Вгору/вниз
** Upstream ** — системи або набори даних, які надають дані до поточного набору даних. ** Downstream ** — системи або набори даних, які споживають дані з поточного набору даних.
Якщо ми змінимо схему таблиці сирих замовлень, нам потрібно оцінити вплив на всі потоки вниз
Колонна лінія
** Походження на рівні стовпчиків ** відстежує не лише те, які таблиці рухаються куди, але й те, які стовпчики створюють які вивідні стовпчики за допомогою перетворень.
Контроль доступу і безпека
Рольовий контроль доступу (RBAC)
** RBAC ** надає доступ до даних на основі організаційної ролі користувача. * “Аналізатори мають доступ для читання до срібного шару; тільки команда платформи даних має доступ до необроблених даних.” *
Контроль доступу за атрибутами (ABAC)
ABAC надає доступ на основі атрибутів користувача, ресурсу і контексту — більш детальний, ніж RBAC. “Служителі в APAC можуть бачити записи клієнтів тільки там, де region=‘APAC’.”
Маскування даних
** Маскування даних ** замінює конфіденційні значення реалістичними, але вигаданими альтернативами для непродукційного використання. * “У середовищі розробників, електронні листи клієнтів маскуються: john@ company. com стає j. xxx@ company. com.” *
Tokenisation
** Токенізація ** замінює конфіденційне значення (наприклад, номер кредитної карти) на токен — не конфіденційний замінник, який відображається назад до оригіналу за допомогою безпечного сховища токенів.
Безпека на рівні колонок
** Безпека на рівні стовпчика ** обмежує доступ до певних стовпчиків у таблиці на основі ролі користувача — наприклад, приховуючи стовпчик salary від користувачів, які не є працівниками HR.
Рі́д-Рі́д (фр
** Безпека на рівні рядків ** обмежує кількість рядків, які може бачити користувач, наприклад, регіональний менеджер бачить записи лише для свого регіону.
Регулювання і регулювання
GDPR (Загальний регламент про захист даних)
GDPR — це регламент ЄС, що регулює особисті дані — вимагає згоди, права на вилучення, переносимості даних і повідомлення про порушення.
«Це поле містить електронні листи громадян ЄС — це підпадає під GDPR. Нам потрібна політика зберігання і документована законна основа для обробки»
Інформація про особистість (PII)
PII — це будь- які дані, які можуть ідентифікувати людину — імена, адреси електронної пошти, номери телефонів, IP- адреси, біометричні дані.
Правила зберігання даних
** Правила зберігання даних ** визначають, як довго зберігати дані і коли їх слід вилучити.
Право на виправлення (право бути забутим)
За GDPR, користувачі мають право запитати, щоб їхні персональні дані були вилучені. Системи даних повинні мати можливість реалізувати це - включаючи видалення даних з аналітичних конвеєрів і резервних копій.
Реєстрація даних
** Вимоги щодо резиденції даних ** наказують, що дані повинні зберігатися і оброблятися в певних географічних регіонах. * “Дані наших німецьких клієнтів повинні залишатися в регіонах ЄС - ми не можемо маршрутизувати їх через американські служби.” *
Корисні фрази
В обзорах управления:
-
- “Цей набір даних не має задокументованого власника — нам потрібно призначити керівника даних, перш ніж ми зможемо додати його до каталогу.” *
-
- “Рейтинг якості для цієї таблиці становить 87% — це нижче нашого порогу 95% для наборів даних 1- го рівня. Нам потрібно виправити проблеми повноти.»*
** При поясненні роду: **
-
- “Я можу відстежити цей номер доходу назад до таблиці необроблених транзакцій за допомогою трьох перетворень — всі вони задокументовані у каталогу.” *
** У обговореннях контролю доступу: **
- “Ми застосовуємо безпеку на рівні стовпчика до поля зарплати — його можуть бачити лише працівники кадрів і фінансів.”
Practice
Поглибте свій словник управління даними за допомогою ** Набір вправ з інженерії даних. Name ** і ** Інженер з обробки даних **.