Англійський словник для проектів міграції даних

Міграції даних є одними з найбільш стресових і високоризичних інженерних проектів. Вони поєднують технічну складність з бізнес-ризиком - і вони вимагають точного спілкування на кожному етапі, від планування до перегляду після міграції. Незалежно від того, чи ви мігруєте базу даних, пересуваєте дані між хмарними провайдерами або консолідуєте схеми, словник спеціалізований і послідовний у всій галузі.

У цьому довіднику наведено лексику англійської мови, яка вам потрібна для впевненої участі у зустрічах з планування перенесення даних, написання документації з перенесення і повідомлення про стан під час переходу на інший сервер.

---

Що таке міграція даних?

** Міграція даних ** — це процес перенесення даних з однієї системи зберігання, формату або місця на інше. Міграції дуже різноманітні за масштабом:

• Перехід з одного рушія бази даних на інший (наприклад, з MySQL на PostgreSQL)
• Перехід з локальної інфраструктури на хмарний провайдер
• Об’ єднання двох баз даних після придбання компанії
• Зміна схеми (додання стовпчиків, зміна типів даних, зміна структури таблиць)
• Пересування даних між регіонами з причин відповідності (наприклад, вимоги щодо резиденції даних GDPR)

Що всі міграції спільне - це потреба в ретельному плануванні, перевірці і чіткій стратегії відновлення.

---

Основний словник міграційних явищ

ETL

** ETL ** — це абревіатура від ** Extract, Transform, Load ** — три основних кроки пересування даних:

• ** Витягнути ** — читання даних з системи- джерела
• ** Transform ** — очищення, перетворення або реструктуризація даних, щоб вони відповідали цільовій схемі
• ** Loading ** — запис перетворених даних у цільову систему

“Ми створюємо конвеєр ETL для перенесення записів клієнтів зі старої бази даних Oracle до нашої нової схеми PostgreSQL.”

Варіанти включають ** ELT ** (Витяг, завантаження, перетворення), де перетворення відбувається після завантаження в ціль.

Джерело і ціль

• ** Джерело ** — система, з якої ви переноситимете дані (* « джерельна база даних » *, * « схема джерела » *)
• ** Призначення** — система, до якої ви переноситимете дані (*« середовище призначення » *, * « структура таблиці призначення » *)

Це два найважливіших іменники в будь-якій дискусії про міграцію.

Schema

** Схема ** — це структура або визначення бази даних — її таблиці, стовпчики, типи даних, обмеження і відносини.

• ** Міграція схеми ** — зміна структури бази даних, а не самих даних
• ** Дрейф схеми ** — коли фактична структура бази даних відрізняється від того, що задокументовано або очікується

• “Перед тим, як ми перенесемо дані, нам слід запустити перенесення схеми, щоб створити нові таблиці у призначеннях.” *

Cutover

** Перехід ** (також називається ** перехід **) є моментом, коли трафік перемикається зі старої системи на нову. Це найкритичніший момент у міграції.

• ** cutover window ** — запланований проміжок часу для перемикання
• ** жорсткий перехід ** — раптове перемикання з періодом бездіяльності
• ** перехід на інший канал ** — поступове перемикання, часто за допомогою прапорців можливостей або маршрутизації трафіку
• ** перенесення без перерв ** — стратегія перенесення, розроблена для уникнення будь- яких перерв у роботі служб

*“Вікно переходу — 03:00–05:00 UTC у суботу. Якщо ми не будемо готові до 04:30, ми скасовуємо і повернемося назад

---

Перевірка достовірності даних

Перевірка — це спосіб підтвердження того, що перенесені дані є правильними і повними. Це відбувається на декількох етапах.

Reconciliation

** Прирівнювання ** означає порівняння кількості даних і значень між джерелом і призначенням, щоб підтвердити їх збіг.

• • “Прирівнювання кількості рядків: джерело має 4, 712, 893 рядки; призначення має 4, 712, 893 рядки. «Список матчів» (англ.)
• • “Ми виконуємо перевірку суми у фінансових таблицях, щоб переконатися, що значення не змінювалися під час перетворення.” *

Терміни якості даних

• ** повність ** — присутні всі очікувані записи
• ** точність ** — значення є правильними і не були пошкоджені під час перенесення
• ** несуперечність ** — зберігаються зв’ язки між записами (зовнішні ключі, посилання на цілісність)
• ** посилання на цілісність ** — кожен зовнішній ключ у таблиці призначення вказує на коректний запис у пов’ язаній таблиці

• “Набір перевірки перевіряє наповненість, точність і цілісність посилань перед тим, як ми підпишемося на міграцію.” *

Фрази перевірки

• • « Перевірити вибірку записів » * — вручну перевірити випадковий вибір записів для виявлення помилок перетворення
• • « Виконати порівняння з джерелом » * — порівняти перенесені дані з джерельними даними
• • « Перевірити підрахунок » * — підтверджує збіг підрахунку записів між джерелом і призначенням
• • « Прапорець аномалій » * — визначає несподівані значення або шаблони для перегляду

---

Міграційна стратегія

Великий вибух. Інкрементальний

• ** Перенесення за принципом великого вибуху ** — всі дані переносяться за однією операцією, зазвичай з перервами. Вищий риск, проще исполнение.
• ** Прискорена міграція ** — дані переносяться поетапно або по пакетах, часто під час паралельного виконання обох систем. Менший риск, больше сложностей.

• “Ми виконуємо поступову міграцію: спочатку ми пересуємо історичні дані, а потім ми синхронізуємо дельту перед переходом.” *

Дельта і заповнення

• ** Дельта ** — нові або змінені дані, які накопичилися після початкової міграції, поки система- джерело залишається активною. * « Нам потрібно синхронізувати дельту — приблизно 80 000 записів, створених з моменту початкового завантаження. » *
• ** Backfill ** — заповнення нової колонки або таблиці обчисленими значеннями для існуючих записів. * “Ми повинні заповнити нову колонку user_tier на основі історичних даних про покупки.” *

Двійковий запис

** Подвійний запис ** — це метод перенесення, за допомогою якого нові дані записуються одночасно у стару і нову системи під час перехідного періоду, що надає вам змогу змінювати шлях читання без ризику переходу на іншу систему.

• “Ми реалізували подвійні записи протягом 72 годин до переходу. Обидві бази даних залишалися синхронними, що дало нам впевненість у тому, що ми перейдемо з нульовим часом простою.”*

Режим тіні

** Режим тіньового доступу ** (або тіньовий трафік) означає запуск нової системи паралельно зі старою, обробку тих самих запитів, але без показу результатів користувачам. Це дозволяє вам порівнювати виводи без впливу на виробництво.

• “Ми запустили нову базу даних звітів у тіньовому режимі протягом тижня, порівнюючи результати запитів зі застарілою системою. Рівень невідповідності був нижче 0,01%.”*

---

Реверсивна лексика

Кожна міграція потребує плану відновлення — визначеного способу повернення до початкової системи, якщо щось пішло не так.

• ** план відновлення ** — документовані кроки для відновлення системи джерел
• ** вікно відновлення ** — період часу, протягом якого можливе відновлення
• ** відновлення за певною точкою часу ** — відновлення бази даних до зніму, зробленого у певний момент часу
• ** критерії скасування ** — умови, які викликають скасування і відновлення (* « Якщо частота помилок перевищує 0, 5% на перетині, ми скасовуємо. » *)
• ** безперервний запуск ** — практичний запуск перенесення у непродуктивному середовищі

• “Ми маємо план відновлення: ми можемо відновити базу даних джерела зі зніму за 15 хвилин, якщо перенесення не вдалося. Вікно відновлення становить 2 години після переходу на інший режим. *

---

Ключовий словниковий запас

Term	Definition
ETL	Extract, Transform, Load — the three migration steps
Source	The system data is being moved from
Target	The system data is being moved to
Cutover	The moment traffic switches from old to new system
Reconciliation	Comparing source and target to verify correctness
Delta	New data created after the initial migration load
Backfill	Populating a new field for existing records
Dual write	Writing new data to both systems during transition
Shadow mode	Running the new system in parallel without serving results
Rollback plan	Documented steps to revert if migration fails
Referential integrity	All foreign keys point to valid related records
Dry run	A practice migration in a non-production environment

Міграція даних надто важлива для нечіткого спілкування. Один неправильно зрозумілий термін — «Я думав, що перехід був вікном відновлення» — може перетворити відновлювану ситуацію в катастрофу. Вивчіть цей словник ретельно, і ви станете більш обізнаним і впевненим учасником у кожному проекті перенесення, до якого ви приєднаєтеся.