Англійський словник для інтеграції даних Airbyte

Airbyte - це платформа інтеграції даних з відкритим кодом, яку використовують команди інженерів даних для пересування даних між джерелами і призначеннями. Якщо ви працюєте у команді, яка використовує Airbyte — або ви приєднуєтесь до такої команди — вам потрібно спілкуватися про з’ єднання, стратегії синхронізації і стан конвеєра даних точною англійською. Ця стаття описує основні слова Airbyte і те, як вони звучать у справжніх розмовах команди.

Ключовий словник

** Роз’ єднання джерела ** Додаток, який з’ єднує Airbyte з джерелом даних — базою даних, API SaaS, сховищем файлів або будь- якою іншою системою, у якій зберігаються дані, які ви бажаєте видобути. Airbyte підтримує каталог з сотнями джерельних з’єднань.

• Приклад: « Ми використовуємо коннектор Postgres для вивантаження даних з нашої транзакційної бази даних і завантаження їх у сховище даних. » *

** Конектор призначення ** Додаток, який з’ єднує Airbyte з цільовою системою, у яку буде записано дані — зазвичай, це сховище даних, на зразок BigQuery, Snowflake або Redshift. Приклад: «Налаштувати коннектор призначення, щоб він вказував на наш склад Snowflake — використовуйте схему raw_data для початкового завантаження.»

** Режими синхронізації ** Стратегія, яку використовують для реплікації даних з джерела до призначення. Airbyte підтримує декілька режимів синхронізації, кожен з яких відповідає різним характеристикам даних і вимогам до продуктивності.

• Приклад: « Який режим синхронізації ви використовуєте для таблиці замовлень? » Повне оновлення буде занадто повільним, коли у нас будуть мільйони рядків».*

** Повне оновлення ** Режим синхронізації, який замінює весь набір даних призначення новою копією з джерела під час кожної синхронізації. Простий, але дорогий варіант для великих таблиць — кожна синхронізація зчитує і записує всі дані. Приклад: «Ми використовуємо повне оновлення для каталогу продуктів — це лише 5000 рядків, і він часто змінюється таким чином, що його важко відстежувати поступово.»

** Інкрементальна синхронізація ** Режим синхронізації, у якому виконується лише читання і запис даних, які змінилися з часу останньої синхронізації, за допомогою поля курсора (зазвичай, це штамп часу або ідентифікатор з автоматичним збільшенням) для відстеження поступу. Набагато ефективніше, ніж повне оновлення для великих таблиць.

• Приклад: « Перемкнути таблицю замовлень на інкрементну синхронізацію з використанням updated_at як курсора — повне оновлення займає 45 хвилин за запуск ». *

** Дедуплікація (прирост + дублікат + історія) ** Додатковий режим синхронізації, який підтримує знімок джерел даних у місці призначення, де знищено дублікати — кожен рядок з’ являється лише один раз, з останніми значеннями. Потрібний первинний ключ.

• Приклад: « Ми використовуємо Dedupe для таблиці профілів користувачів, щоб кожен користувач мав всього один рядок у сховищі, навіть якщо його профіль оновлюється кілька разів на день. » *

З’єднання У Airbyte « з’ єднання » — це налаштований конвеєр між певним джерелом і певним місцем призначення, включаючи режим синхронізації, розклад і обрані потоки. Приклад: «У нас є три з’ єднання — одне для транзакційної бази даних, одне для Salesforce і одне для нашої платформи відстеження подій.»

Струм Індивідуальний потік даних у джерелі — зазвичай, це таблиця бази даних, ресурс кінцевої точки API або тема. Під час налаштування з’ єднання ви можете обрати потоки, які слід синхронізувати. Приклад: «Я увімкнув три потоки з роз’ єднання Stripe: клієнти, рахунки-фактури і payment_intents. Нам не потрібен поток підписок зараз.»

Виявлення схеми Процес, за допомогою якого Airbyte автоматично перевіряє джерело і визначає наявні потоки і їхні типи полів. Airbyte виконує пошук схеми під час налаштування або оновлення з’ єднання джерела.

• Приклад: « Знову запустити пошук схеми — команда розробників додала три нові стовпчики до таблиці транзакцій минулого тижня, і нам потрібен Airbyte, щоб виявити їх. » *

** Конструктор з’ єднань ** Інструмент Airbyte з низьким кодом для створення нетипових з’ єднань з кодом для API, які не мають існуючих з’ єднань. Використовує декларативний формат на основі YAML.

• Приклад: « Не існує існуючого з’ єднання для API цього виробника, тому я буду будувати нетипове з’ єднання за допомогою Конструктора з’ єднань. »*

Нормализация Додатковий крок перетворення даних Airbyte, який перетворює необроблені дані JSON з місця призначення на структуровані реляційні таблиці. Якщо позначено, програма запускатиме моделі dbt під капотом.

• Приклад: « Увімкніть нормалізацію, якщо ви бажаєте, щоб Airbyte автоматично створював чисті таблиці з можливістю запиту з необробленого JSON — інакше вам доведеться писати власні моделі dbt. » *

Фрази і фразеологізми

** « Налаштувати з’ єднання джерела » ** Стандартна фраза дії для налаштування нового джерела даних у Airbyte.

• Приклад: « Чи можете ви налаштувати з’ єднання джерела для нової репліки читання PostgreSQL? Уповноваження знаходяться в спільному сховищі.”*

** « Налаштувати поступову синхронізацію » ** Вибір стратегії зростання для певного з’ єднання або потоку. Приклад: «Налаштувати інкрементну синхронізацію для таблиці подій з використанням event_timestamp як поля курсора — ми синхронізуємо мільйони рядків, а повне оновлення не є стійким.»

** “Виявлення схеми джерела” ** Виклик виявлення схеми на з’ єднанні. Приклад: «Виявлення схеми джерела на роз’ємі Shopify — я думаю, що вони додали нові поля до об’єкта замовлень в останньому оновленні API.»

** « Синхронізація потоку зазнала невдачі… » ** Стандартна мова інциденту для визначення, яка частина з’ єднання зазнала помилки.

• Приклад: « Синхронізація потоку line_items зазнала невдачі — виглядає як нульове значення у полі, яке не можна анульувати. Я додам трансформацію, щоб обробляти це.»*

“Підвищити до виробництва” Пересування з’ єднання з налаштування розробки або перехідного стану до виробничого екземпляра Airbyte.

• Приклад: « З’ єднання перевірено у dev. Готові до переходу на виробничу версію, як тільки ви підтвердите, що дані призначення правильні.”*

Практичні рекомендації

1. «Ми використовуємо Salesforce source connector з інкрементною синхронізацією на об’єкті можливості — він запускається кожні 15 хвилин і використовує поле SystemModstamp як курсор»
2. “Відкриття схеми знайшло чотири нові стовпці в джерелі. Я оновлю з’єднання, щоб включити їх і перевірити, що типи правильно відображені»
3. «Режим синхронізації Dedupe вимагає первинного ключа — чи можете ви підтвердити, який первинний ключ для таблиці рахунків перед тим, як я його налаштую?»
4. «Ми створюємо нетиповий коннектор з Connector Builder для REST API виробника — автентифікація OAuth 2.0 з потоком клієнтських даних»
5. «Нормалізація вимкнена для таблиці подій, тому що у нас є нетипові моделі dbt, які обробляють логіку перетворення»

Необхідно уникати помилок

** Плутанина між « повним оновленням » і « початковим завантаженням » ** Повне оновлення виконується під час кожної синхронізації — програма замінює всі дані кожного разу. Це не просто перший запуск. Використання цього методу для великих таблиць призведе до тривалого часу синхронізації і високих витрат на обчислення.

• Замість: « Я зараз використаю повне оновлення, а потім перейду на інший режим ». *
• Скажіть: « Я налаштую тепер Природні — повне оновлення не підходить для таблиць з більше ніж 100 000 рядків у нашому середовищі. » *

** Забув, що для інкрементної синхронізації потрібне надійне поле курсора ** Якщо поле курсора (наприклад, updated_at ) не індексовано, не заповнено для всіх рядків або не збільшується монотонно, приростова синхронізація буде повільною або не буде включати записи.

• Завжди перевіряти: « Чи буде updated_at заповнено для м’ яких вилучень і оновлень, а не лише для вставлень? Приростова синхронізація пропустить зміни, які не оновлюють це поле.”*

** Нормалізація як необов’ язковий параметр без плану перетворення даних ** Якщо ви вимкнете нормалізацію, необроблені дані буде перетворено на об’ єкти JSON. Для того, щоб зробити його доступним для запиту, вам потрібна dbt або інший шар перетворення. Команди іноді вимикають нормалізацію і запитують, чому їхні таблиці не використовуються.

• Пояснення: “Якщо ми вимкнемо нормалізацію, команда інженерів з обробки даних повинна володіти моделями dbt, які перетворюють зону посадки на готові до аналізу таблиці.” *

Summary

Словник Airbyte - джерело і призначення з’єднувачі, режими синхронізації (повне оновлення, інкрементальний, Dedupe), потоки, схема виявлення, нормалізація - відображає безпосередньо до основних рішень інженери даних роблять при створенні інтеграції конвеєрів. Знання цих термінів англійською мовою дозволить вам повністю брати участь у обговоренні проектування конвеєра, чітко зневаджувати помилки синхронізації і документувати архітектуру інтеграції даних у такий спосіб, щоб її могли слідувати ваші колеги з інших країн. Точний словник є основою надійного обміну інформацією в інженерії даних.