Англійський словник для ClickHouse Analytics

ClickHouse — це колонкова база даних OLAP, побудована для екстремальної продуктивності аналітичних запитів — здатна сканувати мільярди рядків за секунду на одному сервері. Це база даних вибору для команд, що працюють в реальному часі аналітичні конвеєри, системи метрики продукту, і відстеження подій в масштабі. ClickHouse має багатий власний словник: рушії таблиць, агрегаційні функції і розширення SQL, яких не існує у стандартних базах даних. Якщо ви працюєте у команді з обробки даних або аналітики, яка використовує ClickHouse, оволодіння цим словником має вирішальне значення для написання ефективних запитів, розробки схем і участі у обговореннях щодо швидкодії. Ця стаття описує найважливіші терміни у ClickHouse.

Ключовий словник

** Об’ єднатиДерево** Найбільш фундаментальний і широко використовуваний рушій таблиць ClickHouse. У таблицях MergeTree зберігаються дані, впорядковані за первинним ключем, і періодично об’ єднуються частини даних у фоновому режимі, що надає змогу дуже швидко сканувати діапазони і агрегувати дані. Майже всі виробничі таблиці ClickHouse використовують MergeTree або його варіант. Приклад: “Використовуйте MergeTree() для таблиці подій з ORDER BY (user_id, event_time) — сортування за користувачем, а потім за часом дозволяє нам сканувати історію одного користувача майже без вводу/виводу.”

** ARRAY JOIN ** Розширення ClickHouse SQL, яке розв’ язує стовпчики масиву на окремі рядки, подібно до UNNEST у PostgreSQL. Цей параметр є обов’ язковим для роботи з даними подій, які зберігають декілька значень (мітки, властивості, елементи) у полях масиву. Приклад: “Використовуйте ARRAY JOIN для розгортання масиву tags — нам потрібен один рядок на тег, щоб підрахувати, скільки подій має кожен тег.”

argMax Функція агрегування, яка повертає значення одного стовпчика для рядка, у якому інший стовпчик має максимальне значення. Це надзвичайно корисно для отримання « останнього значення » поля без підзапитів — наприклад, для знаходження останнього стану профілю кожного користувача. Приклад: “Використовуйте argMax(status, updated_at), щоб отримати поточний стан кожного користувача з таблиці подій — він знаходить значення status з того рядка, який має найбільше updated_at.”

** квантиля () ** Агрегатна функція для обчислення приблизних процентилів у великих наборах даних. quantile(0.95)(response_time_ms) обчислює час відповіді 95- го процентиля. ClickHouse використовує вибірку для швидкості, що робить її практичною для мільярдів рядків. Приклад: «Додати quantile(0.99)(latency_ms) AS p99_latency до запиту моніторингу — нам більше цікавий 99-й процентиль, ніж середнє значення для відстеження SLA.»

** toStartOfInterval () ** Функція дати/ часу, яка обрізає часовий штамп до початку часового відрізка — години, дня, тижня або нетипових інтервалів. Необхідний для агрегації часових рядків і панелей керування. Приклад: “Групуйте за toStartOfInterval(event_time, INTERVAL 5 MINUTE), щоб отримати часові ряди з 5-хвилинними відсіками — це більш гнучке, ніж toStartOfHour(), коли вам потрібна нетипова гранулярність.”

** Матеріалізований вигляд ** Об’ єкт ClickHouse, який автоматично попередньо агрегує дані під час їх вставлення, записуючи результати до цільової таблиці. На відміну від інших баз даних, матеріалізовані перегляди ClickHouse засновані на тригерах — вони запускаються на кожному INSERT — що робить їх придатними для підтримки агрегатів в реальному часі.

• Приклад: « Створити матеріалізований перегляд, який попередньо агрегує кількість подій за користувачем і днем, коли дані потрапляють — запит панелі управління буде викликати агрегаційну таблицю замість сканування необроблених подій. » *

** Репліковане ДеревоЗлиття ** Варіант MergeTree, який реплікує дані між декількома вузлами ClickHouse за допомогою Apache ZooKeeper або ClickHouse Keeper для координації. Потрібно для високої доступності і використовується у виробничих кластерах, де втрата даних не прийнятна. Приклад: “Підвищити таблицю подій до ReplicatedMergeTree перед запуском - один вузол MergeTree добре підходить для розробки, але нам потрібна реплікація для тривалості виробництва.”

Двигатель Кафки Рушій таблиць ClickHouse, який читає дані безпосередньо з теми Kafka. Ви створюєте таблицю рушія Kafka, а потім поєднуєте її з матеріалізованим переглядом, який записує спожиті повідомлення до таблиці MergeTree, створюючи потоковий конвеєр поглинання повністю у межах ClickHouse.

• Приклад: “Налаштувати таблицю рушія Kafka, яка вказує на тему page_views і матеріалізований перегляд для перенесення даних до MergeTree — нам не потрібно окреме завдання Flink для цього вживання.” *

Як використовувати цей словник

Дискусії щодо дизайну схем ClickHouse стосуються вибору рушія таблиці, ключа ORDER BY (який визначає фізичний порядок сортування і продуктивність запиту), а також чи використовувати матеріалізовані перегляди для попередньої агрегації. Добре сформована пропозиція схеми звучить так: «Я використаю ReplicatedMergeTree з ORDER BY (tenant_id, event_type, event_time) і матеріалізованим виглядом для попереднього агрегування щоденних підрахунків на рентера»

Обговорення оптимізації запитів часто згадують argMax як шаблон для пошуку «останньої записи», quantile() для процентильних метрик, і ARRAY JOIN для розгніздування. Зрозумівши, чому ці параметри існують — і які альтернативи вони замінюють — ви зможете зробити значний внесок у перегляд запиту.

Приклад розмови

Ніна: Запит на панель управління сканує 200 мільярдів рядків при кожному завантаженні. Забирає 12 секунд. У нас є матеріалізований вигляд щоденних агрегатів? Панелі не потрібні необроблені рядки подій. Пока нет. Я створю одну, використовуючи toStartOfInterval() за день і argMax для останнього стану на користувача. Хорошо. Переконайтеся, що цільова таблиця є ReplicatedMergeTree — ми на виробничому кластері.

Practice

1. Написати запит ClickHouse, який обчислює 95- й і 99- й процентилі стовпчика response_time_ms, згрупованого за годиною за допомогою toStartOfInterval() і quantile(). Прочитайте його вголос, використовуючи словниковий запас з цього повідомлення.
2. Поясніть колегі, який володіє SQL і який новий у ClickHouse, що робить ARRAY JOIN і як він відрізняється від стандартного SQL JOIN. Наведіть конкретний приклад, що включає масив міток продукту.
3. Описати стратегію матеріалізованого перегляду для таблиці подій великого обсягу: які дані вона попередньо агрегує, яким має бути рушій цільової таблиці, і чому ця стратегія швидша за запит необроблених даних для панелей інструментів.

Навигація по таблиці: 1

Ядро нашей работы заключается в понимании и манипулировании данными, чтобы получить представление о них. У рамках цього процесу, існує певний словник, який ми використовуємо - такі терміни як MergeTree, ARRAY JOIN, і quantile() - які не є просто технічним жаргоном; вони представляють різні підходи до вирішення проблем і комунікації в рамках команди аналітики. Це стосується чіткого передачі намірів, забезпечення того, щоб всі були на одній сторінці щодо структур даних і методів аналізу. У цьому розділі йдеться про вдосконалення вашої англійської мови, щоб краще брати участь у таких розмовах і, зрештою, надавати більш ефективні аналітичні рішення.

Припустимо, ми обговорюємо новий запит, розроблений для поліпшення показників звітів. Під час перегляду коду, Сара може сказати: «Я реструктурував це за допомогою MergeTree для оптимізації для великих наборів даних - це дозволяє нам ефективно індексувати і отримувати дані, які нам потрібні». Це не просто про заяву про технологію; це про пояснення * чому * ця технологія була обрана і її вплив. Аналогічно, під час обговорення об’ єднання різних таблиць, член команди може запропонувати « Давайте використаємо * ARRAY JOIN * тут, щоб обробляти складні відносини між демографічними даними наших клієнтів і даними про продажі ». Ключовим є точність вашої мови — уникати нечітких термінів і чітко сформулювати технічну логіку вашого вибору. Зрозуміти нюанси, такі як «матеріалізовані перегляди» - по суті, попередньо обчислені результати для швидшого доступу - також має вирішальне значення, оскільки це часто обговорюється стратегія оптимізації.

Крім того, ефективне спілкування виходить за рамки лише технічних деталей. Це про конструктивне обговорення. Наприклад, замість того, щоб сказати « Цей запит неефективний », кращим підходом буде « Я вважаю, що ми могли б поліпшити продуктивність, розглянувши * квантилі () *, щоб зменшити кількість оброблених даних. » Фрази на зразок « Давайте дослідимо альтернативні стратегії » або « Чи можемо ми переглянути цей аспект? » демонструють співпрацю і бажання вдосконалити рішення. Навіть в рамках розмов Slack, використання точної термінології - а не просто сказати «виправити цей запит» - демонструє професійне залучення.

# Example ClickHouse CLI Command (Illustrative - Demonstrates Array Join)
clickhouse --cluster=default_cluster --query 'SELECT array_join(ARRAY[1, 2], ARRAY[3, 4]) AS joined_array'

Цей приклад демонструє практичне застосування * ARRAY JOIN * - фундаментальної концепції в ClickHouse, яка часто виникає при обговоренні перетворень даних і приєднання масивних даних у запиту. Знання цієї термінології значно поліпшить вашу здатність ефективно брати участь у обговореннях щодо оптимізації складних аналітичних потоків роботи.