Growth Engineering in English: A/B Tests, Funnels, and Activation Vocabulary (англійською)
Освоєння англійської лексики, яку інженери зростання використовують щодня — метричні дані AARRR, події активації, групи, що утримуються, статистична значимість, аналіз воронки і експериментальна комунікація.
Інженерія розвитку має свою мову
Інженерія зростання знаходиться на перетині розробки продукту, науки про дані і маркетингу. Вона має свій власний словник — запозичений з усіх трьох дисциплін і перероблений в спільну мову, яку інженери зростання, менеджери продуктів і аналітики використовують для проектування експериментів, вимірювання результатів і повідомлення результатів.
Якщо ви працюєте у галузі зростання і англійська мова не є вашою першою мовою, вільне володіння цим словником допоможе вам ефективніше брати участь у обговоренні проекту експерименту, переконливо ділитися результатами і читати звіти аналітики без двозначності.
Словник AARRR Framework
AARRR (Acquisition, Activation, Retention, Referral, Revenue) — іноді називається «Піратська метрика» — це рамка для відображення життєвого циклу користувача.
| Term | Definition |
|---|---|
| Acquisition | The process of getting users to discover and visit your product |
| Activation | The moment when a user experiences the core value of the product for the first time |
| Retention | Users returning to the product over time |
| Referral | Users recommending the product to others, generating organic acquisition |
| Revenue | Users paying for the product or generating monetisable activity |
** Активація ** є найбільш обговорюваною і обговорюваною метрикою в інженерії зростання. Подія активації є конкретною, вимірюваною дією, яка корелює з довгостроковим зберіганням - моментом, коли користувач справді “вхопив це”
Визначення правильної події активації є одним з найбільш важливих аналітичних завдань у зростанні. Поширені приклади: надіслання першого повідомлення, завершення першого проекту, з’ єднання з першою інтеграцією.
A/B-тестування
| Term | Definition |
|---|---|
| A/B test (controlled experiment) | An experiment in which users are randomly assigned to a control group (A) or a treatment group (B) |
| Control group | The group that receives the existing experience |
| Treatment group (variant) | The group that receives the new or modified experience |
| Holdout group | A group permanently excluded from a feature to measure its long-term effect |
| Randomisation unit | The entity being randomly assigned — often a user, device, or session |
| Sample size | The number of units in an experiment; must be sufficient for statistical power |
| Statistical power | The probability of detecting a true effect if one exists |
| Type I error (false positive) | Concluding that an effect exists when it does not |
| Type II error (false negative) | Failing to detect a true effect |
| p-value | The probability of observing the measured effect if the null hypothesis were true |
| Statistical significance | A result is statistically significant if the p-value is below a pre-defined threshold (typically 0.05) |
| Minimum detectable effect (MDE) | The smallest effect size the experiment is designed to detect |
| Confidence interval | A range of values within which the true effect size is likely to fall |
** Статистична значущість не означає практичного значення. ** Зміна, яка збільшує активацію на 0, 01% може бути статистично значущою за досить великої вибірки, але це може не варто пересилання. Завжди повідомляйте ** розмір ефекту ** поряд з значущістю.
Функціональний словник
| Term | Definition |
|---|---|
| Funnel | A sequence of steps users take toward a conversion goal |
| Conversion rate | The percentage of users who complete a given step |
| Drop-off | The point in a funnel where users abandon the process |
| Funnel analysis | Examining conversion rates and drop-off points across a funnel |
| Top-of-funnel (TOFU) | Early stages of the funnel (awareness, acquisition) |
| Bottom-of-funnel (BOFU) | Later stages (conversion, revenue) |
| Friction | Unnecessary difficulty or complexity in the user journey that reduces conversion |
| Aha moment | The moment a user understands the product’s value — closely related to the activation event |
Результати експериментів
| Term | Definition |
|---|---|
| Lift | The relative improvement in a metric due to the treatment |
| Degradation | A negative lift — the treatment made the metric worse |
| Novelty effect | A temporary increase in engagement due to the newness of a change, not its underlying value |
| Network effect (in experiments) | Interference between treatment and control groups in social or referral-based products |
| Segment analysis | Breaking down results by user cohort, geography, or other dimensions |
| Guardrail metric | A metric that must not decline in an experiment, even if the primary metric improves |
| North star metric | The single most important metric the organisation is optimising for |
Як оцінити результати експерименту
Під час презентації результатів A/ B- тестування у ході зустрічі або у документі використовуйте таку структуру:
- ** Гіпотеза: ** * “Ми гіпотезували, що зменшення кількості кроків у впровадженні з п’яти до трьох збільшить 7-денний рівень активації.” *
- Дизайн експерименту: “Ми провели A/B тестування з розділенням 50/50 протягом трьох тижнів, націлені на нових підписників. Мінімальний виявлюваний ефект був встановлений на 5% відносного підйому.”
- Розрахунки: “Група лікування показала 7,3% відносне збільшення 7-денного рівня активації (32,1% проти 29,9%), з p-значенням 0,032 — статистично значущим на рівні 5%.”
- ** Розмір ефекту і довірчий інтервал: ** *“95% довірчий інтервал для підйому становить від 0,8% до 13,9% - справжній ефект може варіюватися від скромного до значного.” *
- ** Перевірка на стійкість: ** * “Не спостерігалося значного погіршення 30-денного зберігання або показників доходів.” *
- ** Рекомендація: ** * « Ми рекомендуємо надіслати всім користувачам трикроковий процес впровадження. » *
Приклади висловлювань
- “Ми встановили групу, що не підкоряється, на 10% для вимірювання складного ефекту послідовності активації протягом шести місяців — нам буде потрібна ця базова лінія, коли ми будемо оцінювати повний набір функцій.”
- “А/Б тест досяг статистичного значення через 18 днів, але я рекомендую почекати три тижні, щоб зменшити ефект новизни.”
- “Наш аналіз відмови показує, що 43% користувачів залишають стік на кроці методу оплати - це наша найвища мета оптимізації кредитних цінностей для Q2.”
-
- “Подія активації, яку ми використовуємо, це « завершено перший експорт » — вона має найсильнішу кореляцію з 90- днем збереження в нашому аналізі когорти.” *
- “95% довірчий інтервал для цього експерименту достатньо широкий, щоб ми не могли бути впевнені, що ефект комерційно значущий — я рекомендую продовжити тривалість тестування і переглянути наступний спринт.”
Поширені помилки в словниковому запасі
** “Слід” проти “статистично значущі”: ** У повсякденній англійській, “слід” означає важливий. У зростанні, «статистично значущі» має певне технічне значення. Не скажіть * “результати є значущими” *, коли ви маєте на увазі * “результати є статистично значущими при p < 0,05.” * Це різні твердження.
** Специфіка « Частоти перетворення »: ** Завжди вказуйте * яку * частоту перетворення ви обговорюєте. * « Наша частота перетворення покращилася » * є неоднозначною. * « Наша частота перетворення від запуску до активації покращилася з 29% до 31% » * є конкретною і дійсною.
** Плутанина між кореляцією і причинністю: ** У дискусіях щодо експериментів використовуйте причинну мову лише у випадку, якщо ви проводите випадковий експеримент: * « Лікування спричинило підвищення на 7% ». * Для спостережних даних використовуйте асоціативну мову: * « Користувачі, які закінчили навчальний посібник, показали на 40% більшу утримку — ми проводимо експеримент, щоб перевірити, чи сам навчальний посібник сприяє утримці, чи його вибирають більш мотивовані користувачі. » *