Як пояснити p95 і p99 latency для зацікавлених сторін англійською мовою
Дізнайтеся, як пояснити перцентили затримки для нетехнічних зацікавлених сторін англійською мовою — чому середнє значення вводить у оману, і як зробити числа p95 і p99 значущими для бізнес-аудиторії.
Перцентили затримки прості з математичного погляду, але їх пояснення справді заплутане, оскільки суть перцентилів полягає у тому, що вони навмисно ігнорують більшість даних. Зацікавлені сторони, які чують «середній час відповіді становить 200 мс», а потім чують «але p99 становить 3 секунди», часто припускають, що щось суперечливе, коли це не так — це просто описує іншу частину розподілу.
Ключовий словник
** Перцентиль ** — значення, нижче якого знаходиться певний відсоток спостережень, отже, затримка p95 означає, що 95% запитів було виконано швидше за цю цифру, а решта 5% — повільніше, що є головною ідеєю, яку слід знати учасникам, перш ніж будь- яке конкретне число буде мати сенс. “Коли я кажу, що p95 це 400 мілісекунд, це означає, що 95 з кожних 100 запитів завершуються за менше ніж 400 мілісекунд — це не середнє, це точка відрізку в розподілі.”
** Довгий хвіст ** — менша частина запитів, які займають непропорційно більше часу, ніж типовий запит, які перцентили, такі як p99, спеціально розроблені для того, щоб виходити на поверхню, оскільки середні значення можуть повністю приховати довгий хвіст. “Среднее показник виглядає добре на 250 мілісекундах, але це приховує довгий хвіст - невеликий відсоток запитів займає від 8 до 10 секунд, і це саме ті запити, які б виявила метрика p99.”
** Замасковування середніх значень (чому середні значення вводять у оману) ** — спосіб, за яким середнє значення може виглядати здоровим, навіть якщо значний підмножина користувачів має справді погані відчуття, оскільки декілька дуже швидких запитів може компенсувати декілька дуже повільних запитів у обчисленні. “Причина, чому ми перестали повідомляти лише про середнє, полягає в маскуванні середнього — один регіон сервера був у десять разів повільнішим, ніж інші, але це була досить невелика частка трафіку, щоб загальне середнє ледве змінилося.”
** Вплив затримки хвоста ** — реальні наслідки повільних відхилень у запитах, особливо важливі, оскільки для багатьох продуктів один повільний запит у ланцюзі залежних викликів може домінувати у загальній затримці, що є непропорційним до того, наскільки рідкісним був цей повільний запит. “Навіть якщо лише 1% наших викликів бази даних потрапляють на цей повільний шлях, вплив затримки хвоста означає, що користувач, який робить десять залежних викликів на завантаження сторінки, має приблизно 10% шанс потрапити на нього хоча б раз — отже, це впливає на набагато більше користувачів, ніж 1% надає на це розуміння.”
Звичайні фрази
- «Средний виглядає добре, але ось як виглядає довгий хвіст»
- “p95 означає, що 95% користувачів мали такий досвід або краще — інші 5% мали гірший.”
- «Це не суперечність — це різниця між типовою продуктивністю і найгіршою продуктивністю»
- «Невеликий відсоток повільних запитів може вплинути на набагато більший відсоток користувачів, через те, як хвостова затримка складається»
- «Ми націлюємося на p99, тому що це те, що наші найбільш вражені користувачі насправді переживають»
Приклади висловлювань
Повідомлення про процентилі учаснику, який не знайомий з цією концепцією:
- “Замість того, щоб просто дати вам одне число, я хочу показати вам розподіл. Середнє значення становить 220 мілісекунд, але p95 становить 800 мілісекунд — тобто 1 з 20 запитів займає майже в чотири рази довше, ніж типово.»*
Пояснює, чому середнє значення було вводячим в оману:
- “Ми повідомляли про середню затримку місяцями, і вона виглядала стабільною. Але як тільки ми додали p99 відстеження, ми знайшли підмножину запитів, що займають понад 5 секунд — проблема, яку середнє було повністю приховано. ”*
Обґрунтування уваги до затримки хвоста у обговоренні плану дій: “Я знаю, що p99 звучить як невеликий крайній випадок, але з користувачами, які роблять декілька викликів API за сеанс, значна частина користувачів вдаряє принаймні один повільний запит десь в цьому ланцюжку - саме тому ми ставимо це в пріоритет.”
Професійні поради
- Завжди визначайте ** процентиль ** у простих термінах перед представленням конкретного числа — зацікавлена сторона, яка не розуміє, що означає p95, неправильно інтерпретуватиме кожну цифру процентиля, яка слідує за цим, незалежно від того, наскільки чітко ви представляєте самі дані.
- Явно назвати ** довгий хвіст **, коли метрика, заснована на процентилі, виявляє те, що середня метрика не виявила — це пояснює, чому два здавалося б суперечливі числа (хороше середнє, погане p99) можуть бути точним.
- Проактивно зверніться до ** середнього маскування ** до того, як зацікавлена сторона запитає “але я думав, що середнє виглядало добре” - отримання цього питання перед тим, як ви будуєте довіру, а не виглядаєте, ніби ви повертаєтеся до попереднього звіту.
- Перекладайте ** вплив затримки хвоста ** в твердження, спрямовані на користувача, коли це можливо - “1% запитів повільні” звучить незначно, але “значна частина сеансів користувача переживає принаймні один повільний запит” робить фактичні ставки ясними.
- Виберіть процентиль, який відповідає фактичним ставкам розмови — p95 для загального здоров’я, p99 або навіть p99.9 при обговоренні найгірших випадків надійності зобов’язань — і скажіть чітко, чому ви обрали саме цей.
Практичні вправи
- Написати простим мовою визначення затримки p95 для когось, хто не має досвіду у статистиці.
- Поясніть, чому здоровий середній може співіснувати з справді поганим p99.
- Напишіть речення, яке пов’ язує невеликий відсоток повільних запитів з більшою кількістю сеансів користувачів, на які вони впливають.
Наприклад, англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська мова: англійська
Погляньмо правді в очі: технічний жаргон може бути значною перешкодою при спілкуванні з зацікавленими сторонами, які не глибоко зацікавлені в специфікі вашої системи. Пояснення концепцій, таких як p95 і p99 затримки вимагає більше, ніж просто зазначити числа; вам потрібно будувати розуміння, адресувати потенційну плутанину, і перевести ці метрики в бізнес-вплив. Це особливо важливо для носіїв англійської мови, для яких тонкі відмінності у фразуваннях можуть кардинально змінити розуміння.
Одним з ключових змін у комунікації є відхід від чисто технічного опису — уникнення таких термінів, як «статистичний розподіл» або «хвіст», якщо це абсолютно не потрібно. Замість цього, зосередьтеся на релевантних аналогіях і чітких поясненнях того, що числа представляють в практичному сенсі. Наприклад, ви можете сказати: « Подумайте про це як про рух у годину пік: 95% часу, речі рухаються досить швидко, але 1% часу, є величезне вузьке місце, яке спричиняє значні затримки. » Рамка p95 представляє * типовий * досвід, а p99 підкреслює найгірший сценарій — рідкісні моменти, коли виникають проблеми.
Важливо, коли обговорюєте не-рідних носіїв, пам’ятайте про потенційні нерозуміння, що виникають від прямих перекладів. Буквальний переклад «хвоста» може не звучати з кимось, хто звик до іншої концептуальної структури. Замість того, щоб намагатися ввести точний технічний термін, скористайтеся описовою мовою, яка зосереджена на * наслідках * — « невеликому відсотку ситуацій, у яких час відповіді значно повільніший ». Активно запитуйте зворотній зв’ язок: « Чи можете ви, будь ласка, сказати мені, чи має це пояснення сенс?» або « Чи є щось, що я можу пояснити?» Це демонструє повагу до їхнього розуміння і дає змогу змінити ваш підхід. Крім того, уникайте прийняття загального рівня технічної грамотності; завжди починайте з фундаментального питання: «Що * вам * потрібно знати про те, як швидко наша система реагує?»
Нарешті, пам’ ятайте, що зацікавлені сторони часто більше турбуються про * вплив * затримки, ніж про самі точні числа. Тому, вплетіть у відповідні бізнес-метрики - такі як втрачені продажі, зменшена продуктивність або незадоволеність клієнтів - щоб проілюструвати потенційні наслідки перевищення p95 або p99 порогів. Наприклад: «Якщо 1% наших користувачів відчувають затримку більше X секунд, це може означати, що ми втрачаємо Y кількості клієнтів на місяць». Цей зсув фокусу може зробити технічні деталі набагато більш доступними і відповідними їх пріоритетам.