English Vocabulary for Incident Learning Reviews
Вивчайте англійську лексику для перегляду безвинних інцидентів — факторів, що сприяють, реконструкції хронології, елементів дій і сприяння культурі навчання в командах SRE.
Перегляди навчання інцидентів - іноді називаються постмортемами, ретроспективами або переглядами після дії - є одними з найцінніших розмов, які може мати технічна команда. Коли вони проводяться добре англійською, вони виявляють системні проблеми, відновлюють довіру і запобігають повторенню. Мова, яку ви використовуєте в цих сесіях, має величезне значення: неправильне виразування створює почуття провини і оборону; правильне виразування створює психологічну безпеку і справжнє навчання. Цей посібник надає вам словниковий запас для виконання та участі у перегляді подій професійно і продуктивно.
Ключовий словник
** Безвинний постмортем ** - процес перегляду, який зосереджується на системних причинах інциденту, а не на окремій винності.
- “Наша безвинна постмортальна культура означає, що ми питаємо “які умови дозволили це статися?” а не “хто зробив цю помилку?” ”*
** Фактор, що сприяє ** - умова або подія, яка відіграла роль в інциденти, не будучи єдиною причиною. “Було визначено три фактори, що сприяли цьому: недостатній контроль, незадокументована залежність і поспішне розгортання.”
** Реконструкція хронології ** — процес створення хронологічного запису подій, що призвели до, під час і після інциденту. “Відновлення хронології показало, що попередження було викликано за 22 хвилини до того, як служба фактично вийшла з ладу.”
** Помилка виявлення ** — час між початком проблеми і моментом, коли команда дізнається про неї. “Наша затримка виявлення була 47 хвилин — ми не дізналися про перерву з нашого моніторингу; клієнт повідомив про це першим.”
** Зменшення** — дія, яку слід виконати для зменшення впливу триваючого інциденту, на відміну від постійного виправлення.
- “Наша негайна реакція полягала у відновленні розгортання; постійне виправлення буде впроваджено у цьому спринті.” *
** Виправлення ** — це конкретне завдання, призначене для заповнення прогалини, яка спричинила інцидент. “Дія по виправленню цього недоліку полягає у додаванні перевірки канарійки до нашого потоку розгортання до кінця 3- го кварталу.”
** Одна точка відмови (SPOF) ** — компонент, який при відмові призведе до відмови всієї системи. “Цей інцидент виявив одну точку невдачі в нашій службі автентифікації — не було резервного механізму.”
** Культура навчання ** - організаційна культура, в якій помилки розглядаються як можливості для поліпшення, а не як підстави для покарання. “Будівництво культури навчання вимагає від лідерів відкрито обговорювати власні помилки і нагороджувати команди, які рано виявили проблеми.”
Реконструкція хронології
Використовуйте точну, нейтральну мову під час створення хронології події.
- О 14:32 UTC, розгортання було викликано автоматизованим конвеєром CI/CD
- Перші ознаки підвищеного рівня помилок з’явилися в журналах о 14:41, але не було попередження до 14:54
- О 15:03 інженер помітив скарги клієнтів на каналі підтримки і перейшов на гарячу лінію
- Служба була повністю відновлена о 16:18 UTC, 106 хвилин після початку інциденту
- «На час інциденту, інженер на гарячому не знав, що послуга обмеження швидкості також була оновлена»
Мова в практиці
Різниця між звинуваченням і аналізом полягає у фразі.
| Blame language | Blameless language |
|---|---|
| ”The engineer deployed without testing." | "The deployment process did not include a mandatory staging test step." |
| "Someone forgot to update the runbook." | "The runbook had not been updated to reflect the new architecture." |
| "The on-call missed the alert." | "The alert threshold was set too high to fire during the initial degradation.” |
Додаткові фрази без покарання:
- Які умови зробили цей режим невдачі можливим?
- Що ж було б правдою, щоб цього не сталося?»
- Як наша система зробила так, що було легко зробити цю дію, і важко зробити безпечну дію?»
Мова елемента дії
Елементи дій з пост-морту повинні бути конкретними, призначеними і обмежені часом.
- “Дія: Додати інтеграційні тести для краю, що обмежує швидкість. Власник: Команда платформи. Процитовано 2016-07-15. 2016-07-15
- «Ми будемо пріоритизувати цей пункт дії як P1 — він розглядає прогалини в виявленні, які затримали нашу реакцію на 47 хвилин»
- «Це довгострокове покращення архітектури; ми будемо відстежувати його в технологічному боргу, а не спринті»
- Ми переглянемо стан завершення цих пунктів дій в нашому наступному перегляді надійності
Професійні поради
- ** Почати з впливу, а не з причини. ** Відкрити перегляд, підтвердивши вплив на користувачів і бізнес, а потім перейти до причин. Таким образом, все будут знать, почему это важно.
- ** Розрізняйте причини від факторів, що сприяють. ** Більшість подій мають декілька факторів, що сприяють, а не одну основну причину. Використовуйте « фактор вкладення » для опису цієї складності.
- ** Призначає дії в кімнаті. ** Непризначені дії рідко виконуються. Перед закриттям перегляду, кожен елемент дії має мати назву і дату.
- ** Опублікуйте документ широко. ** Післясмертні записки створюють найбільшу цінність, коли ними діляться команди, а не тримають їх приватними. Використовуйте ясну, без жаргону англійську, щоб неспеціалісти також могли навчитися від них.
Практичні вправи
- Переписати це звинувачувальне речення беззвинуваченою мовою: « Младший розробник відправив програму безпосередньо до виробництва без перегляду. »
- У одного інциденту був 2-годинний проміжок часу. Напишіть 4- 5 речень, реконструюючи ймовірну хронологію і назвавши прогалини як фактори, що сприяли цьому.
- Ви закриваєте слідчу раду. Напишіть 3- 4 речення, у яких ви підсумуєте два основні фактори, що спричинили цю ситуацію, і призначите одну дію з виправлення окремій особі з визначеним терміном виконання.
«Недоліки» — «недоліки» — «недоліки» — «недоліки» — «недоліки» — «недоліки» — «недоліки»
Реакція на інцидент не просто про те, щоб визначити * що * пішло не так; це фундаментально про розуміння * чому * і встановлення шляху вперед. Ключовим елементом цього процесу, особливо в контексті SRE, зосередженому на постійному навчанні, є те, як ми конструктивно висловлюємо занепокоєння і розбіжності. Фраза «звинуватити» сама по собі може бути неймовірно шкідливою — нагадуючи про помилку, а не шукаючи системних поліпшень. Замість цього, прагніть до ясності, точності і фокусу на даних.
Розглянемо сценарій під час перегляду коду: Сара коментує PR Джона, заявивши: « Це виглядає як потенційне вузьке місце ». Реактивною відповіддю може бути: « Чому ви це зробили? » або « Вам слід було подумати про це раніше! » Ці підходи негайно розташовують коментар як критичний і потенційно обвинувачувальний. Ефективніший підхід використовує конкретний словник, пов’язаний з впливом і ризиком. Замість цього Сара могла б сказати: «Я бачу потенційну проблему затримки тут, враховуючи збільшення трафіку, який ми спостерігаємо. Чи можемо ми дослідити альтернативні стратегії чергування або, можливо, впровадити обмеження швидкості, щоб зменшити вплив?» Зауважте зміну: у цій статті увага зосереджена на * спостережуваних * показниках, проблема розглядається як * вплив *, і пропонуються рішення, а не роздуми щодо сприйнятих недоліків.
Аналогічно, у гілці Slack, де обговорюється нещодавнє відключення, уникайте фраз на кшталт « Ви все зіпсували! » Краще використовувати мову, яка заохочує до спільного аналізу. Наприклад, замість того, щоб звинувачувати члена команди за неможливість моніторити певну метрику, можна сказати: «Здається, що попередження про поріг не було налаштовано для запуску на поточний обсяг. Давайте розглянемо, чи потрібно нам змінити чутливість або додати додаткову точку моніторингу. “Це визнає потенційний прогалину в стратегії моніторингу без приписування вини і відкриває двері для обговорення про профілактичні заходи. Використання таких фраз, як «можливість для поліпшення», «вивчені уроки» і «зменшення ризику» сигналізує про прихильність до навчання, а не про помилки. Пам’ятайте, мета - сформувати культуру, де помилки розглядаються як цінні дані, що ведуть до активних рішень.
Нарешті, при написанні описів PR, що фокусуються на навчанні інциденту, уникайте мови, яка говорить про те, що хтось був винним. Замість « Виправлено ваду, спричинену… » використовуйте такі фрази, як « Виправлено погіршення продуктивності, що виникло через… » або « Впроваджено стратегію зменшення ризику після аналізу… ». Сфокусированность на решении и обосновании за ним демонстрирует профессионализм и приверженность предотвращению повторения.