Як написати Canary Release Report англійською мовою

Випуск канарій заслуговує на свою мету тільки якщо хтось записує те, що було фактично спостережено і чому розгортання було підвищено або відкинуто назад — без цього звіту, наступний канарій починає з нуля замість того, щоб будувати на тому, що було вивчене. Цей підручник стосується англійської мови, щоб ясно написати слово.

Ключовий словник

** Canary percentage ** — частка трафіку або екземплярів, які виконують нову версію під час фази canary, цю частину слід вказати явно, а не припустити. “Канарейка працювала на 5% від виробничого трафіку протягом двох годин до того, як ми прийняли рішення про підвищення.”

** Базове порівняння ** — практика порівняння метрики канарії з метрикою існуючої стабільної версії за той самий проміжок часу, замість того, щоб судити про канарію окремо. “Рівень помилок у канарії був 0,3%, порівняно з 0,25% базової версії у стабільній версії за те ж саме вікно — достатньо близько, щоб ми приписали різницю до нормального дисперсії.”

** Метрика охоронної огорожі ** — особлива метрика з попередньо визначеним порогом, який, якщо його перевищити, автоматично або вручну викликає відновлення, яке було узгоджено перед початком виконання канарі, а не вирішено у цей момент. “Наша метрика захисних рейок була затримкою p99, що залишалася нижче 400 мс - вона залишалася на 280 мс протягом усього канарського вікна, добре в межах порогу.”

** Рішення про просування ** — явне рішення про випуск версії canary для повного виробничого використання, зроблене на основі метрики захисних рейок і порівняння базового рівня, а не лише минулого часу. “Ми прийняли рішення про продовження через чотири години, коли показники захисних огорож стали стабільними і вибірка була достатньо великою, щоб бути впевненим, що це не випадковість.”

** Рішення щодо відновлення ** — явне рішення повернути канарію і повернути весь трафік до попередньої стабільної версії, разом з певною метрикою або спостереженням, яке спричинило це рішення. “Рішення про відновлення було викликано порушенням захисного бар’єру - рівень помилок при оплате перевищив 1% на канарці протягом двадцяти хвилин, значно вище порогу в 0,5%, який ми встановили.”

** Розмір вибірки / статистична довіра ** — кількість трафіку або часу, який слід витратити на виконання канарі, перш ніж її метричні дані будуть розцінені як надійний сигнал, а не як шум, що слід вказати у звіті. “Дві години при 5% трафіку дали нам приблизно 40 000 запитів на канарці - достатньо великої вибірки, щоб довіряти порівняння частоти помилок не було просто шумом.”

Звичайні фрази

• «Який відсоток канарських і тривалість ми повідомляємо тут?»
• Як це порівнювати з базовою лінією в тому ж часовому вікні, а не тільки в ізоляції?
• «Яка метрика охоронних огорож, якщо такова була, була порушена — або канарейка залишилася в межах всіх узгоджених порогів?»
• Чи було рішення про просування засноване на достатньому розмірі вибірки, або це все ще може бути шумом?
• «Що конкретно викликало відновлення, і в якому місці в канарському вікні?»

Приклади висловлювань

Запис звіту про підвищення:

• “Canary працював на 10% обсягу впродовж трьох годин. Метрика охоронних рейок (рівень помилок, затримка p99) залишалася в межах порогу, а порівняння базового рівня не показало значного погіршення. Промоція рішення, прийняте о 14:00 з повною впевненістю, враховуючи розмір вибірки приблизно 80 000 запитів. ”*

Запис звіту про відновлення:

• “Canary працював з 5% трафіку починаючи з 09: 00. В 09:35, частота ошибок на канарці перевищила наш 1% поріг (базовий рівень був 0,2% за те ж вікно). Негайно відкинуто; коренева причина під розслідуванням, відстежена в INC-482. *

Запит на більшу ретельність у перегляді канарій: “Перед тим, як ми продовжимо, я б хотів побачити порівняння базового рівня явно, а не тільки сирі цифри канарки — 0, 4% похибки звучать добре, поки ви не усвідомите, що базовий рівень був 0, 1% за той же період.”

Професійні поради

• Завжди повідомляйте ** канарський відсоток ** і тривалість явно — “ми запустили канарію” без цих чисел не дає читачеві способу судити, якому сигналу довіряти.
• Використовуйте ** базове порівняння **, а не абсолютну кількість у окремому вигляді — метрика, яка виглядає добре сама по собі, все ще може являти собою справжню регресію відносно того, що робила стабільна версія.
• Згодом, перед початком роботи з канаркою, погодьтеся щодо ** параметрів захисту ** і порогів, а також вказуйте їх за назвою у звіті — прийняття рішення щодо порогів після перегляду даних сприяє мотивованому міркуванню.
• Визначте ** рішення про підвищення або відновлення ** явно з його тригером або обґрунтуванням — звіт, у якому лише наведено перелік показників без вказівок на висновок, залишає наступному читачеві можливість переробити аналіз.

Практичні вправи

1. Напишіть одне речення, у якому буде описано, як працює канарейка з певним відсотком і тривалістю.
2. Написати метрику захисного бар’ єру з певним порогом для гіпотетичного випуску.
3. Написати звіт про відновлення, у якому буде вказано, що спричинило рішення і коли.

Наприклад, англійська мова: англійська мова для немовлят

Написання чіткого і короткого звіту про випуск canary не просто про висловлення фактів; це про ефективне спілкування з вашою командою. Для розробників, чия перша мова не є англійською, це може бути особливо складним завданням — не тільки через граматику і словниковий запас, але також тому, що тонкі відмінності у фразуваннях можуть значно вплинути на те, як буде сприйнято ваше повідомлення. Давайте поговоримо про деякі спільні області, де обережні вибір слів робить різницю.

По-перше, будьте точними з дієсловами. Замість того, щоб сказати « Запускався канарійка », що є неоднозначним, спробуйте сказати « Випуск канарійки активно обслуговував [відсоток]% трафіку » або « Ми спостерігали збільшення використання нової можливості за допомогою канарійки ». Використання активних дієслів створює більш прямий і впевнений тон. Аналогічно, уникайте пасивних конструкцій, наприклад, « Було прийнято рішення відкласти випуск ». Замість цього, скажіть прямо: « Ми вирішили відкласти випуск канарій через погіршення продуктивності ». Це не лише про точність; це демонструє активний підхід до спілкування — ви приймаєте ситуацію до уваги.

По-друге, зверніть увагу на кількісне оцінювання ваших спостережень. Не просто скажіть “Були проблеми”. Замість цього використовуйте числа і відсотки, де це можливо. Наприклад, в повідомленні Slack, що повідомляє про розгортання канарії: «Ми спостерігали 2% збільшення рівня помилок в групі канарії в порівнянні з базовим рівнем виробництва. Це спонукало нас до подальшого дослідження. ” Додаток кількісного опису робить проблему більш конкретною і дозволяє вашій команді швидше оцінити її. При описі причини для відновлення, такі фрази як «значне погіршення» або «несподівана поведінка користувача» є сильнішими, ніж «щось пішло не так»

Нарешті, при детальному описі рішення про розгортання - чи йдеться про підвищення чи відновлення - будьте надзвичайно ясно про * чому *. Уникайте двозначної мови. Замість того, щоб сказати « Ми відновили », поясніть: « Через тривалий високий рівень помилок і негативний відгук користувачів, ми прийняли важке рішення відновити випуск canary, щоб забезпечити стабільність для нашої основної бази користувачів ». Ця прозорість створює довіру і демонструє обдуманий підхід до управління ризиками. Пам’ ятайте, що ваша мета полягає у тому, щоб надати достатньо інформації для інших, щоб вони зрозуміли * вашу аргументацію * — це важливо, коли ви працюєте з різними командами.