Як пояснити Cache Stampede англійською мовою

Ступінь кешування є одним з тих випадків, що виглядає як раптовий пік трафіку, але насправді є самостійним — момент, коли популярний запис кешу закінчується, кожен очікуваний запит накопичується на базі даних відразу. Пояснення цього явно важливо, тому що інстинктивна реакція («ми отримали більше трафіку») призводить товаришів по команді до неправильного виправлення, наприклад, масштабування бази даних замість виправлення логіки кешування.

Ключовий словник

** Кеш- стампед (також відомий як громове стадо) ** — приплив майже одночасних запитів, які всі пропускають кеш в один момент, зазвичай, відразу після закінчення терміну дії популярного ключа, перевантажуючи сервер, який відновлює значення. “Це не було органічним зростанням трафіку — це була стрілянина кешу, викликана моментом, коли ключ TTL закінчився.”

** TTL (Time to Live) ** — час, протягом якого запис кешу вважатиметься чинним до його закінчення і його слід буде відновити.

• “Ми встановили TTL на одну годину, що було безпечно, але цей ключ запитується тисячі разів на секунду, отже навіть проміжок часу у одну секунду після закінчення терміну дії ключа призведе до накопичення.” *

** Відновлення за допомогою блокування ** — шаблон запобігання масовому відновленню, за якого тільки перший запит після закінчення терміну дії дозволить відновити значення, інші запити ненадовго почекають або отримають дещо застарілу копію.

• “Ми додаємо регенерацію за допомогою блокування, щоб лише один запит відновлював запис кешу, замість того, щоб кожен одночасний запит вбивав базу даних за раз.” *

** Застаріле- під час- перевірки ** — стратегія, яка негайно обслуговує значення кешу зі строком дії, одночасно відновлюючи його у фоновому режимі, обмінюючи невелику кількість застарілості на повне усунення штампеду.

• “З застарілим- під час- перевірки, нікому не потрібно чекати на холодний кеш — вони отримують трохи старе значення миттєво, поки ми оновлюватимемо його за кадром.” *

** Скасування з перервами ** — додавання невеликого випадкового зсуву до TTL кожного запису кешу, щоб декілька ключів, встановлених одночасно, не скасовувалися всі разом. “Ми додали тривожність до TTL, щоб ці десять тисяч ключів, всі кешовані під час розгортання, не всі закінчували термін дії в одну секунду наступного тижня.”

Пояснення кореневої причини

• «Це не був пік трафіку — завантаження бази даних стрибнуло, тому що один популярний ключ закінчився, і кожен запит, який пропустив кеш, вдарив базу даних в ту ж секунду»
• «Ми не мали захисту від одночасної регенерації, тому тисяча запитів намагалися відновити один і той же запис кешу одночасно»
• «Время точно збігається з закінченням терміну TTL, тому я впевнений, що це стампед, а не фактичне збільшення користувачів»

Що потрібно змінити?

• «Я хочу додати регенерацію на основі блокування, щоб тільки перший запит відновлював значення, а решта чекали кілька мілісекунд замість того, щоб також вдарити базу даних»
• «Давайте перейдемо на stale-while-revalidate для цього ключа, оскільки кілька секунд застарівання набагато дешевше, ніж перевантаження бази даних»
• «Я додаю тривогу до наших TTL, щоб ключі, кешовані приблизно в той же час, не всі закінчуються в одну мить»

Перевірка спільного виправлення

• «Чи можемо ми відтворити цей шаблон трафіку в стадії і підтвердити, що база даних більше не піднімається, коли ключ закінчується?»
• «Подивимося на швидкість кешування і обсяг запитів бази даних разом під час наступного очікуваного терміну дії»
• Якщо це відбувається знову, перевірте, чи він збігається з межею TTL, перш ніж припустити, що це справжнє збільшення трафіку

Професійні поради

1. ** Назвіть механізм, а не лише симптом. ** Якщо ви скажете « це стрімке збільшення кешу » замість « база даних перевантажена », команда зможе точно визначити, який клас виправлення потрібен, замість того, щоб запрошувати до розмови про масштабування, яка не вирішить основної проблеми.
2. ** Вказівка на кореляцію часу як доказ. ** Показуючи, що пік точно вирівнює з закінченням TTL, є набагато переконливішим, ніж описуючи лише симптом, і це відволікає дискусію про те, чи це було «просто зростання»
3. Запропонуйте конкретний шаблон запобігання, а не нечітке зменшення. «Регенерація на основі блокування» або «застаріння під час перевірки» дає інженерам конкретний дизайн для реалізації, замість загальної інструкції «зробити кешування кращим»

Практичні вправи

1. Напишіть два речення, у яких ви поясните співробітнику команди, чому пік завантаження бази даних був насправді стрімким зростанням кешу, а не справжнім зростанням обсягу трафіку.
2. Опишемо в одному реченні відмінність між відновленням на основі блокування і відновленням на основі застарілих даних як стратегіями запобігання штампів.
3. Видає коротке повідомлення з пропозицією додавати зміну часу до набору TTL кешу, термін дії яких закінчується одночасно.

Навигація Nuance: Фрази для пояснення кеш-штампів різним командам

Зрозуміти * чому * сталася стрілянина в кеші є ключовим – це не просто заява, що « кеш вибухнув ». Ця фраза, хоча і технічно точна, може залишити ваших колег збентеженими і розчарованими. Ключовим є точність передачі технічних деталей, а також забезпечення того, щоб кожен у команді, незалежно від їхнього досвіду або рівня розуміння, розумів наслідки і наступні кроки. Розглянемо деякі конкретні фрази і те, як їх ефективно застосовувати, особливо, коли мова йде про багатомовну команду.

Один з поширених сценаріїв виникає під час перегляду коду. Уявіть, що ви пояснюєте ситуацію старшому розробнику, який, можливо, не дуже добре знайомий з концепціями кешування. Замість того, щоб сказати: « Значення TTL були занадто короткими, що призвело до надмірного пропуску кешу », спробуйте щось на зразок: « Ми спостерігали значний стрибок у запитах, які потрапляють до бази даних через застарілі дані у кешу. Параметри * Time- To- Live * для тих кешованих елементів були недостатньо довгими, що призвело до швидкого каскаду нових запитів, які обслуговуються з первинного джерела — що фактично перевантажило кеш, а потім базу даних. Зауважте використання більш описового словника: « Time- To- Live », « каскаду » і « перевантаження ». Це дозволяє уникнути жаргонних слів, але все одно передати суть проблеми. Крім того, додавання контексту, наприклад, «Це призвело до 30% збільшення затримки для користувачів, які отримують доступ до цієї конкретної функції», забезпечує відчутний вплив.

Інша ситуація може стосуватися документування події у описі запиту на звантаження. Нерідний мовець може отримати користь від фраз, таких як: «Після недавніх проблем з продуктивністю, ми визначили «кешечку» - швидке і неконтрольоване заповнення кешу через застарілі дані. Це було викликано [коротко описати причину — наприклад, розгортання з неправильними параметрами TTL]. Щоб зменшити цей ризик, ми змінили значення TTL для [визначених кешованих елементів] на [нове значення], щоб зменшити частоту цих подій. Ми будемо продовжувати уважно стежити за показниками продуктивності.” Фраза “зменшити” - це професійний термін, який підкреслює проведені дії і їх мету. Важливо, що опис включає * чому * зміна була зроблена - ключове значення для розуміння логіки.

Нарешті, подумайте, як ви реагуєте на каналі Slack під час надзвичайного випадку. Замість того, щоб просто сказати «Кеш-шум!» (який не має контексту), ви можете сказати: «Ми переживаємо кеш-шум через застарілі дані. TTL були занадто короткими, що призвело до швидкого наповнення запитів, що вдарили по базі даних. Наша команда працює над зміною параметрів TTL, і ми надамо оновлення протягом години». Цей спосіб показує, що ви знаєте про ситуацію, надасть вам негайну інформацію і сигналізує про те, що ситуацією активно керується. Використання таких фраз, як «наплив» і «швидкий наплив» допомагає обґрунтувати проблему таким чином, що її легше зрозуміти для тих, хто не знайомий з технічними особливостями керування кешом. Пам’ятайте, чітке спілкування будує довіру і сприяє ефективній співпраці - особливо при вирішенні складних питань в різних командах.