Anthropic Prompt Caching: англійська для контекстної оптимізації вікон
Вивчіть розширений словниковий запас англійської мови для кешування підказок Anthropic, оптимізації контекстних вікон, анульування кешу і компромісів вартість- продуктивність у виробничих системах LLM.
Функція кешування підказок у Anthropic надає вам змогу кешувати великі частини підказок — системні інструкції, довідкові документи, приклади з декількох спроб — так, щоб їх не обробляли знову під час кожного виклику API. Це значно зменшує затримку і вартість для завантажень, які повторно використовують той же контекст. Щоб обговорювати це інтелектуально англійською — у оглядах дизайну, післясмертних записах або гілках Slack — вам потрібен точний словник. Цей посібник містить терміни, шаблони і фрази, які ви зустрінете у справжніх інженерних роботах.
Фундаментальний кешуючий словник
Cache
** кеш ** (іменник) — це шар зберігання, який містить копії часто використовуваних даних, щоб їх можна було отримати швидше або за меншою вартістю, ніж перераховуючи їх з нуля. Як дієслово, «to cache» означає зберігати щось у кеші.
«Ми кешуємо системну команду, щоб модель не перетокенізувала її на кожному запиті.»
Прикметник у формі cached («кешовані токени») і протилежний uncached. Не плутати * cache * (зберігання) з * cash * (гроші) — вони вимовляються однаково в англійській мові, що може бути незручно для багатьох носіїв мови, які не є її рідними носієм.
«Каштан» / реж
** Пошук у кеші ** відбувається, коли запит на дані знаходиться у кеші. ** кеш пропуск ** відбувається, коли це не так — система повинна обчислити або отримати нові дані.
«Наша швидкість кешування впала після того, як ми змінили системну команду — будь-яка зміна кешованого префіксу анульовує кеш»
Недійсність кешу
** Скасування кешу ** — це процес вилучення або позначення кешованих даних як застарілих, коли змінюються дані, які їх містять. Вона відома як одна з двох важких проблем в інформатиці.
«Ми вдарили опис продукту і забувають, що анульовує кеш — ми побачили пік вхідних токенних витрат відразу»
Програма для створення словників
Префікс запитання
У контексті кешування Anthropic, *prefix — це частина команди, яку ви позначили для кешування. Цей пункт має з’ являтися на початку рядка команди (або системного розділу). Кешується лише цей початковий сегмент; всі інші сегменти завжди обробляються як нові.
«Ми структуруємо запит так, що база знань з 10 000 токенів є префіксом — тільки запит користувача змінюється за запитом»
Точка зупинки кешу
** Точка зупинки кешу ** (також називається «маркер керування кешом») є явним маркером в API-запиті, який повідомляє Anthropic, де закінчується кешована частина. У Claude API, ви додаєте "cache_control": {"type": "ephemeral"} до блоку вмісту, щоб його позначити.
«Встановити точку зупинки кешу після статичних інструкцій і перед динамічним введенням користувача.»
Ефемерний кеш
У реалізації Anthropic, кеш є ефемерним — він має обмежений час існування (наразі 5 хвилин, продовжується з кожним використанням). Якщо запит не використовує кешований префікс у цьому вікні, термін дії кешу закінчується.
«Кешування є ефемерним, тому для кінцевих точок з низьким трафіком ви можете не побачити економії, яку ви очікуєте»
Вхідні знаки проти Записати токени кешу проти Кешування токенів читання
Розбивка використання API Anthropic включає три категорії токенів:
- ** Вхідні символи ** — стандартні символи, які завжди обробляються
- ** Токени запису до кешу** — токени, які буде записано до кешу під час першого запиту (за ціною 1, 25× звичайний вхід)
- ** Токени читання з кешу ** — токени, які буде прочитано з кешу під час наступних запитів (за ціною 0, 1× звичайний вхід — знижка 90%)
«Перший виклик є більш дорогим через кеш-токенів запису, але кожен наступний виклик з тим же префіксом коштує майже нічого для цієї частини.»
Контекстний словник оптимізації вікон
Контекстне вікно
** контекстне вікно ** — це максимальна кількість токенів, які LLM може обробити за один запит — як вхідні, так і вихідні. Моделі Claude наразі мають контекстні вікна з 200 000 токенів.
«З 200k контекстним вікном, ми можемо включати цілі кодові бази, але нам потрібно бути розумними про те, що ми кешуємо»
Бюджетний тиждень
** Бюджет токенів ** — це розподіл токенів між різними частинами підказки — системними інструкціями, історією розмов, отриманим контекстом і поточним повідомленням користувача. Керування бюджетом токенів запобігає перевищенню обмежень контексту і контролює вартість.
«Ми виділяємо 50 000 токенів для корпусу документів і резервуємо 10 000 для історії розмов»
Контекстне заповнення
** Наповнення контексту ** (неформальний) стосується практики включення якомога більше відповідної інформації у контекст повідомлення — документи, приклади, інструкції — щоб надати моделі більше можливостей для роботи. Пром кешування робить контекстне заповнення економічно вигідним.
«Контекстна заливка була занадто дорогою без кешування — тепер ми можемо дозволити собі включати повний посилання API в кожному виклику»
Reranking
** Переранжування** — це метод, за допомогою якого документи- кандидати, отримані для RAG, оцінюється і переупорядковується за актуальністю перед включенням до підказки. Поєднання переранжування з кешуванням запитів означає, що у кеш буде записано лише документи з найбільшим значенням.
«Ми переранкуємо отримані шматки і кешуємо тільки перші 5 — це зберігає кешований префікс стабільним і швидкість влучання високою»
Система дизайну і trade-off лексика
Зменшення затримки
** Зменшення затримки ** — це зменшення часу відповіді, досягнуте за допомогою кешування. Оскільки кешовані токени не переобробляються, час до першого токена (TTFT) покращується.
Процитовано 2012-02-08. «Prompt caching reduced our median TTFT from 3.2 seconds to 0.8 seconds for repeat-prefix requests.»
Перший рік (англ. First Year, фр
** TTFT ** — час, який пройшов з моменту надсилання запиту API до отримання першого токену відповіді. Це ключова UX-метрика для потокових LLM-застосунків.
Застосування компромісів
Компроміс вартості і продуктивності описує баланс між витратами більше (наприклад, на записах в кеш, більших запитах) і отримання переваг продуктивності (менша затримка, нижча вартість за запит).
«Пром кешування змінює криву вартості: ви платите більше за перший запит, але значно менше за всі наступні.»
Amortisation
** Амортизувати ** вартість означає розподілити її на багато використання, так що вартість на одиницю зменшується. Вартість запису кешу амортизується за всіма запитами, які повторно використовують кешований префікс.
«При нашому обсязі запитів, вартість запису кешу амортизується за тисячі викликів — ROI очевидна»
Ключові слова
Ці фрази часто з’ являються у дискусіях інженерів щодо кешування підказок:
- ** частота пошуку у кеші ** — « Ми стежимо за частотою пошуку у кеші на нашій панелі спостереження »
- ** prefix stability ** — « Зберігати кешований префікс стабільним — навіть зміна пробілів скасовує його. »
- token cost savings — «Швидке кешування забезпечує 80-90% економії коштів на повторюваній частині»
- ** context reuse ** — « Високий рівень повторного використання контексту є ключовим сигналом, що кешування допоможе »
- cache warm- up — « Перший запит після розгортання розігріває кеш. »
- ** invalidation risk ** — « Часті повторення запитів збільшують ризик анульування. »
- ** amortise the write cost ** — « Вам потрібен достатній об’ єм запитів для амортизації вартості запису. »
- ** system prompt engineering ** — « Добре розроблена системна команда зберігає кешований префікс чистим і стабільним. »
Фрази для дизайн-оглядів і постмортемів
- “Ми повинні пересунути статичну базу знань до кешованого префіксу — це 80 тис. знаків, і він не змінюється між запитами.”
-
- “Кеш анульовано, оскільки хтось додав новий рядок у кінці системної команди — нам потрібен процес версії команди.” *
-
- “Який наш показник пошуку кешу цього тижня? Якщо він нижче 70%, кешування не тягне свою вагу.”*
- “Ми платимо за токени запису кешу при кожному розгортанні — нам слід попередньо розігріти кеш у скрипту розгортання.”
-
- “Вікно ефемерного кешування триває 5 хвилин. Для нашого шаблону трафіку, чи це достатньо, чи нам потрібно надсилати запити keep-alive? “*
Practice
Напишіть короткий запис про рішення щодо архітектури (ADR) англійською мовою — від 4 до 6 речень — з описом рішення щодо використання кешування запитів Anthropic для певної можливості у вашій системі. Зазначте контекст, рішення і компроміси. Використовуйте принаймні 6 термінів з цього підручника: * частота влучень кешу *, * токени запису кешу *, * токени читання кешу *, * стабільність префіксів *, * зменшення затримки *, * амортизація *, * ефемерність *, * бюджет токенів *. Сфокусуйтеся на точності: в англійській технічній літературі метою є ясність і специфічність, а не складність.