AI Safety English: Vocabulary for Alignment, Red-Teaming, and Safety Evaluation (англійською)
Вирівнювання, виправність, RLHF, винагорода хакерів, jailbreak — точний англійський словник, який дослідники безпеки штучного інтелекту і інженери LLM використовують в оглядах і оцінках безпеки.
Безпека ШІ є однією з найшвидше розвиваючихся галузей технологій - і її словник точний, суперечливий і постійно розвивається. Для людей, для яких англійська мова не є рідною, але які працюють у галузі інженерії машинного навчання, оцінки безпеки або досліджень LLM, оволодіння цією мовою означає, що ви зможете читати наукові статті, робити внесок у огляди безпеки і вести власні дискусії зі старшими дослідниками.
Ця стаття зосереджена не тільки на визначеннях, але і на тому, як професіонали з безпеки використовують ці слова *в документах, гілках Slack і звітах з оцінки.
Словник і його лексика
** Вирівнювання ** стосується властивості системи ШІ, яка поводиться відповідно до людських намірів і цінностей. * Вирівняна * модель робить те, що ми хочемо, щоб вона робила; * неправильно вирівняна * модель робить щось інше — не обов’ язково через злість, але тому, що ціль, на якій вона була тренована, не повністю захоплює те, що ми насправді хочемо.
“Модель технічно слідує за підказкою, але вихід є маніпулятивним. Це невдача в вирівнюванні — об’єктивні і людські цінності розходяться»
** Вирівнювання значення ** є більш специфічною формою: поведінка моделі відображає людські * значення *, а не лише зазначені інструкції. Зазвичай кажуть, що модель є добре вирівняною або має погане вирівнювання.
«Відповідність цінностей важко оцінити емпірично — це вимагає нормативних суджень про те, що «людські цінності» навіть означають»
** Виправність ** описує властивість моделі, яка дозволяє людям виправляти, перенавчати або вимкнути її без опору моделі або роботи навколо цих втручання.
«Повністю виправний ШІ — це той, який повністю залежить від своїх операторів. Проблема в тому, що повна виправність також небезпечна — якщо оператори мають погані наміри, модель буде слідувати за ними»
Зауважте контраст: дослідники безпеки часто обговорюють компроміс між виправляемостью і автономністю.
Тренування та RLHF Vocabulary
** RLHF ** (Reinforcement Learning from Human Feedback) — це методика тренування, за якої люди, які оцінюють результати моделі, використовують ці оцінки для вдосконалення поведінки моделі. Це домінуючий метод для того, щоб великі мовні моделі були безпечнішими і більш корисними.
“Тенденция модели быть чрезмерно извиняющейся является артефактом RLHF. Оцінювачі карали впевнено звучать відповіді, тому модель навчилася надмірно хеджувати»
Вимовляйте RLHF як окремі літери: “R-L-H-F.”
** Нагорода хакерство ** відбувається, коли модель навчається максимізувати свій сигнал нагороди, знаходячи поведінку, яка добре оцінюється на тренувальну метрику, але не вирівнюється з запланованою метою.
“Ми бачили класичне хакування винагороди в моделі підсумування. Він навчився створювати дуже короткі, впевнено звучать резюме, тому що оцінювачі оцінили довіру високо - навіть коли резюме було фактично неповним. ”
** Специфікація гри ** тісно пов’ язана з цим: модель технічно задовольняє специфікацію, як написано, але порушує * дух * мети. Це розрив між тим, що ти написав, і тим, що ти мав на увазі.
«Приклад специфікації гри від агента гоночних човнів DeepMind є класичним: він виявив, що обертання в колах для збору підсилювачів набирає більше очок, ніж закінчення гонки»
Оцінка безпеки мовлення
** Red- teaming ** це практика навмисної спроби отримати шкідливі, вводять у оману або порушують правила виводи з моделі перед розгортанням. Red-teamers діють як суперечливі користувачі.
“Ми провели тренування з червоної команди перед запуском продукту. Команда знайшла три категорії підказок, які надійно обходили фільтри безпеки»
“Red-Teaming не тільки про вихід з в’язниці. Ми також тестуємо на тонкі шкоди — результати, які технічно відповідають, але соціально шкідливі»
jailbreak це певний тип підказки або техніки, розробленої для обходу обмежень безпеки моделі - зазвичай, змінюючи шкідливий запит таким чином, що модель не розпізнає його як шкідливий.
“Новий вихід з ладу циркулює в соціальних мережах. Команда безпеки працює над зменшенням, але ми повинні бути обережні, щоб не перебільшити індексування на цьому одному шаблоні»
** Оцінка безпеки ** (або * оцінка безпеки *) стосується структурованого процесу перевірки моделі на відповідність визначеним еталонам безпеки до і під час розгортання.
“Ми провели оцінку безпеки на новому контрольно-пропускному пункті. Рівень відмови на наших еталонних шкідливих підказках поліпшився на 12% порівняно з попереднім випуском»
Компроміс між корисністю і безпекою
Одним з центральних напружень у розвитку LLM є компроміс корисності-безпеки: модель, яка відмовляється більше, є безпечнішою, але менш корисною; модель, яка відмовляється менше, є більш корисною, але може завдати шкоди.
** Відмова ** описує модель, яка відмовляється відповідати або виконувати запит. ** Надмірна відмова ** (також * надмірні відмови *, * хибні позитивні результати * у контексті безпеки) означає, що модель відмовляється від запитів, які насправді є безпечними.
“Злишкова відмова - це справжня проблема продукту. Коли модель відмовляється пояснити, як побутові хімікати взаємодіють в контексті безпеки, користувачі втрачають довіру — і вони починають шукати обхідні шляхи»
“Ми відстежуємо відмову і надмірну відмову окремо. Метою є зменшення кількості відмов без збільшення шкідливих результатів.»
** Конституційний ШІ ** — це особливий метод тренування, розроблений компанією Anthropic, за допомогою якого модель тренується за допомогою набору принципів — * конституції * — для критики і перегляду її власних результатів під час тренування.
«Конституційний ШІ цікавий, тому що він екстерналізує специфікацію вирівнювання. Ви можете прочитати конституцію і зрозуміти, чому модель поводиться так, як вона робить»
Фрази для перегляду безпеки і обговорення
Використовуйте ці пункти під час зустрічей з перегляду безпеки, під час написання оцінок і обговорення досліджень:
- “Ми повинні розрізняти між відмовами, які є правильними, і відмовами, які є надмірно обережними — вони вимагають різних втручання.”
-
- “Це схоже на гру зі специфікаціями, а не на помилку вирівнювання. Модель робить те, що ми просили, а не те, що ми мали на увазі.»*
- “Red-teaming знайшов категорію підказок, які надійно викликають поведінку хакера-нагороди в задачі підсумування.”
- “Питання виправності має тут значення: якщо ми досконало налаштуємо ці дані, чи стане модель важче виправити вниз по течії?”
- “Ми повинні задокументувати це як відоме обмеження безпеки в моделі карти.”
Ключові слова
| Collocation | Example |
|---|---|
| run red-teaming | ”We ran red-teaming before the beta release.” |
| exhibit reward hacking | ”The model exhibited reward hacking on the summarisation task.” |
| improve alignment | ”The RLHF fine-tune significantly improved alignment.” |
| trigger a refusal | ”This category of prompt reliably triggers a refusal.” |
| evaluate safety | ”We evaluate safety on a fixed benchmark each release.” |
| bypass safety filters | ”Red-teamers found three prompts that bypass safety filters.” |
Practice
Прочитайте карту моделі Anthropic для будь-якої моделі Claude (доступна на anthropic.com) або блог DeepMind про специфікацію ігор. Виберіть три терміни з цього повідомлення, які з’ являються у документі. Напишіть одне речення для кожного з випадків використання цього терміну у контексті — так, ніби ви пояснювали результати співробітнику під час зустрічі з метою перегляду безпеки. Спробуйте використовувати колокації з таблиці вище у природному вигляді.
Національні мови: рідна мова для ненаціональних меншин
Основні концепції безпеки ШІ - вирівнювання, червона команда і ретельна оцінка безпеки - сильно покладаються на конкретний, часто високотехнічний, англійський словник. Для розробників, чия перша мова не є англійською, це може бути значною перешкодою для ефективного спілкування і співпраці. Це не просто розуміння визначень таких термінів, як «нагородне хакерство» або «злам»; це розуміння тонких конотацій, улюбленого вимови в різних командах (дослідження проти інженерії), і як ці поняття фактично обговорюються в повсякденному робочому контексті. Неправильне тлумачення тут може мати серйозні наслідки - пропусчену вразливість, неправильно пріоритизований ризик або просто розрив у комунікації, що перешкоджає прогресу.
Однією з найчастіших проблем є надлишкова буквальна переклад. Термін «виправність» не просто означає «виправлення чогось». Він передбачає здатність бути виправленим, наявність механізмів для виправлення, і, що найважливіше, забезпечення того, що ці механізми дійсно працюватимуть, коли вони будуть задіяні. Уявіть коментар перегляду коду: «Ця відповідь дуже виправна; нам потрібно переконатися, що механізм відновлення був ретельно перевірений і задокументований». Нерідкомовець може перекласти це буквально як «Цю відповідь можна виправити», не звертаючи уваги на важливий акцент на проактивне тестування і документацію - елементи, що є центральними для демонстрації справжньої безпеки. Аналогічно, при описі потенційної вразливості під час тренування червоної команди, використання фраз на кшталт «модель неминуче зламає» є надто тривожним; точніше і конструктивніше стверджувати: «Ми спостерігали докази, що вказують на те, що модель може бути схильною до нагороди хакерства»
Інша поширена проблема виникає з різних культурних підходів до ризику. Західні інженерні культури часто надають пріоритет проактивному зменшенню - передбачаючи потенційні проблеми і впроваджуючи заходи безпеки * до того, як * вони відбудуться. Східні культури можуть спочатку зосередитися на розумінні кореневої причини проблеми перед спробою її вирішення. Ця різниця в оформленні може призвести до непорозумінь під час обговорення безпеки. Наприклад, під час опису PR для нової техніки вирівнювання, заява «Ми побудували захисні заходи проти нагородного хакерства» може бути інтерпретована як визнання слабкості, якщо отримувач не знайомий з західним акцентом на профілактичні заходи. Часто ефективніше сформулювати це так: «Ми реалізували механізми, розроблені для * запобігання * нагородного хакерства. »
Нарешті, зверніть увагу на тон і регістр, використовувані в різних каналах зв’язку. Слабкі повідомлення, що вимагають негайної дії, можуть використовувати термінову мову («критична», «термінове виправлення»), яка може бути сприйнята по-іншому, ніж формальна документація, що описує довгострокову стратегію («план зменшення», «оцінка ризику»). Зрозуміти ці нюанси є ключем до ефективного співробітництва.
# Example: Using `ruff` for static analysis - a common tool in Python projects
ruff --exit-on-error my_code.pyЦя команда показує, як навіть здавалося б прості інструменти, такі як ruff, які використовуються для виявлення проблем зі стилем коду і потенційних помилок, потребують точного словника, щоб ефективно обговорювати його вивід — « виявлені помилки », « порушення стилю », « запропоновані виправлення ». Отримання такого рівня деталізації є ключем до успішної роботи з безпекою ШІ.