Повний посібник з англійської для ML-інженерів

Англійська мова для інженерів

Машинне навчання інженерії знаходиться на одному з найбільш міжнародних спільних кордонів програмного забезпечення. Основна дослідницька література — arXiv preprints, NeurIPS і ICML конференційні статті, статті про архітектуру трансформаторів, дослідження закону масштабування — англійською мовою. Провідні фреймворки з відкритим кодом (PyTorch, TensorFlow, Hugging Face Transformers, LangChain, vLLM) задокументовані англійською мовою. Спільнотні обговорення на X/Twitter, Discord, Slack і GitHub Issues, які формують поле, відбуваються англійською мовою. Для інженера ML, володіння англійською мовою не є обов'язковим - це необхідна умова для того, щоб залишатися в курсі подій.

Крім того, щоб не відставати від досліджень, інженери ML працюють в командах, де точне спілкування особливо важливе. Незрозуміла метрика на зустрічі з перегляду моделі може призвести до помилкової моделі, що досягає виробництва. Неточна мова в документі проекту тестування A / B може скасувати експеримент. Погане спілкування між науковцями-дослідниками і інженерами ML — дві групи з перетинаючимися, але різними словниками і пріоритетами — добре відоме джерело тертя в компаніях ШІ.

Роль інженера ML також надзвичайно широка. Залежно від організації, інженер ML може очікувати тренування моделей (словник глибокого навчання), обслуговування їх (MLOps і інфраструктурний словник), моніторинг їх у виробництві (словник спостережливості), повідомлення результатів менеджерам продукту (бізнес-словник), обговорення архітектури моделі з дослідниками (академічний словник) і написання про поведінку моделі для регуляторів або команд з відповідності (формальна, точна англійська). Кожен контекст вимагає іншого регістру і набору слів.

Цей посібник містить словниковий запас і шаблони спілкування для кожного з цих контекстів. Вона зосереджена конкретно на англійській мові, яку використовують практикуючі інженери ML — не англійська мова академічних ML-документів, а суміш точної технічної мови і чіткого бізнес-комунікації, яка визначає ефективну інженерну практику ML.

Розділ 1: Модель перегляду зборів лексики

Зустріч з переглядом моделі (також відома як зустріч з оцінкою моделі або підписання моделі) є воротами, через які тренована модель повинна пройти, перш ніж її можна буде розгорнути в виробництво. Для того, щоб мати змогу чітко представити продуктивність вашої моделі, відповісти на питання щодо її обмежень і обговорити готовність до розгортання, потрібна певна лексика.

Представлення моделі виконання

Виконання моделі описується за допомогою ієрархії метрик, і бути точним про те, яку метрику ви оптимізуєте і чому це перший тест чіткого спілкування в огляді моделі: "Модель досягає 94,2% точності на витриманому тестовому наборі, з точністю 0,91 і відновленням 0,87 на позитивному класі. Ми вирішили оптимізувати для відновлення, а не для точності, оскільки у цьому випадку використання — виявлення шахрайства — вартість хибно негативного (недотримання облікової записи) значно перевищує вартість хибно позитивного (підписання законної операції для перегляду)». Ця дискусія щодо компромісу між точністю і відновленням, де ви явно називаєте бізнес- вартість кожного типу помилки, є саме тим, що хочуть почути учасники перегляду моделі.

При обговоренні декількох кандидатів на модель: «Ми тренували три варіанти моделі: логістичну регресію, модель дерева з градієнтом підвищення і тонко налаштований класифікатор на основі BERT. Модель з градієнтом перевершує базову модель на 8,3 відсоткових пунктів на F1, але не досягає BERT на 2,1 відсоткових пунктів. Враховуючи вимогу затримки 50 мілісекунд для цієї кінцевої точки, і час виведення BERT 200 мс на нашому поточному обладнанні, ми рекомендуємо модель з підвищеним градієнтом для виробничого розгортання." Цей вид структурованого порівняння - представлення варіантів, їх метрики і обґрунтування рекомендацій - є золотим стандартом для обміну моделями.

Обговорення обмежень моделі

Проактивне надання імен обмежень моделі до того, як рецензенти запитують про них, демонструє інженерну зрілість: «Я хочу позначити два обмеження, перш ніж ми обговоримо розгортання. По-первих, тренувальні дані охоплюють операції за останні 18 місяців. Якщо схеми шахрайства значно зміняться, ми повинні очікувати, що продуктивність моделі погіршиться - нам потрібно буде встановити моніторинг для зміни розподілу і перенавчання щоквартально. По-друге, модель має нижчий відгук на транзакції з мобільних пристроїв — 0,79 проти 0,91 для настільних. Ми вважаємо, що це пов'язано з недопредставлением мобильных транзакций в тренировочных данных. Ми маркуємо додаткові мобільні приклади для наступного тренувального запуску»

Розділ 2: Експериментальна дискусія Словник

Експерименти з ML вимагають точної мови для повідомлення того, що було перевірено, як і що було вивчено — чи успішно закінчився експеримент чи ні. Добре повідомлений невдалий експеримент часто є більш цінним, ніж погано повідомлений успіх, тому що це допомагає команді уникнути повторення того ж самого безвихідного стану.

Розробка та опис експериментів

При запропонуванні експерименту: «Я пропоную дослідження абляції, щоб зрозуміти внесок кожної групи особливостей у роботу моделі. Ми тренуємо чотири варіанти моделі: один з усіма характеристиками, один без поведінкових характеристик, один без демографічних характеристик, і один тільки з транзакційними характеристиками. Порівнюючи продуктивність усіх чотирьох варіантів, ми можемо визначити, які групи властивостей впливають на передбачувану силу моделі, а які можна вилучити, щоб зменшити складність. Ключеві слова: дослідження абляції (систематично вилучаючи компоненти, щоб зрозуміти їх внесок), контроль (базова умова), лікування (експериментальна умова), варіант (одна версія у багатоверсійному експерименті), гіпотеза (передбачення, яке можна перевірити), змінна, що викликає сумніви (фактор, який може пояснити результат незалежно від лікування).

При спільному використанні результатів експерименту в щотижневій синхронізації: «Експеримент показав поліпшення на 3,2% у швидкості кліків порівняно з контрольним. Однак, я хочу застерегти вас від цього результату — експеримент тривав лише 5 днів, що коротше за 14-денний мінімум, який ми зазвичай вимагаємо для сезонної варіації, щоб усреднити. Довірчий інтервал широкий на 95% CI [+0,8%, +5,6%,], тому, хоча напрямок є обіцяючим, я рекомендую працювати ще 9 днів, перш ніж прийняти рішення про розгортання»

Підготовка експериментальних матеріалів

Документи експериментів ML (також відомі як експериментальні записки, експериментальні нотатки або моделі карт неформально) дотримуються структурованого формату: Тло, Гіпотеза, Метод, Результати, Аналіз, Вивід і Наступні кроки. При обговоренні розділу Аналіз: «Зовнішнє поліпшення моделі найбільш виражене для користувачів з менш ніж 10 історичними взаємодіями — 6,1% CTR поліпшення для холодних користувачів у порівнянні з 1,2% для встановлених користувачів. Це свідчить про те, що нові можливості є особливо цінними для запуску рекомендацій для нових користувачів, що відповідають гіпотезам. « Ясна мова аналізу визначає шаблони, пропонує пояснення і пов’ язує результати з початковою гіпотезою.

Розділ 3: Паперовий читальний словник

Читання та обговорення дослідницьких статей з ML є щоденною діяльністю для багатьох інженерів ML. Незалежно від того, чи ви презентуєте статтю на групі читання, обговорюєте метод з колегою або застосовуєте опублікований метод до вашої власної проблеми, вам потрібні слова, щоб ознайомитися з академічною літературою і перекласти її на інженерну практику.

Структура паперу

Документ ML зазвичай містить: Резюме, Вступ (проблема, мотивація, внесок), Порівняльна робота (як ця робота відрізняється від існуючих підходів), Методологія (пропонований підхід, часто включаючи діаграму архітектури), Експерименти (еталонні набори даних, базові порівняння, дослідження абляції), Результати, Обговорення (обмеження, майбутня робота) і Заключні висновки. При презентації статті: «У статті пропонується новий механізм уваги, який вони називають «Рідка увага», який зменшує квадратичну складність стандартної само-уваги до O(n log n) за рахунок уваги тільки до структурованої рідкої підмножини позицій. Їх головний внесок демонструє, що цей розріджений шаблон можна вивчити, а не фіксувати, що вони називають «динамічним розрідженням»

Загальний словник читання статей: запропонувати (ввести новий метод), продемонструвати (експериментально показати), перевершити (досягти кращих результатів ніж), базова лінія (метод порівняння), найсучасніший (SOTA) (найкращий метод), абляція (вилучення компонента для перевірки його вкладу), репродукція (відтворення результатів статті), переддрук (стаття, що поширюється перед рецензуванням, зазвичай на arXiv), паралельна робота (інша стаття, що розв’ язує ту ж саму проблему, опублікована приблизно в той же час).

Використовується для обговорення власної роботи

При вирішенні питання про застосування техніки статті: «Цей підхід до статті є багатообіцяючим, але є три причини, чому я думаю, що він не буде перенесений безпосередньо на нашому місці. По-перше, вони тренуються на 10 мільярдах жетонів — у нас їх 50 мільйонів. Метод може бути неефективним в нашому масштабі. По-друге, їх оцінка є тільки на англомовному тексті, але наша виробнича модель повинна обробляти українську і польську. По-третє, реалізація вимагає нестандартного ядра CUDA, що додає значні інженерні зусилля. Я думаю, що ми повинні запустити невелике дослідження концепції, перш ніж приступити до повної реалізації»

Розділ 4: Словник виробничого ML (сервування, моніторинг, дрифтинг)

Для того, щоб модель була впроваджена у виробництво і добре працювала, потрібна відмінна лексика, яка поєднує термінологію ML з програмною інженерією і словником операцій. Це домен MLOps.

Використовує словниковий запас

Обслуговування моделі означає, що вона доступна для отримання запитів на виведення у виробництві: «Ми обслуговуємо модель рекомендацій через службу Python FastAPI, розгорнуту на Kubernetes. Служба завантажує модель з реєстру моделей під час запуску і кешує її у пам’ яті. Кожен запит на вивід передасть властивості користувача до сховища властивостей, побудує вектор властивостей, викликає метод моделі predict () і поверне 10 найкращих рекомендацій. Ключові слова: виведення (запуск моделі для створення прогнозу), затримка (час створення прогнозу), пропускна здатність (передбачень за секунду), пакетне виведення (обробка багатьох вхідних даних разом), виведення в мережі (передбачення в реальному часі з низькою затримкою), реєстр моделі (сховище версій тренованих моделей), сховище властивостей (система, яка обслуговує попередньо обчислені властивості для виведення моделі).

Обговорюючи продуктивність обслуговування: "Затримка виводу p99 в даний час становить 180 мілісекунд, що перевищує наш SLA 100 мкс. Ми профільували шлях обслуговування і визначили вузькі місця на кроці отримання можливостей — пошук магазину можливостей займає в середньому 120 мс. Ми досліджуємо дві оптимізації: попереднє обчислення і кешування функцій у часі запитів на стороні клієнта, і оновлення інфраструктури магазину функцій для зменшення затримки до менш ніж 20 мс. "

Визначення і опис рідкісних видів

Моделі виробництва з часом погіршуються, оскільки змінюється реальний світ. Визначення і реагування на це є критичною відповідальністю MLOps: «Ми моніторимо модель вздовж трьох вимірів. Спочатку ми контролюємо операційні показники: затримку, кількість помилок і пропускну здатність. По-друге, ми спостерігаємо за розподілом вхідних даних: ми запускаємо статистичні тести, які порівнюють розподіл можливостей поточного тижня з базовим тренувальним набором. Якщо розподіл властивостей значно змінюється, що вказує на дрейф даних, ми попереджуємо команду. По-третє, ми моніторимо розподіл вихідних даних моделі: ми відстежуємо частку передбачень високої впевненості. Раптовому зниженню прогнозів з високою впевненістю часто передує зниження точності моделі. Ключові слова для моніторингу: дрейф даних (зміна розподілу вхідних даних з плином часу), дрейф концепції (зміна взаємозв’ язку між вхідними даними і мітками), деградація моделі (зменшення продуктивності моделі під час виробництва), тригер перенавчання (стан, який ініціює новий тренувальний запуск), тіньове розгортання (запуск нової моделі паралельно з виробничою моделлю для порівняння вихідних даних без впливу на користувачів).

Розділ 5: Дослідження vs інженерні комунікації

Одним з найбільш культурно-специфічних комунікаційних викликів в ролях ML є навігація в інтерфейсі дослідження-інженерії. Дослідники та інженери ML мають перетинаються, але різні цілі, часові рамки та словник, а невідповідність між ними є поширеним джерелом тертя в компаніях ШІ.

Перекладати дослідницькі цілі в інженерні вимоги

Дослідники часто описують цілі з точки зору показників продуктивності моделі і новизни дослідження: «Ми хочемо дослідити, чи багатозадачність навчальної мети покращує узагальнення на мовах з низьким рівнем ресурсів». Інженер ML повинен перетворити це на конкретні інженерні вимоги: «Для підтримки цього експерименту мені потрібен: тренувальний конвеєр, який підтримує багатозадачність завдань і набори даних; інфраструктура для запуску гіперпараметричного розчищення принаймні 20 конфігурацій; система зберігання і версії для збереження контрольних точок (багатозадачність моделей буде в 3 рази більшою, тому нам потрібно переконатися, що у нас є достатньо місця для зберігання); і оціночний набір, який автоматично запускає виключені еталони після кожного тренувального запуску. »

Поширені шаблони в дослідницько-інженерному спілкуванні: «Яка мінімальна реальна версія цього, яку ми можемо швидко перевірити?» / «Якщо це працює в малому масштабі, скільки коштуватиме запуск у повному масштабі?» / «Яка затримка цієї архітектури у часі виведення — чи сумісна вона з нашим виробничим SLA?» / «Скільки часу займе тренувальний запуск, і які обчислювальні ресурси вам потрібні?» Ці інженерні питання не є викликом для напрямку досліджень — вони є практичним мостом між ідеєю і виробничою системою.

Виконання завдань за командою

Дослідницькі графіки по суті невпевнені, але інженерні графіки потрібно планувати. Важливо чітко повідомити про цю різницю: «Я хочу позначити ризик на часовій шкалі. Дослідницька команда зобов'язалася створити робочу модель до кінця Q2, але архітектура моделі все ще завершується. Поки ми не дізнаємося архітектуру, я не зможу повністю спроектувати обслуговуючу інфраструктуру. Я можу продовжувати роботу над загальними частинами стека обслуговування, але останні два тижні роботи заблоковані на виході дослідження. Якщо графік досліджень прослизне на 2 тижні, дата запуску виробництва також прослизне на 2 тижні»

Розділ 6: LLM і AI Vocabulary

Швидке зростання великих мовних моделей (LLM) і генеративний ШІ ввели велику кількість нового словникового запасу, який інженери ML повинні бути в змозі використовувати точно. Більшість цього словника є досить новим, що використання все ще стандартизується - важливо знати, як терміни використовуються в різних спільнотах.

Фундаментальна модель і LLM-словник

Ключові терміни: модель основи (велика модель, попередньо навчена на широких даних і адаптована до багатьох завдань), велика мова модель (LLM) (модель основи, спеціалізована на тексті), попереднє навчання (початкове навчання на великих даних, зазвичай самоконтроль), тонка налаштування (продовження навчання попередньо навченої моделі на даних, специфічних для завдання), інструкційна налаштування (тонка налаштування на наборах даних, що слідують за інструкціями, щоб зробити модель більш корисною), RLHF (Посилене навчання з людського зворотного зв'язку) (метод для вирівнювання поведінки моделі з людськими перевагами), контекстне вікно (максимальна кількість токенів, які модель може обробляти одночасно), токен (одиницю тексту, яку обробляє LLM - приблизно 3/4 слова в середньому для англійського тексту).

Використання на практиці: «Модель має контекстне вікно з 128 000 токенів, що означає, що ми можемо вмістити повне сховище коду в одну команду без обрізання.» / «Ми тонуємо Llama 3 на нашому наборі даних квитків підтримки клієнтів, використовуючи LoRA (Low-Rank Adaptation) — це набагато ефективніше параметричне налаштування, ніж повне тонування і досягає порівняної продуктивності за частку обчислювальної вартості.» / «Інструкційно-тонована версія моделі набагато надійніше виконує інструкції, ніж базова модель — базова модель генерує продовження, в той час як інструкційно-тонована модель відповідає на запити»

Програмування та мови програмування

Пром інженерія - це практика проектування вхідних даних, щоб отримати найкращий вихідний результат з LLM. Ключовий словник: підказка (вхід, наданий LLM), системна підказка (інструкції, що визначають поведінку моделі і персону), декілька підказок (включаючи приклади в підказці, щоб продемонструвати бажаний формат виводу), ланцюг-думка (CoT) (підказка моделі роздумувати крок за кроком), галюцинація (коли модель генерує правдоподібно звучачу, але неправильну інформацію), заземлення (закочування виходу моделі в фактичних зовнішніх джерелах, щоб зменшити галюцинації).

RAG (Retrieval-Augmented Generation) словник: «Ми використовуємо архітектуру RAG для заснування відповідей моделі в нашій внутрішній документації. Коли користувач задає запитання, ми спочатку отримуємо 5 найважливіших частин документа з векторної бази даних за допомогою косинусної схожості, а потім передаємо їх до LLM як контекст разом з запитанням користувача. Це значно зменшує галюцинації в порівнянні з покладанням лише на параметричні знання моделі. Ключові терміни RAG: векторна база даних (база даних, яка зберігає і шукає векторні вкладення), вкладення (числове представлення тексту, яке захоплює семантичний зміст), пошук (пошук відповідних документів), шматок (сегмент документа), косинус подібності (вимір кута між двома векторами, використовується для пошуку семантично подібного вмісту).

Розділ 7: Інтерв'ю Словник для ML інженерів

Інженерні інтерв'ю ML тестують широкий спектр знань - від основ ML до проектування систем до здатності кодування. Словниковий запас, який ви використовуєте для опису вашого досвіду і відповідей на технічні питання, свідчить про рівень ваших знань.

Розробка та оцінка

Бути точним щодо тренувально-оцінювального потоку роботи демонструє старшинство: «Ми розділилися набір даних на тренування, перевірку і тестові набори у співвідношенні 70/15/15. Я використовую набір перевірки під час тренування, щоб стежити за перебільшенням і керувати пошуком гіперпараметрів. Тестовий набір зберігається повністю до кінцевої оцінки моделі - він ніколи не використовується для прийняття тренувальних рішень. Це жорстке правило, яке ми застосовуємо до команди, тому що якщо ви налаштовуєте тестовий набір, ваша оприлюднена продуктивність більше не є неупередженою оцінкою продуктивності виробництва»

Ключові слова для оцінки: перебільшення (модель вивчає дані тренування занадто специфічно і погано узагальнює), недооцінка (модель занадто проста, щоб зафіксувати шаблони у даних), компроміс ухилення- дисперсії (напруга між гнучкістю моделі і узагальненням), перехресна перевірка (метод для надійної оцінки продуктивності за допомогою декількох розділів даних), крива навчання (графік продуктивності моделі проти розміру тренувальних даних, використовується для діагностики перебільшення і потреб у даних).

Розглядається виробництво ML і MLOps

Інтерв'ю старшого інженера ML майже завжди включають компонент системного дизайну для виробничої системи ML. Ключові слова: реєстр моделей, сховище функцій, інфраструктура обслуговування, тестування A/B, розгортання в тіньовому режимі, виведення в режимі онлайн проти пакетного, конвеєр перенавчання, версії моделей. Приклад структури відповіді: «Для цієї системи рекомендацій, я б розробив її так. Автономний режим: ми тренуємо модель за тижневим розкладом за допомогою завдання Spark, яке генерує тренувальні дані з журналів подій. Модель версується і зберігається в реєстрі моделей MLflow. У мережі: під час виведення, служба рекомендацій викликає сховище властивостей для користувацьких властивостей в реальному часі, запускає модель і повертає елементи з верхнього рядка. Ми використовуємо тіньові розгортання для оцінки нових версій моделей перед їх просуванням до виробництва»

Найбільш корисні слова та фрази для інженерів ML

Рекомендований шлях навчання для інженерів ML

Стадія 1: Foundation — Core ML Vocabulary

1. 1-й

   Машинне навчання (Machine Learning)

   Створення основного словника машинного навчання: навчання, оцінка, висновки, типи моделей, інженерія функцій і стандартна англійська мова інженерних обговорень з машинного навчання.

2. 2-й

   М. М. Коломієць

   Вправлятися в колокації дієслова-іменника інженерії ML: збирати дані, позначати приклади, тренувати модель, оцінювати продуктивність, налаштовувати, надавати прогнози, стежити за дрейфом, перенавчатися.

3. 3-й

   Інженерно-технічна література

   Словник виробничих систем штучного інтелекту: реєстри моделей, магазини функцій, обслуговуюча інфраструктура, LLM, RAG, інженерія швидкого реагування і рамки оцінки.

Стадія 2: Проміжна — експерименти і виробництво

1. 4-й

   Розклад руху поїздів

   Розгорнути, випустити, розгорнути, тіньове розгортання, канарійка — словник доставки моделей ML до виробництва безпечно і поступово.

2. П'ять

   Спостережливість колокації

   Монітор, інструмент, слід, попередження, мовчання — словник спостережливості, застосований до моделей ML у виробництві: виявлення дрейфу, моніторинг продуктивності, попередження.

3. 6-й

   Технічні вправи з письма

   Написання документів з експериментів, карт моделей і технічних документів з проектування — навички письма, які відрізняють старших інженерів з машинного навчання.

Стадія 3: Просунутий — комунікація та інтерв'ю

1. Сім

   Мова презентації

   Представте результати перегляду моделей, результати експериментів і проектування систем виробничого ML технічній і нетехнічній аудиторії за допомогою чіткої, структурованої англійської мови.

2. 8-й

   Мова управління Stakeholder

   Повідомте обмеження моделі, ризики розгортання і потреби перенавчання менеджерам продукту, керівникам і нетехнічним зацікавленим сторонам.

3. Дев'ять

   Технічна мова інтерв'ю

   Визначити рішення щодо проектування системи ML, пояснити компроміс між упередженням і дисперсією, обговорити тонку налаштування і архітектури RAG — словник інтерв'ю старших інженерів ML.