Англійська мова для розробників Weights & Biases

Розмови про вага та упередження використовують специфічний словник для відстеження експериментів — запуск, обстеження, артефакт — який легко помилково поєднувати з загальними термінами ML, і називати кожен записаний експеримент «запуском» без відмінності обстежень від артефактів ускладнює опис точно того, що порівнюється або відтворюється.

Ключовий словник

** Run ** — одиничне виконання скрипту тренування або оцінки, що записується у журнал з його налаштуваннями, метриками і вихідними даними, утворюючи базову одиницю, навколо якої організовано все інше у W& B.

• “Порівняйте цей запуск з базовим запуском минулого тижня — у розбіжності налаштувань має бути показано, що саме змінилося між ними.” *

** Sweep ** — автоматичний пошук за комбінаціями гіперпараметрів, у якому W& B запускає декілька запусків відповідно до визначеної стратегії, наприклад, пошуку за ґраткою, випадковим чином або за баєсовою теорією.

• “Ми використовуємо баєсове розмивання для настроювання швидкості навчання і розміру пакета разом, замість вгадування значень вручну.” *

** Артефакт ** — збірка файлів з версіями, наприклад, набір даних, контрольна точка моделі або вивід оцінки, що відстежується за допомогою лінії, щоб ви могли точно відстежити, який запуск створив або використав цей файл.

• “Записувати треновану модель у журнал як артефакт, щоб наступний запуск міг посилатися на цю версію замість файла з невідомою назвою контрольної точки.” *

** Панель / приладова панель ** — налаштовуваний візуалізатор, наприклад, діаграма або таблиця показників, впорядкована у робочому просторі, який надає змогу команді порівнювати декілька запусків поруч.

• “Додати панель порівняння втрат підтвердження у всіх трьох запусках, щоб ми могли побачити точку перевищення без відкриття кожного запуску окремо.” *

** Lineage ** — ланцюг залежностей між артефактами і запусками, що показує, який набір даних створив яку модель і яку модель було використано у якій оцінці.

• “Lineage показує, що цю модель було треновано на версії набору даних минулого місяця, що пояснює, чому в ній відсутні новододані приклади.” *

Звичайні фрази

• Чи є це порівняння між запусками з одного і того ж обстеження, або конфігурації насправді різні?»
• Чи ми записали контрольну точку як артефакт, чи вона просто сидить в локальній папці десь?»
• «Що показує лінія для цієї моделі — на якій версії набору даних вона була насправді тренована?»
• Чи варто нам тут провести розвідку, чи ми вже приблизно знаємо, де знаходяться хороші гіперпараметри?»
• Чи можемо ми додати панель, яка накладає тренування і втрат оцінки для цих трьох запусків?

Приклади висловлювань

Звітування про результат пошуку гіперпараметрів:

• “В результаті обстеження було виявлено, що менший розмір пакета з більшою швидкістю навчання перевершив наш вручну виконаний базовий запуск приблизно на три пункти точності перевірки.” *

Пояснення виправлення відтворюваності:

• “Ми почали записувати кожну контрольну точку як артефакт з версіями, отже тепер ми можемо відстежити походження від розгорнутої моделі до точного набору даних і версії коду, яка його створила.” *

Перегляд панелі експериментів:

• “Ця панель дає змогу побачити, що запуск з увімкненим розширенням даних має набагато менший проміжок між тренуванням і втратою перевірки, ніж інші.” *

Професійні поради

• Скажімо ** run ** послідовно для одного виконання, а не « експеримент » або « завдання » взаємозамінно — точність тут робить легше посилатися на конкретний один пізніше.
• Відрізняти ** розмивання ** від пакету вручну запущених запусків — розмивання передбачає автоматизовану стратегію пошуку, що має значення при обговоренні того, наскільки ретельним був пошук за гіперпараметрим.
• Журналізуйте виводи як ** артефакти **, а не описуючи їх як « файли » — версії і відстеження послідовності є ключовими, і правильна назва сигналізує, що відтворюваність була розглянута.
• Посилання ** lineage ** безпосередньо під час зневадження регресії поведінки моделі — часто швидше відстежити ланцюг артефактів, ніж перезапустити експерименти з нуля.

Практичні вправи

1. Поясніть різницю між проходженням і розмиванням в одному реченні.
2. Описати, чим відрізняється артефакт від простого збереження файла на диск.
3. Напишіть речення, у якому пояснюється, яким чином лінія попередження допоможе зневаджувати неочікувану регресію моделі.

Наприклад, слово «навигація» має значення «подорож за межі основного змісту»

Як розробник Weights & Biases, ви витрачаєте багато часу на обговорення ваших експериментів — їх налаштування, результати і те, як вони пов’ язані між собою. Зрозуміти основні слова (запуски, обшуки, артефакти, порівняння) дуже важливо, але освоєння * фразування *, яке використовується у професійному спілкуванні, значно поліпшить співпрацю з вашою командою і забезпечить чіткість документації і звітів. Це не просто про те, щоб знати * що * щось є; це про передачу цієї інформації ефективно і точно. Багато не-рідних англомовних вважають ці тонкі відмінності особливо викликаючими.

Одна з областей, яка потребує поліпшення, часто полягає в описі впливу експерименту, особливо при обговоренні невідповідностей або несподіваних результатів. Просто сказати, що «перевірка зазнала невдачі», недостатньо. Більш корисним підходом було б сказати: “Процес розмивання зустрів помилку виконання під час кроку gradient_clip. Це, ймовірно, вказує на проблему з параметрами масштабування градієнта — нам слід перевірити, чи не було встановлено значення занадто агресивно. Зауважте використання певної термінології (« помилка під час виконання », « відрізок градієнта ») і пропозицію щодо подальшого дослідження. Аналогічно, коли ви просите зворотній зв’язок на PR, кажучи «Чи можете ви переглянути це?», Це неоднозначно. Замість цього спробуйте: « Чи не могли б ви зосередитись у своїй рецензії на стратегії збору даних у межах визначення розвідки? Зокрема, я зацікавлений у тому, чи частота ведення журналу відповідає нашим цілям моніторингу продуктивності. »Використання таких фраз, як «стратегія збору даних», «частота ведення журналу» і «цілі моніторингу продуктивності» демонструє глибше розуміння контексту експерименту.

Інший поширений сценарій включає пояснення, чому артефакт не поводиться так, як очікувалося. Спокуса просто сказати, що він «зламаний», але це не точність. Кращий підхід буде таким: «Артефакт для запуску experiment-123 постійно виробляє значно менші втрати, ніж інші запуски, незважаючи на використання тієї ж архітектури моделі і тренувальних параметрів. Я підозрюю, що може бути проблема з конвеєром попередньої обробки даних - можливо, невідповідність у масштабуванні функцій або методах нормалізації. ” Знову ж таки, докладна термінологія - « втрата », « архітектура моделі », « масштабування функцій » - є ключем до полегшення ефективного усунення несправностей.

Нарешті, при написанні описів PR, прагніть до ясності і контексту. Не просто перелічуйте зміни; поясніть * чому * ви їх зробили. Наприклад: « Впроваджено нові налаштування розмивання, щоб збільшити швидкість навчання у 2 рази, оскільки попередні експерименти показали, що це може покращити швидкість конвергенції ». Таким чином, ви отримаєте негайний контекст і обґрунтування зміни, що дозволить рецензентам швидко зрозуміти її мету.

wandb time log --name "Experiment-456" --message "Starting long training run..."

Ця команда показує поширений спосіб відстеження часу виконання у W& B — записування початку потенційно довгого експерименту з описовим повідомленням. Це важливо для забезпечення видимості прогресу і тривалості ваших експериментів, що є важливим для комунікації команди і ефективного усунення неполадок.