Langfuse: англійська мова для LLM Observability and Traceability

Оскільки великі мовні моделі переходять від прототипів до виробництва, інженерні команди потребують розуміння того, що модель насправді робить, скільки часу це займає і скільки це коштує. Langfuse є відкритою платформою спостережливості, побудованою спеціально для цієї мети, і вона має власний точний словник. Вивчення цих термінів англійською мовою допоможе вам чітко спілкуватися під час дискусій, оглядів подій і обговорень архітектури.

Ключовий словник

** Trace ** — повний запис одного запиту, виконаного за допомогою вашої програми LLM, що містить всі кроки від початкового вводу користувача до остаточної відповіді.

• Визначення речення: * Один запит користувача зазвичай створює один трасування, навіть якщо цей запит викликає декілька викликів моделі внутрішньо.
• Приклад: * “Ми перевірили трасування і виявили, що крок отримання споживає 70% загальної затримки.”

** Обсяг ** — названа, часова одиниця роботи у межах трасування, що позначає дискретну операцію, наприклад, отримання, виклик вбудовування або виклик інструменту.

• Визначення речення: * Область вкладається одна всередину іншої, щоб відобразити ієрархічну структуру складного конвеєра.
• Приклад: * “Розмах для кроку переранжування показав затримку p99 1, 4 секунди, яку ми позначили для оптимізації.”

** Observation ** — загальний термін у Langfuse для будь- якої записаної події у трасі, що охоплює проміжки часу, покоління і події.

• Визначення речення: * Кожне спостереження приєднується до батьківського, утворюючи дерево, яке відображає шлях виконання вашої програми.
• Приклад: * _ “На панелі інструментів спостереження групуються за типом, отже, ви можете відфільтрувати їх за поколіннями моделей за допомогою одного клацання.” _

Generation — специфічний тип спостереження, який записує виклик LLM, включаючи вхідний запит, вивід моделі, назву моделі, кількість токенів і затримку.

• Визначення речення: * Покоління є серцем відстеження вартості Langfuse, оскільки вони переносять дані про використання токенів з кожного виклику моделі. Приклад: “Ми помітили, що декілька поколінь мали запитів на введення більше 8000 токенів, що пояснює несподіваний рахунок.”

** Оцінка ** — числове або категорійне значення, яке прив’ язується до сліду або покоління, щоб показати якість, відповідність або будь- який інший нетиповий сигнал, наданий людиною або автоматичним оцінювачем.

• Визначення речення: * Оцінки надають вам змогу кількісно оцінити суб’ єктивні судження щодо виводу моделі і відстежувати тенденції якості з плином часу.
• Приклад: * _“Конвейер LLM- як- суддя автоматично записує оцінку вірності кожному поколінню.” _

** Набір даних ** — збірник пар вводу- виводу, який використовується для виконання систематичних оцінок за допомогою ваших підказок або налаштувань конвеєра.

• Визначення речення: * Підтримка набору даних з чіткими мітками є основою повторюваного оцінювання у Langfuse.
• Приклад: * “Ми засіяли набір даних 200 прикладами з реальних виробничих слідів, які наша команда переглянула вручну.”

Eval (оцінка) — автоматизований або ручний процес, який оцінює вихідні дані моделі за визначеними критеріями, часто використовуючи набір даних і записуючи оцінки назад на платформу.

• Визначення речення: * Запуск оцінок після кожної зміни надає вам раннє попередження, якщо зміна призвела до зниження якості ваших тестових випадків.
• Приклад: * _“Конвейєром nightly eval було виявлено регресію у відповідності відповідей після оновлення системної команди.” _

** Керування підказками ** — практика версування, розгортання і відстеження підказок за допомогою інтерфейсу користувача Langfuse або API, відокремлюючи зміни підказок від розгортання коду.

• Визначення речення: * За допомогою керування запитом менеджер продукту може ітерувати формулювання без очікування на інженера, який надсилає новий випуск.
• Приклад: * “Ми перенесли всі виробничі підказки до системи керування підказками Langfuse, щоб ми могли негайно відновити їх, якщо зміна призведе до проблем з якістю.”

Корисні фрази

• Кожен запит проходить через наш проміжний програмний продукт, який відкриває слід і приєднує дочірні розділи для кожного етапу конвеєра
• «Я підтягнув генерацію в Langfuse і вхідний токен був втричі вищим, ніж очікувалося — історія розмови не була обрізана»
• “Ми використовуємо автоматизовані оцінки, щоб написати оцінку відповідності кожному сліду, а потім попереджаємо на виклик, коли середнє знижується нижче 0,8.”
• Набір даних для цієї функції має 150 золотих прикладів — запустіть eval suite проти нового запитання перед тим, як ви злиєтеся
• «Швидке управління означає, що ми можемо A / B тестувати дві версії в виробництві і порівнювати їх розподіл балів без торкання кодової бази»

Поширені помилки

Плутанина між «слідом» і «журналом»

У загальній інженерії програмного забезпечення * журнал * є сирим текстовим записом подій, тоді як * слід * у спостережливості конкретно відноситься до структурованого, ієрархічного запису одного запиту. Нерідні носії іноді використовують log і trace взаємозамінно, але в Langfuse розрізнення є навмисним. Скажіть _ « Я перевірив слід для цього запиту » _ замість _ « Я перевірив журнал ». _

Використання “оцінки” тільки як іменника

• Eval * і * evaluation * зазвичай використовуються як модифікатори у складених іменниках: * eval pipeline *, * evaluation dataset *, * eval harness *. Частою помилкою є написання _ « the pipeline of evaluation » _ замість _ « the evaluation pipeline ». _ У англійській мові складні іменники утворюються шляхом вставлення модифікатора перед іменником, а не після нього з прикметником.

Неправильно произносишь “наблюдаемость”

Це слово складається з шести складів: об-зер-вух-біл-і-ті. Інженери іноді наголошують неправильний склад або викидає середню частину повністю. Практикування слова уголос перед презентацією допоможе вам сказати його гладко і впевнено.

Словниковий запас Langfuse тісно пов’ язано з загальними концепціями розподіленого відстеження з таких платформ, як Jaeger і Zipkin, отже, якщо ви вже знаєте ці терміни англійською, вам буде знайома ментальна модель. Ключова відмінність полягає в тому, що Langfuse додає LLM-специфічні концепції - покоління, бали і швидке управління - що відображають унікальні вимоги будівництва з мовними моделями у виробництві.

Мова мови: мова для ненароджених

Основна цінність Langfuse - забезпечення гранулярної спостережливості і відстеження поведінки великої мовної моделі (LLM) - сильно залежить від точного спілкування. Для розробників, які вже пересуваються по складності складних систем, розуміння специфічного англійського словника, що використовується навколо LLM, може відчувати себе як додатковий шар труднощів. Це особливо стосується тих, хто вивчає професійну англійську як другу мову. Це не просто про те, щоб знати * що * щось означає; це про те, щоб зрозуміти * як * це зазвичай виражається і розуміється в технічному контексті, включаючи тонкі наслідки за різними фразами.

Розглянемо коментар перегляду коду: « У цьому діапазоні не вистачає достатньої кількості контексту — будь ласка, надайте більше інформації про запит, який було використано для створення цієї відповіді ». Проблема не лише у тому, що діапазон є незавершеним; це * спосіб *, у який неповність передається. Фраза «відсутній достатній контекст» означає потребу в більшій кількості деталей, можливо, пов’язаних з швидким інженерним вибором або конкретною конфігурацією LLM. Нерідний мовець може перекласти це буквально, зосередившись на окремих словах, не розуміючи неявного запитання про пояснення і поліпшення в метаданих сліду. Аналогічно, в повідомленні Slack, що обговорює проблему продуктивності, сказати «слід показує високу затримку» недостатньо. Це потрібно оформити як « нам потрібно дослідити * чому * слід показує високу затримку — чи може це бути пов’ язано зі складністю запиту або версією моделі? » Різниця полягає в проактивному визначенні потенційних причин і відповідному оформленні дослідження.

Іншим поширеним сценарієм є написання опису Pull Request для нової функції: “Ця PR вводить новий набір даних для оцінки швидкої продуктивності завдань творчого створення тексту.” Рідний мовець, ймовірно, використовуватиме такі фрази, як “оцінити”, “швидка продуктивність” і “творче створення тексту” безшумно, розуміючи їх поєднане значення в екосистемі спостережливості LLM. Для когось, хто вивчає англійську, ці терміни можуть здатися абстрактними без чіткого зв’ язку з практичною метою вимірювання і поліпшення виводу моделі. Важливо розуміти, що «набір даних» тут не просто збірка даних; він представляє *специфічний набір запитань і пов’язаних з ними виходів * навмисно обраних для аналізу. Сфокусування на меті - * як * цей набір даних використовується - допомагає побудувати сильніше розуміння.

Врешті-решт, успішна LLM спостережливість залежить від спільного спілкування. Визнаючи ці лінгвістичні нюанси дозволяє розробникам розуміти складні технічні обговорення і ефективно формулювати свої власні спостереження і рекомендації. Це про те, щоб вийти за рамки буквальних перекладів і прийняти ідиомну мову цієї галузі.

# Example Langfuse CLI command for creating a new trace
langfuse trace create --name "CreativeTextEvaluation" --dataset "NovelWritingPrompts" --prompt "Write a short story..."