Англійською мовою: Fluent Bit Logging

Fluent Bit тихо сидить на краю більшості кластерів Kubernetes, збираючи і пересилаючи журнали, і залишається невидимою до тих пір, поки неправильне налаштування конвеєра не скине половину ваших журналів на підлогу. Вміння описати його вхідні дані, фільтри і вихідні дані точно англійською мовою робить зневадження пошкодженого конвеєра з колегою набагато швидше, ніж вказування на файл YAML і сказати «це не працює»

Ключовий словник

** Додаток вводу ** — компонент, який визначає, з якого джерела Fluent Bit зчитує дані журналу, наприклад, зі стандартного виводу контейнера, файла на диску або журналу systemd. “Ми використовуємо додаток вводу tail для перегляду файлів журналу контейнера, але, здається, він ще не підбирає нові підрозділи.”

Filter — стадія обробки, яка змінює, збагачує або відкидає записи журналу, коли вони проходять через конвеєр, наприклад, аналіз JSON або додавання метаданих Kubernetes.

• “Додати тут фільтр kubernetes, щоб кожен рядок журналу був міткою з назвою піду і простором імен перед тим, як він залишить вузол.” *

** Parser** — визначення, яке вказує Fluent Bit, як витягнути структуровані поля з неструктурованого рядка журналу, зазвичай, заснованого на формальному виразі або відомому форматі, наприклад, JSON. “Ці журнали ще не структуровані, тому що ми ніколи не додавали аналізатор — зараз весь рядок знаходиться в одному полі log.”

** Додаток виводу ** — Fluent Bit призначення надсилає оброблені записи до, наприклад, Elasticsearch, контейнера S3 або теми Kafka. “Журнали правильно зчитуються і аналізуються, отже, проблема, мабуть, у додатку виводу — перевірте, чи можна досягти кінцевої точки Elasticsearch з цього вузла.”

** Backpressure ** — стан, коли вивід не може впоратися з обсягом вхідного журналу, що призводить до буферизації, повторних спроб або відкидання записів Fluent Bit залежно від налаштованих обмежень.

• “Ми бачимо, що журнали втрачаються під час піків навантаження, оскільки вивід перевищує допустимий рівень — нам потрібно збільшити розмір буфера або додати повторних спроб.” *

Звичайні фрази

• Який вхідний плагін використовує цей конвеєр для збору журналів?
• Чи можемо ми додати фільтр тут, щоб збагатити ці записи простором імен?»
• «Ці поля не витягуються, тому що аналізатор не відповідає цьому формату журналу.»
• Чи є вихідний плагін насправді доступним, або він беззвучно відмовляється?»
• «Ми можемо вдарити по зворотному тиску — чи можете ви перевірити метрику буфера?»

Приклади висловлювань

Діагностика відсутніх журналів:

• “Додаток вводу читає файли без помилок, але нічого не надходить у поток, тому я підозрюю, що додаток виводу беззвучно відмовляє — давайте перевіримо його метрику повторних спроб.” *

Пояснення зміни конвеєра:

• “Я додав фільтр, який відкидає запити на перевірку стану перед тим, як вони досягнуть виводу, отже, обсяг нашого журналу повинен зменшитися приблизно на тридцять відсотків.” *

Обробка піка навантаження: ” Під час піку трафіку, ми вдарили по зворотному тиску на виході і почали скидати записи — я збільшую буфер і додаю вторинний вихід як резерв.”

Професійні поради

• Назвіть точний додаток вводу, фільтр або додаток виводу, який використовується під час повідомлення про проблему конвеєра — « журналювання пошкоджено » марнує час на зневадження, якого можна уникнути за допомогою « додаток виводу перевищує часовий інтервал ».
• Перевірте, чи дійсно додано ** аналізатор **, перш ніж вважати, що проблема з форматом журналу є вада у програмі — багато з « неправильно сформованих » скарг на журнал є просто відсутніми або не збігаються з аналізатором.
• Використовуйте термін backpressure, особливо, коли об’ єм, а не налаштування, є головною причиною — це говорить команді, щоб вона звернула увагу на пропускну здатність і буферизацію, а не на синтаксис.
• Коли ви пропонуєте зміну конвеєра, описуйте її поетапно — вхід, фільтр, вихід — щоб переглядачі могли обґрунтувати, де саме відбуваються зміни поведінки.

Практичні вправи

1. Поясніть одним реченням різницю між фільтром і додатком виводу у конвеєрі журналу.
2. Опишете, що означає протитиск і один зі способів його зменшення.
3. Напишіть коротке повідомлення до співробітника команди, у якому поясніть, що журнали відсутні, оскільки обробник не відповідає новому формату журналів, і попросіть його поділитись прикладним рядком.

Навігація та зв’язок

Як для не- рідної англійської мови, створення чіткого і ефективного спілкування в технічному середовищі, як Fluent Bit logging може відчуватися особливо складно. Це не просто розуміння технічних термінів; це передавання ваших намірів, прохання про пояснення і надання конструктивного відгуку колегам. Давайте поглянемо, як це перекладається на повсякденні сценарії, з якими ви зіткнетеся.

Однією з поширених ситуацій є отримання коментаря перегляду коду. Уявіть, що колега вказує в описі запиту на завантаження: « Цей фільтр здається надто складним. Чи можемо ми спростити це, просто відкидаючи події з високою тяжкістю? ” Тепер, хоча * технічне * значення “тяжкості ” може бути ясним, сама фраза - особливо “надто складна ” - може відчуватися конфронтаційною, якщо ви не звикли до такого рівня прямої критики. Краще відповідати, зосереджуючись на спільному вирішенні проблем, так: « Дякую за позначення цього! Я сначала хотела, чтобы это было широко освещено. Можемо ми обговорити, що є “високим” подією в цьому контексті? Можливо, ми могли б запропонувати простіший фільтр для низьких пріоритетів і додати більш детальний фільтр пізніше, якщо це буде потрібно. ” Зауважте зміну — це про * розуміння * проблеми, а не захист вашого початкового підходу. Аналогічно, при описі змін в описі PR, бути точним є ключовим. Замість того, щоб сказати « оновлено формат журналу », спробуйте « змінено вивід JSON, щоб включити часові штампи і ідентифікатори кореляції для поліпшення відстежуваності »

Інша поширена ситуація виникає в розмовах Slack. Припустимо, що ви вирішуєте проблему і вам потрібна допомога іншого члена команди. Нечіткий запит на зразок « Флуент- біт не працює » не отримає корисної відповіді. Замість цього, чітко сформулюйте своє запитання: «Я бачу періодичні помилки в журналах Fluent Bit, пов’язані з введенням tcp на порту 12345. Повідомлення про помилку завжди містять « У з’ єднанні відмовлено ». Я перевірив правила брандмауера, і сервер працює, але я підозрюю, що може бути проблема з самим налаштуванням Fluent Bit — зокрема, з параметрами розміру буфера або тайм- аута з’ єднання. » Такий рівень деталізації показує, що ви вже провели деяке дослідження і допоможе вашому колегі швидко зрозуміти проблему. Не забувайте завжди пояснювати * чому * ви вважаєте, що щось може бути не так — це показує ініціативу і зміцнює спільні зусилля.

Нарешті, при документуванні конфігурацій Fluent Bit, чіткість є найважливішою. Уникайте двозначних слів, наприклад, « налаштувати належним чином ». Замість цього використовуйте точну мову: « Налаштувати додаток output для надсилання журналів до Elasticsearch за допомогою формату JSON з полями для часового штампу, рівня журналу і адреси IP джерела ». Таким чином, ви створите загальне розуміння і зменшите потенціал для неправильного тлумачення у подальшому.

fluent-bit -c fluent.conf -q

За допомогою цієї команди можна продемонструвати виконання базової команди Fluent Bit, показати, як ви можете використовувати цю команду для перевірки того, чи працюють ваші налаштування так, як було заплановано після внесення змін. Прапорець -q забезпечує тиху роботу, мінімізуючи вихід під час тестування.