Метрики й алерти: що збирати і коли будити команду
Які метрики потрібні сервісу, як читати latency й error budget і чому алерт має вести до дії.
Рахуйте завершені замовлення
Дашборд зелений, процеси працюють, оформлення замовлення відповідає HTTP 200. Клієнти однаково не отримують замовлення: результат оплати не доходить до запису в системі. Моніторинг має бачити завершену роботу клієнта, а не лише здорові компоненти. Почніть із цього результату, потім зберіть сигнали, що пояснюють, чому він не досягається.
SLI вимірює якість, SLO задає ціль. Для прикладу оберемо не менше 99,9% коректних підтверджень за 30 днів. Домовляємося, які спроби входять у розрахунок і який результат є поганим. Інакше зелений графік легко отримати, виключивши зі знаменника проблемні запити.
Поруч тримаємо RPS, помилки, latency та насичення ресурсів. Вони пояснюють потік і наближення до межі. CPU корисний для діагностики, але його високий рівень ще не привід будити чергового. Терміновість залежить від впливу на продукт і часу до погіршення.
Чотири golden signals у Google SRE — трафік, затримка, помилки та насичення ресурсів. Вони пояснюють стан оформлення замовлення; окрема метрика завершення перевіряє, чи отримує клієнт коректне замовлення за обіцяний час.
Затримка, перцентилі й вік черги
Успішні операції й помилки дивимося окремо. Під час аварії швидкі відмови можуть навіть покращити середню latency. Перцентилі показують хвіст, але p99 на малій вибірці сильно коливається. Поруч потрібні трафік і розріз за важливими ендпоінтами.
Середнє p99 кількох інстансів не стає p99 сервісу. Потрібно об'єднати спостереження відповідним способом, наприклад сумісними гістограмами. Межі бакетів обираємо під ціль. Якщо SLO стосується секунди, грубі бакети навколо неї зроблять перевірку неточною.
Для черги мало довжини. Потрібні швидкість надходження й обробки та вік найстарішої задачі. Сто задач можуть зникнути за секунду або висіти годинами. Для періодичної джоби потрібен останній успішний запуск: нуль помилок може означати, що вона взагалі не стартує.
Контролюйте вартість діагностики
Для причин додаємо очікування пулу, блокування, час апстриму, пам'ять і диск. У метрики мають бути зрозуміла одиниця й точка вимірювання. Тоді за повільним замовленням можна побачити, де запит витратив час.
Кардинальність росте з поєднаннями лейблів. 20 маршрутів, п'ять статусів і десять інстансів дають до 1000 комбінацій. User ID змусить кількість рядів рости з аудиторією. Гістограма створює кілька рядів на набір лейблів, тому ціна помилки буде ще вищою.
Для маршруту залишаємо шаблон, наприклад /orders/:id. Конкретний ID і контекст шукаємо в логах або трейсах. Збираємо те, що допомагає розбору: тіло запиту та секрети не стають кориснішими через простоту запису. У моніторингу теж є бюджет зберігання й обробки.
Бюджет помилок для оформлення замовлення
SLO 99,9% залишає 0,1% поганих операцій за вікно. На мільйон запитів це 1000 помилок. Якщо поточна частка виросла до 1%, бюджет витрачається вдесятеро швидше допустимого темпу. Burn rate дорівнює 10.
За рівномірного потоку й вікна 30 днів цей темп витратив би повний бюджет приблизно за три дні. У житті трафік змінюється й частина бюджету вже витрачена. Зіставляємо орієнтир із залишком, масштабом збою та часом на виправлення.
Поєднуємо довге й коротке вікна: перше показує значну витрату, друге перевіряє, чи проблема триває. На малому трафіку потрібні інші умови. Один збій із десяти запитів дає 10%. Враховуємо вибірку, важливість операції та додаткові перевірки, щоб кожна випадковість не стала викликом.
SRE Workbook поєднує довге й коротке вікна: перше показує значну витрату бюджету, друге — проблему, що триває. Для низького трафіку потрібні окремі правила: частка помилок на кількох запитах не рівноцінна сигналу навантаженого checkout.
Коли потрібно будити чергового
Будимо чергового, коли очікування збільшує шкоду й людина може втрутитися. Повільний ріст диска можна спершу розібрати як задачу. Якщо часу до заповнення менше, ніж треба на розширення чи очищення, реакція термінова. Одного відсотка заповнення мало.
В алерті потрібні сценарій, масштаб, початок, відповідальний і runbook. У ньому пишемо перевірку причини, обмеження шкоди та підтвердження відновлення. Порада перезапустити сервіс без пояснення наслідків ризикована: рестарт може обірвати роботу або посилити навантаження на залежності.
Пов'язані симптоми групуємо. Якщо апстрим упав, повідомлення від кожного інстансу не додасть інформації. Приглушення перевіряємо, щоб окрема проблема не зникла за спільним інцидентом. Повтори й ескалація потрібні, якщо перший виклик залишився без відповіді.
Перевірте алерт до першого збою
У тестовому середовищі створюємо відомий збій і проходимо ланцюжок: метрика, правило, доставка, runbook, виявлення відновлення. Окремо перевіряємо зникнення даних і відмову моніторингу. Зламаний збирач може зробити дашборд спокійнішим саме під час аварії.
Після інциденту розбираємо пропущені сигнали, шум і час до корисної дії. З'ясовуємо причину зайвих алертів: поріг, вимірювання або вже непотрібна умова. Просто підняти поріг означає ризик пропустити наступний збій. Оцінюємо моніторинг за тим, чи допоміг він зрозуміти проблему й відновити продукт.
- Визначте коректний результат оформлення та допустимий час. Зафіксуйте враховані спроби, місце вимірювання й збої, яких ця точка спостереження не побачить.
- Розділяйте успіх, збій сервісу та некоректне введення. Не губіть стан платежів у середньому для сервісу, де більшість запитів — швидкі читання каталогу.
- Використовуйте обмежені мітки маршрутів і бакети біля цільової затримки. Історії окремих запитів зберігайте в контрольованих логах або трейсах, а не в мітках метрик.
- Для paging обирайте шкоду, що триває, і корисну дію людини. Поступове зростання навантаження спрямовуйте в задачу, якщо негайне втручання поки не потрібне.
- Створіть відомий безпечний збій і запишіть час вимірювання, спрацювання, доставки та відновлення. Перевірте відсутні дані, групування й ескалацію разом із порогом.
- Після першого інциденту розберіть пропущені сигнали та шум. Спочатку виправте вимірювання або інструкцію реагування, а не просто зміщуйте поріг заради тиші.
Читайте також
Масштабування сервісів: коли більше інстансів не допомагає
Чому сервіс гальмує за вільного CPU, як інстанси перевантажують БД і що перевірити до автоскейлінгу.
Масштабування БД: від запитів до реплік і шардингу
Як знайти межу БД і обрати між оптимізацією запитів, кешем, репліками та шардінгом.