Масштабування сервісів: коли більше інстансів не допомагає
Чому сервіс гальмує за вільного CPU, як інстанси перевантажують БД і що перевірити до автоскейлінгу.
Піковий трафік і дорогі запити
Під час акції оформлення замовлення сповільнюється, хоча CPU застосунку майже вільний. Додавання серверів виглядає логічним, поки кожен новий процес не відкриває ще один пул з’єднань із базою. База отримує більше конкурентної роботи, а замовлення оформлюється ще повільніше. До масштабування з’ясуйте, де запит чекає та що обмежує успішні завершення.
Розділяємо швидкі читання, записи, важкі обчислення та фонові джоби. У кожного класу свій бюджет затримки й ліміт паралельної роботи. Якщо змішати все в середню цифру, дешеві читання сховають повільні звіти, а навантажувальний тест дасть надто оптимістичний результат.
У стабільному потоці 200 RPS за середнього часу запиту 0,2 секунди означають близько 40 запитів у системі одночасно. За двох секунд це вже близько 400. Йдеться про середні величини в усталеному режимі. Формула не рахує p99 і не означає, що нам автоматично потрібні 400 з'єднань із БД.
Де запити чекають
Запит рахує 30 мс, потім 900 мс чекає вільне з'єднання з БД. CPU вільний, користувачу повільно. Нові інстанси додадуть охочих зайняти пул, але база не прискориться. Тому розділяємо виконання й очікування: черга, пул, блокування, виклик апстриму.
На тесті поступово піднімаємо навантаження й шукаємо місце, де throughput перестає рости. Якщо завершень більше не стає, а незавершених запитів дедалі більше, ми вже накопичуємо борг. Довга черга приховує відмову, але додає latency, пам'ять і роботу для клієнтів, які давно закрили сторінку.
Робочий ліміт обираємо нижче точки, де розвалюється час відповіді. Запас потрібен для стрибків і втрати частини ресурсів. Правило "CPU нижче 70%" тут мало допомагає: межа залежить від роботи й того, де запити чекають.
Бюджет з’єднань
Процес має пул до 20 з'єднань. Чотири інстанси можуть відкрити 80, двадцять уже 400. Якщо БД витримує менше, автоскейлінг застосунку впирається в її ліміт. Рахуємо бюджет для всього сервісу, залишаючи місце іншим застосункам, джобам та адмініструванню.
Ще один стопер: локальний стан. Файл залишається на диску одного інстансу, сесія в пам'яті губиться після перемикання, джоба за розкладом стартує в кожному процесі. До додавання реплік вирішуємо, де спільний стан і хто відповідає за фонову роботу.
Пул не збільшуємо автоматично зі зростанням запитів. Більше з'єднань іноді дає більше конкурентної роботи всередині БД і гіршу відповідь. Шукаємо діапазон корисного завершення без зайвого тиску. Для важких джоб та інтерактивного шляху можуть знадобитися різні бюджети, щоб один клас не забрав усе.
Що робити на межі навантаження
Обмежуємо одночасні операції, довжину черги й час очікування. Швидка відмова частині запитів зберігає ресурс для решти. Можна тимчасово не будувати важкі звіти, щоб продовжувати оформлення замовлень. Пріоритети мають відповідати важливості операцій для продукту.
Ретраї без спільного бюджету підсилюють аварію. Якщо на трьох рівнях кожен виклик має до трьох спроб, один запит може дати 27 звернень до останньої залежності. Обираємо відповідального за ретрай, обмежуємо спроби й додаємо backoff із jitter, щоб клієнти не повторювали все одночасно.
Таймаут означає, що ми не дочекалися відповіді. Операція могла завершитися. Для повторного запису потрібні стабільний ключ і захист від дублікатів, пов'язаний зі зміною даних. Ключі в пам'яті процесу не переживуть рестарт. Треба узгоджено зберегти бізнес-результат і можливість повернути його при повторі.
У матеріалі Amazon про load shedding вхідний потік відокремлений від goodput — корисних успішно завершених запитів. Для оформлення замовлення перевіряємо, чи завершуються прийняті операції за перевантаження, а не чи кожен запит потрапляє до черги.
Час на збільшення потужності
Інстанс потрібно запустити, прогріти й допустити до трафіку. Короткий сплеск може закінчитися раніше. Для відомого старту продажу потужність краще підготувати заздалегідь. Для несподіваного піка потрібні ліміти й зрозуміла відповідь, інакше сервіс впаде до появи ресурсів.
Сигнал обираємо під роботу. Воркери можуть чекати БД і майже не витрачати CPU. Для них корисні швидкість надходження, завершення й вік найстарішої задачі. Тисяча легких задач і тисяча хвилинних звітів потребують різної потужності. Нижче за ланцюжком теж є ліміти, тому воркерів не можна додавати безкінечно.
Вимірюємо повну реакцію: збір метрики, рішення контролера, старт, прогрів і готовність. Швидкий контейнер ще не означає швидку корисну потужність. Для важкого прогріву може знадобитися постійний запас. Цю затримку враховуємо в сценарії піка, а не дізнаємося про неї під час запуску.
Перевірте межу під навантаженням
На тесті відтворюємо розміри даних, суміш операцій і поведінку клієнтів після помилки. Потім прибираємо інстанс або сповільнюємо апстрим. Capacity plan, який працює лише в ідеальних умовах, не залишає запасу на відмову.
Порівнюємо успішні операції за секунду, хвіст latency, вартість і відновлення. Фіксуємо умови й знайдену межу. Наступним кроком може бути SQL або пул, а не ще один інстанс. Результат скейлінгу видно в корисній роботі сервісу, а не кількості контейнерів.
Генератор має зберігати потрібний темп за повільних відповідей. Якщо кожен віртуальний клієнт чекає завершення перед новим запитом, зростання latency саме зменшить вхід. Гарний звіт може з'явитися тому, що тест уже не відтворює справжній пік. Модель генерації обираємо явно.
- Відтворіть реальне співвідношення замовлень, читань і звітів. Додайте великі акаунти та холодний старт; фіксуйте вхідний потік разом з успішними завершеннями.
- Вимірюйте виконання, очікування пулу та час залежностей окремо. Спочатку обмежте важкі звіти, зберігши кількість інстансів і початковий потік запитів.
- Якщо оформлення прискорилося, розділіть бюджети інтерактивної та фонової роботи. До додавання процесів обмежте сумарну кількість з’єднань усіх застосунків із базою.
- Сповільніть залежність і приберіть один інстанс. Перевірте, що відмови обмежені, повтори не зростають безкінечно, а прийнята корисна робота завершується.
- Порівняйте throughput, хвостову затримку, відновлення та вартість із початковим станом. Зберігайте зміну, якщо вона покращує результат у записаних умовах тесту.
Читайте також
Як визначити межі MVP і не створити зайвого
Як зібрати перший реліз для перевірки ідеї: розбираємо скоуп, ручну роботу та якість на прикладі сервісу заявок.
Від бізнес-задачі до реалізації: що з'ясувати до розробки
Від запиту на клієнтський кабінет до зрозумілого скоупу, робочої інтеграції та вимірюваного ефекту.