Публикуем всё, что заметили проверки, включая короткие деградации и плановые работы. Время московское. Разбор пишем для инцидентов дольше получаса и для всего, что задело данные.
Повышенная задержка API
11:18-12:00. Медиана ответа на /v1/products выросла до 2,4 с, часть клиентов завершала запросы по своему таймауту. Причина - план запроса, который после ночного роста таблицы остатков перестал попадать в индекс. Добавили индекс по паре контур-обновление, план вернулся, задержка упала до обычной за три минуты.
Разбор инцидента →Плановые работы: перенос хранилища
03:05-03:40. Переносили базу заказов на новый узел. Панель и API отвечали в режиме чтения, приём заказов и выгрузки были приостановлены. Объявляли за пять дней, уложились в окно.
Недоступна загрузка файлов
09:12-09:30. Приём прайсов и изображений отвечал 503: на узле приёма кончилось место, потому что после смены пути временных файлов чистка убирала не тот каталог. Освободили место, поправили путь, добавили проверку свободного места в дежурные оповещения.
Поиск по каталогу возвращал пустую выдачу
12:34-13:26. Перестроение индекса после ночной выгрузки завершилось с ошибкой, и поиск отвечал пустым списком вместо товаров. Карточки и прямые ссылки при этом работали. Подняли индекс из предыдущей сборки, добавили проверку целостности до переключения.
Плановые работы: обновление панели
03:10-03:50. Выкатывали версию панели с миграцией настроек уведомлений. Панель была недоступна, API и вебхуки работали штатно. Объявляли за неделю.
Инциденты старше 12 месяцев из ленты убираются. Нужен разбор по конкретной дате - запросите его из кабинета, мы храним журналы 13 месяцев.