Система

Тип среды

Основной механизм устойчивости

Особенности ресурсоиспользования

Cloud-Native архитектура

Облачный кластер

Репликация сервисов, перезапуск контейнеров, распределение входящего трафика.

Масштабирование экземпляров сервиса, применение сервисной сети.

ServerlessLLM

Инференс крупных языковых моделей в бессерверной среде

Многоуровневое хранение чекпоинтов, локальное при-GPU хранилище

Снижение времени холодного старта, уменьшение обращений к удалённому хранилищу

DéjàVu

Распределённый LLM-сервинг

Потоковая передача KV-кэша, раздельная обработка промпта и токенов, репликация состояния

Сокращение простоев стадий конвейерной обработки, экономия GPU-памяти

FailLite

Периферийный сервинг

Гетерогенная репликация, тёплые и холодные реплики, прогрессивное восстановление

Минимизация MTTR при ограниченных ресурсах, управляемая деградация качества

Torpor

Бессерверная платформа с поддержкой графических процессоров

Позднее связывание, перестановка моделей между GPU, интерференционно-учитывающий планировщик

Высокая утилизация GPU, снижение затрат на выделение вычислительных ресурсов.

Hoplite / ExoFlow

Универсальные распределённые системы

Распределённое объектное хранилище, устойчивые коллективные операции, разделение единиц выполнения и восстановления

Снижение накладных расходов на восстановление, поддержка ровно-одного выполнения