Tproger
Как встроить локальную LLM в прод: от выбора модели до мониторинга токенов
Разбираемся, как поднять локальную LLM в продакшне: от выбора модели и расчёта VRAM до настройки инференса через vLLM, распределения нагрузки, монитор...