#батчинг

Руководство по созданию локальных мультиэндпоинтных ML API с LitServe: примеры батчинга, стриминга, кэширования и мультизадачности с Hugging Face.