#ZeRO

'Пошаговый гайд по DeepSpeed с примерами кода: как масштабировать обучение трансформеров в Colab с помощью ZeRO, смешанной точности и оптимизаций памяти.'