На канале DS Talks разбирали статью GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection.

Youtube

Слайды: galore.pdf

Текстовая расшифровка будет, как только руки дойдут ;-)