Открытые веса — это не открытое обучение. @AddieF38654 из нашей команды написала о своем опыте попытки дообучить модель MoE с 1T параметрами, используя существующую открытую инфраструктуру. Давайте выясним, сколько monkey-patch'ей потребуется для дообучения модели с открытыми весами. Нить🧵