Otwarte wagi to nie to samo co otwarte szkolenie.
@AddieF38654 z naszego zespołu opisała swoje doświadczenia związane z próbą post-szkolenia modelu MoE o 1T parametrach, korzystając z istniejącej infrastruktury open source.
Sprawdźmy, ile monkey-patchy potrzeba, aby post-szkolić model z otwartymi wagami. Wątek🧵