Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
🚨 O problema nº 1 com a IA local está agora resolvido.
Há uma nova ferramenta chamada llmfit que verifica o seu hardware e diz-lhe quais modelos funcionarão bem antes de descarregar qualquer coisa.
Assim, em vez de adivinhar e enfrentar erros de falta de memória... ela fornece uma lista classificada com base na sua máquina.
O que ela faz (num único comando):
→ escaneia a sua configuração (RAM / CPU / GPU / VRAM)
→ avalia modelos quanto à qualidade, velocidade, adequação e contexto
→ seleciona a melhor quantização automaticamente
→ rotula o que é ideal vs aceitável vs limite
A parte que mais gosto: ela lida corretamente com modelos MoE.
Exemplo: Mixtral 8x7B tem ~46.7B de parâmetros totais, mas apenas ~12.9B estão ativos por token, e o llmfit leva isso em conta (muitas ferramentas ainda não o fazem).
100% Open source.

Top
Classificação
Favoritos
