热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
🚨 本地 AI 的第一个问题现在已经解决。
有一个新工具叫做 llmfit,它会检查你的硬件,并告诉你哪些模型在下载之前运行良好。
所以,不再是猜测和遇到内存不足的错误……它会根据你的机器提供一个排名列表。
它的功能(只需一条命令):
→ 扫描你的设置(RAM / CPU / GPU / VRAM)
→ 评估模型的质量、速度、适配性和上下文
→ 自动选择最佳量化
→ 标记理想、可以接受和临界的模型
我最喜欢的部分:它正确处理 MoE 模型。
示例:Mixtral 8x7B 具有 ~46.7B 的总参数,但每个 token 只有 ~12.9B 是活跃的,而 llmfit 考虑到了这一点(很多工具仍然没有)。
100% 开源。

热门
排行
收藏
