🚨 本地 AI 的第一个问题现在已经解决。 有一个新工具叫做 llmfit,它会检查你的硬件,并告诉你哪些模型在下载之前运行良好。 所以,不再是猜测和遇到内存不足的错误……它会根据你的机器提供一个排名列表。 它的功能(只需一条命令): → 扫描你的设置(RAM / CPU / GPU / VRAM) → 评估模型的质量、速度、适配性和上下文 → 自动选择最佳量化 → 标记理想、可以接受和临界的模型 我最喜欢的部分:它正确处理 MoE 模型。 示例:Mixtral 8x7B 具有 ~46.7B 的总参数,但每个 token 只有 ~12.9B 是活跃的,而 llmfit 考虑到了这一点(很多工具仍然没有)。 100% 开源。