热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币，引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
Ahmad
人工智能研究员和软件工程师，肩负构建 DGX B200 GPU 集群的使命
温馨提示：没人应该使用 ollama
> 在 Windows 上比 llama.cpp 慢
> 在 Mac 上比 mlx 慢
> 无用的包装器
> 代码窃贼
替代方案？
> lmstudio
> llama.cpp
> exllamav2/v3
> vllm
> sglang
> trt-llm
实际上，任何东西都比 ollama 好。
12 小时前
终于拿到了大货。
Qwen3.5-122B-A10B — 1220亿参数。对于任何单一消费者GPU来说都太大了。
所以我租了4个每种……然后再加一张专业卡，看看蛮力是否真的重要。
- 1x RTX PRO 6000 (96GB): 101.4 tok/s
- 4x 5090 (128GB): 87.0 tok/s
- 4x 4090 (96GB): 25.1 tok/s
- 4x 3090 (96GB): 20.8 tok/s
一张价值$8,500的卡打败了四张RTX 5090。
6
热门
排行
收藏