🚨 ローカルAIに関する#1の問題は今や解決しました。 llmfitという新しいツールがあり、ダウンロード前にハードウェアをチェックして、どのモデルが動作するかを教えてくれます。 だから推測してメモリ外のエラーを出す代わりに...マシンに基づいたランキングリストが表示されます。 このコマンドの効果(1つのコマンドで): →セットアップ(RAM / CPU / GPU / VRAM)をスキャンします。 →はモデルの品質、速度、適合性、文脈を評価します →は自動的に最適な量子化を選択します →理想、問題ない、境界性障害にラベルを貼ります 一番気に入っているのは、MoEモデルを正しく扱っていることです。 例:Mixtral 8x7Bの合計パラメータ数は~46.7Bですが、トークンあたりアクティブなのは~12.9Bのみで、llmfitはそれを考慮しています(多くのツールはまだ対応していません)。 100%オープンソース。