我很高興地宣布專用容器推理 - 這是我在加入 @togethercompute 時非常期待構建的產品之一，現在六個月後我們已經上線了！ 對團隊的巨大讚賞 - 這使得運行密集計算模型的推理變得簡單，例如視頻、音頻和虛擬形象生成，並提供自動擴展、排隊、優先級、指標、日誌等原語。 如果你在這個領域有建設，我很想聽聽你的想法！