我很高興地宣布專用容器推理 - 這是我在加入 @togethercompute 時非常期待構建的產品之一,現在六個月後我們已經上線了! 對團隊的巨大讚賞 - 這使得運行密集計算模型的推理變得簡單,例如視頻、音頻和虛擬形象生成,並提供自動擴展、排隊、優先級、指標、日誌等原語。 如果你在這個領域有建設,我很想聽聽你的想法!