輝達推Switchyard路由器 按任務分配AI模型降成本

輝達推Switchyard路由器 按任務分配AI模型降成本

晶片巨頭輝達(Nvidia)8月11日發布開源路由器NeMo Switchyard,可為人工智能(AI)代理工作流程的每個步驟,分配最合適的模型執行,聲稱能將任務成本降至約三分之一。

輝達同時推出Nemotron 3.5 Lightning,這是一款300億參數的開放混合專家模型(Mixture-of-Experts,即由多個專門子模型組成,按任務動態調用),專為高流量、專門化的代理任務而設。據輝達稱,Lightning的輸出速度較同級模型快最多4倍,代理任務完成速度較Qwen3.6-35B快約30%,且準確度相若。

輝達表示,透過Switchyard配對使用,組合可在維持前沿水平任務完成率的同時,將基準測試成本降至僅運行Opus 4.8的約三分之一。

此次發布正值開源模型競爭加劇之際。阿里巴巴、月之暗面(Moonshot)、智譜及DeepSeek自春季以來均推出具競爭力的開源模型,部分更貼近前沿(即頂尖)表現。Meta亦發布了自家300億參數的開源代理模型Muse Glimmer。輝達表示,同時在模型層及路由層應用開源技術,才是真正降低代理式AI成本的關鍵。有業界分析指出,開源權重已從差異化優勢變成基本門檻,輝達此次發布正處於這一轉變之中。

留言