19. 某保險公司導入兩種大型語言模型:第一種回應速度快、成本較低;第二種推理能力較強,但運算成本較高。為了兼顧回覆品質與整體營運成本,技術團隊希望系統自動判斷每次使用者請求應由哪一個模型處理。下列哪一種架構設計最能達成此需求?
(A)負載平衡(Load Balancing),依據各模型伺服器目前的運算負載與網路流量分配請求;
(B)規則式分流(Rule-based Routing),依預先設定的固定條件(例如關鍵字或問題類別)將請求分派至指定模型;
(C)提示詞工程(Prompt Engineering),透過系統提示詞要求使用者先選擇問題類型,再依選擇結果決定使用的模型;
(D)模型路由(Model Routing),先讓模型判斷問題特性,再將請求分派至適合的模型處理

答案:登入後查看
統計: 尚無統計資料