在現代全球供應鏈中,物流資訊的自動化處理一直是企業數位轉型的核心。專注於航空物流軟體的 IBS Software,每日需處理數以千計的貨運電子郵件,這些郵件不僅格式多樣,更夾雜了英文與日文等多國語言。為了從這些郵件中精準提取出空運提單(AWB)號碼、航班資訊、貨物重量及交貨指示等 23 種關鍵實體資訊,該公司過去面臨著繁重的人力介入與高昂的系統維運成本。
過去,命名實體識別(NER)技術在面對多語系環境時,往往陷入兩難:使用開源模型則架構過於複雜且維護困難;使用現成的大型語言模型雖能維持準確度,但處理龐大數據量時的運算成本又令企業難以負荷。IBS Software 的轉機出現在他們導入了 Amazon Bedrock 的託管式模型蒸餾(Model Distillation)技術。他們利用能力強大的 Amazon Nova Pro 作為「導師模型」,將其複雜的推理與識別能力傳遞給更輕量、反應更快的「學生模型」Amazon Nova Lite。
這項技術演進帶來了極具競爭力的數據表現。根據 IBS Software 的實測,這套經過蒸餾的解決方案在英日雙語環境下的 F1 分數高達 95.085%,這意味著 AI 在實體識別的精準度上已達到生產級別。更令人驚艷的是,由於 Nova Lite 模型所需的運算資源較少,其營運成本與最初的方案相比,足足降低了 14 倍。這證明了企業在導入生成式 AI 時,不必一味追求「最大」的模型,而是可以透過智慧化的模型調優,達到性能與成本的完美平衡。
這項案例對於台灣科技產業,特別是正處於數位轉型深水區的傳統供應鏈與製造業,具有極高的啟發意義。首先,它打破了「高效能必然高成本」的迷思。透過模型蒸餾,企業可以將頂尖模型的能力「濃縮」到專屬的小模型中,在特定任務上展現出超水準的表現。對於需要處理繁雜文書作業、具備多語系溝通需求的台灣進出口貿易業而言,這是一條極具參考價值的路徑。
此外,此案例也顯示出「託管式服務」在加速 AI 落地上的重要性。IBS Software 從複雜的開源架構轉向 AWS 的託管環境,不僅簡化了開發流程,更讓團隊能專注於業務邏輯的優化,而非底層基礎設施的維護。在生成式 AI 競爭進入下半場的今天,如何快速、低成本地將技術轉化為實際的產能提升,將是決定企業競爭力的關鍵。IBS Software 的成功經驗告訴我們,掌握模型蒸餾與輕量化佈署,將是 AI 應用走向大規模商用化的必經之路。