兼顧語言與多模態能力的 NeuPAT 技術：透過神經元塑性分配優化大語言模型擴展

研究發現神經元在多模態學習中具備異質塑性。NeuPAT 框架透過小型探測階段識別關鍵語言神經元並加以保護，同時促進多模態知識學習，有效緩解語言能力衰退問題。

Problem

大型語言模型在擴展為多模態模型（MLLMs）的過程中，常會導致預訓練階段習得的語言理解與邏輯能力大幅衰退。這種現象源於模型內部的適應動態失衡，使得新知識的導入損害了原有的語言智慧。

提出名為 NeuPAT 的神經元感知塑性分配微調框架。該方法透過小規模探測階段（probing stage）分析神經元的適應模式，識別出對保存語言能力至關重要的敏感神經元，並在多模態指令微調期間對不同神經元施加差異化的更新限制，保護關鍵神經元不受干擾。

在 11 個語言評測基準測試中，NeuPAT 成功恢復了因傳統微調所導致的 94.5% 語言能力衰退。同時，模型在多模態任務上依然維持與原生方法相當的表現，證明了該框架在跨模態擴展上具備卓越的平衡能力。

這項研究提供了一種輕量級且不限模型架構的解決方案，解決了多模態模型開發中「遺忘語言知識」的痛點。它揭示了神經元層級的異質性在模型擴展中的重要角色，為未來打造全能型人工智慧提供了高效的優化路徑。