在《經理人》8 月號的專欄中，我提到語境工程（context engineering）的重要，可以幫助 AI 提升回答的準確性，語境指的是圍繞著一段對話或任務的背景資訊，包括之前的對話歷史、系統設定、相關資料與環境因素。
這期專欄，我將深入說明，語境當中「記憶」與「調用工具」的面向。人類能夠理解談話，是因為我們記得剛剛說過的內容，能持續更新與回溯語意脈絡。這依賴我們大腦強大的即時讀寫能力：可以即時記住一段話的意義、暫存訊息、根據新的情境即時修正觀點。
相較之下，AI 模型的記憶是靜態的。它的大腦，也就是神經網路的權重，只能在訓練階段進行更新，在實際使用時是「只讀取不寫入」的。也就是說，它無法像人類一樣，在對話中臨時記住一件事，除非我們給它一個「可以臨時寫入」的機制。
以記憶系統輔助，及時自我修正
這就是為什麼我們需要設計多層次的記憶系統來輔助 AI，包括：
1. 短期記憶（context window）： 像人類的大腦暫存區，用來記住當下對話的內容，讓AI能根據剛剛的上下文來延續對話。目前這個「記憶窗口」的容量已可擴展到幾萬、甚至十幾萬token。
2. 中期記憶（會話歷程）： 語言模型透過多次對話，找出你的個人性和特殊性，比如記得你之前提過的想法。
3. 長期記憶： 包含2部分，一是訓練中學到的知識，屬於不可變的硬記憶；二是現在ChatGPT提供的全域記憶功能，能記住你過去多次對話中的風格、偏好與主題，作為下一次互動的參考。
4. 程序性記憶： AI也學會了某些固定的操作與思維模式，像是如何推理、怎麼寫摘要、如何翻譯等內建的技能模式。
這樣的記憶架構，不僅補上了模型「不能動態寫入」的缺陷，也讓AI更像人類──能記得內容、跟得上邏輯、延續上下文、逐步建立理解。
透過調度工具，延伸出多重能力
另一方面，AI 跟人類一樣，都需要「學會使用工具」。語言模型的知識具有時間與範圍上的限制，無法即時得知像是「川普是否已連任」這類最新資訊，也無法直接存取內部文件、外部系統。這時候，就需要透過工具來延伸它的能力。每個工具本質上就是一個程式函數，有明確的輸入與輸出。整個使用流程大致如下：
- 理解有哪些可用工具
- 根據任務挑選最合適的工具
- 根據問題生成工具輸入（如搜尋關鍵字）
- 執行工具，並將輸出結果納入上文
舉例來說，查詢「川普是否連任」，AI 會選擇搜尋工具 → 生成查詢詞 → 執行查詢 → 將查到的結果納入語境，再據此產出回答。這個過程讓 AI 不再只仰賴過去的記憶，而是根據最新的資料回答問題。
但即使引入了工具，AI 的核心運作邏輯並沒有改變：它依然是根據上文來預測下一個 token。不同的是，這個「上文」現在可能包含了可用的工具清單、工具查回來的資訊。工具的調用結果會被視為新的語境，納入語言模型中，影響它後續生成的答案。這代表工具不是額外的附加邏輯，而是直接參與了生成機制，是「預測下文」這個框架的延伸與擴張。
這也就是為什麼我們會看到一些 AI 平台可以「連接外部插件」或「調用網路服務」，這些都是利用工具調用來增加AI的資訊來源，讓回答更即時且精確。
當 AI 具備了強大的記憶系統和工具調用能力後，最關鍵的挑戰變成：如何讓複雜的智慧變得易用？
《韓詩外傳》卷三曰：「博聞強記者，守之以淺。」古人提醒我們：即使學問淵博、記憶驚人，也別逞深奧於日常對話與教學，而應以平易近人的方式傳遞精華。對沒有大腦、卻能吞吐龐大資料的 AI 而言，更需如此──底層可以博聞強記，但面向使用者時，必須守之以淺，說得短、講得明。最成功的 AI 產品，都懂得在後台處理複雜邏輯，在前台呈現簡潔體驗。
核稿編輯：張玉琦
