編譯 | Vendii
編輯 | 漠影
智東西9月25日訊息，據TechCrunch本周一報道，MemGPT團隊首次官宣創業。由該團隊創立的Letta公司，推出了一個同名的AI上下文記憶體管理平台Letta。
最近2年，大語言模型快速發展，但受到上下文視窗長度的限制，導致它在多輪對話和文件分析等任務中的適用性較差。
針對這個問題，Letta提出了虛擬上下文管理，這是一個可用在Agent產品中的記憶體管理平台，可讓大語言模型能在有限上下文視窗之外使用更多的上下文。
此外，它還透過將大模型的計算和使用者的數據分離，讓開發者可以靈活地在不同模型提供商之間切換。
Letta平台的前身是加州大學柏克萊分校的一個研究計畫MemGPT。早在去年10月，MemGPT計畫在正式釋出論文和程式碼之前，僅憑一份白皮書就迅速走紅。該計畫正式釋出在GitHub上後，很快就收到11000個星標和1200個Fork。這說明大語言模型上下文記憶體管理一直是AI領域中的痛點問題。
Letta公司由加州大學柏克萊分校的實驗室Sky Computing Lab孵化而成，由柏克萊的博士生Sarah Wooders和Charles Packer於今年創立。該公司目前已經獲得了1000萬美元的種子資金，估值達7000萬美元，投資人包括矽谷大佬Jeff Dean。
官網地址：https://www.letta.com/
一、為大語言模型構建更長的上下文，並讓開發者自由切換基礎模型
在過去的一年中，AI Agent成為了AI領域的新趨勢。這些AI Agent不僅能為使用者規劃任務、進行推理，還能執行復雜的多步驟任務。
同時，基於大語言模型構建的應用程式正在變得越來越復雜。它們不再僅限於生成聊天訊息，還能夠呼叫工具、連線外部資料來源、與其他AI Agent通訊，甚至進行多步驟推理。
然而，傳統的AI應用程式通常缺乏強大的情景記憶和多次互動的連續性。這就像是和只有8秒記憶的金魚聊天：你問它答，但進行了幾輪對話後，它就把最開始的對話內容全忘光了，不能根據之前的對話內容來給你更連貫的回答。
這種「短暫的記憶」限制了AI在進行復雜連續推理時的能力。這種短期記憶的局限，使得模型在處理需要長期上下文的任務時顯得力不從心。
這正是Letta平台致力於解決的問題，它提供了一個用於大語言模型的上下文記憶體管理平台 。
它將大模型的上下文分為主上下文（Main Context）和外部上下文（External Context），其中，主上下文模型可以直接存取和操作，外部上下文則用於儲存不立即需要但可能在將來需要的資訊。
Letta透過特定的記憶體管理演算法，確定什麽時候以及透過什麽方式在主上下文和外部上下文之間移動資訊。
此外， Letta平台可以與任何AI模型相容，保證開發者能夠在數據不遺失的前提下自由更換模型服務，比如OpenAI、Anthropic、Mistral的模型，以及他們自家的模型。
更重要的是， Letta堅持將計畫開源 ，並稱開源是AI應用程式開發者的更佳選擇。閉源模型的API將阻止開發者看到與其推理步驟相關的任何模型輸出。
「我們將自己定位為開源版的‘OpenAI’，」Packer說，「我認為，如果開發人員看不到AI模型內部發生了什麽，尤其是面臨AI幻覺問題的時候；對他們來說，要構建出非常好的AI套用，是非常困難的。」
二、脫胎於高校實驗室計畫，走紅僅憑白皮書，正式釋出時再次受到矚目
加州大學柏克萊分校的實驗室Sky Computing Lab（以下簡稱為「Sky Lab」）由著名教授Ion Stoica領導。該實驗室是RISELab和AMPLab的延續。RISELab和AMPLab曾經孵化了雲端運算公司Databricks、分布式計算公司Anyscale和半導體公司SiFive等。
Sky Lab孵化了許多大語言模型計畫，如Gorilla LLM、vLLM和SGLang。
「在短短一年時間內，實驗室就湧現了大量計畫。而這些計畫的負責人就坐在我們旁邊，」Letta公司的創始人之一Wooders說道，「所以這一年真的是不可思議。」
MemGPT就是這批計畫中的其中一個。它在正式釋出前僅憑借一份白皮書，就在互聯網上引起了廣泛關註。
該計畫的創始人之一Packer在接受TechCrunch采訪時透露道，他們在2023年10月12日釋出了該計畫的白皮書，並計劃在下周一將更詳盡的論文和程式碼釋出到GitHub上。但是，不知道是誰在周日就將白皮書釋出到了Hacker News上，導致MemGPT立馬在Hacker News上迅速走紅。
釋出白皮書的貼文的熱度保持了整整48小時，Packer回憶道。在接下來的幾天裏，他一直在Hacker News上回答網友問題，同時抽時間準備釋出程式碼。
後來，MemGPT在GitHub上正式釋出沒多久，它的連結再次在Hacker News上病毒式傳播。YouTube上的訪談和教程、Medium上的貼文……以及GitHub上的11000個星標和1200個Fork紛至沓來。
來自風投公司Felicis的Myers也是透過閱讀關於MemGPT的文章發現了Wooders和Packer，並立即認識到這項技術的商業潛力。
她告訴TechCrunch，她看完MemGPT的論文就立馬聯系了創始人。
「我們有一個圍繞AI Agent基礎設施的投資主題，並認識到數據和記憶體管理是使這些會話聊天機器人和AI Agent有效的重要組成部份。」
同時，Sky Lab的教授Stoica也為Wooders和Packer引薦了谷歌的Jeff Dean、Hugging Face的Clem Delangue、Runway的Cristóbal Valenzuela以及Anyscale的Robert Nishihara等矽谷知名的天使投資人。
「柏克萊的許多教授因為身處柏克萊，彼此關系密切，」關於獲得投資的順利過程，Packer回憶道，「這些教授時刻關註著實驗室裏有可能商業化的計畫。」
GitHub計畫地址：https://github.com/cpacker/MemGPT
結語：Letta雖受追捧，面臨的競爭也很大
雖然Letta計畫從一開始就受到了極大的關註，並吸引了如Jeff Dean這樣的矽谷AI大佬註資，不過，它面臨的競爭也不小。
比如，LangChain就在做類似的事情，而且已經開始賺錢了。
此外，OpenAI推出的最新模型o1，可能會讓AI上下文「失憶」的問題變得無關緊要。作為一個多步驟推理模型，o1在回復前本就需要保持一定的狀態，以便於進行「思考」和事實核查。
來源：TechCrunch、Letta官網
