編輯：編輯部 HYj
【新智元導讀】Mistral AI深夜兩彈更新！124B多模態巨無霸大幅超越GPT-4o，還有全新升級的Le Chat完全開放了，Flux影像生成、網絡搜尋、Canvas強大功能，免費用。
Mistral AI終於放大招了！一連釋出兩大更新——
Pixtral Large：前沿級124B多模態模型，用於驅動新Le Chat。
全新Le Chat：具備網頁搜尋、Canvas、影像生成、影像理解等功能——而且所有功能免費提供！
Mistral的CEO兼聯創Arthur Mensch宣布道：「此次釋出是一個重要的裏程碑」！
現已可在官網上體驗Le Chat的使用。
體驗地址：https://chat.mistral.ai/chat
Pixtral Large：地表最強開源多模態來了？
在官博中，研究人員總結了Pixtral Large的5大亮點：
SOTA的多模態效能
在MathVista、DocVQA、VQAv2等任務上達到SOTA水平
在不影響文本處理效能的前提下對Mistral Large 2進行擴充套件
1230億參數的多模態解碼器，10億參數的視覺編碼器
128K上下文視窗長度：可容納至少30張高分辨率影像
具體來說，Pixtral Large是Mistral多模態系列的第二個模型，基於Mistral Large 2構建，有1240億參數。該模型能夠理解文件、圖表和自然影像，同時保持了Mistral Large 2卓越的純文本理解能力。
Pixtral Large擁有128K上下文視窗長度，意味著它可以處理多達30張高分辨率影像或約300頁書籍的輸入，這一能力與OpenAI的GPT系列頂級模型相當。
該模型在Mistral研究特許證（MRL）下可用於研究和教育用途。模型及其權重可在Hugging Face平台上免費下載。
下載地址：https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411/tree/main
效能評測
在評估視覺數據復雜數學推理能力的MathVista測試中，Pixtral Large獲得了69.4的高分，超越了所有其他模型。
在評估復雜圖表和文件推理能力的ChartQA和DocVQA測試中，Pixtral Large超過了GPT-4o和Gemini-1.5 Pro。
最後，Pixtral Large在反映多模態大語言模型實際使用場景的MM-MT-Bench測試中，表現也十分亮眼——憑借著7.4的得分，一舉超越了新版Claude 3.5 Sonnet、Gemini-1.5 Pro和最新的GPT-4o。
定性實驗
1. 多語言OCR和推理
提示：
我買了咖啡和香腸。我需要付多少錢？加上18%的小費。
回答：
要計算包含18%小費的總金額，請按以下步驟：
1. 計算咖啡和香腸的費用：
- 2杯拿鐵瑪奇朵：2 * 4.50 CHF = 9.00 CHF- 1份豬排：22.00 CHF- 咖啡和香腸的總費用：9.00 CHF + 22.00 CHF = 31.00 CHF
2. 計算18%的小費：
- 小費：31.00 CHF * 0.18 = 5.58 CHF
3. 將小費加入總費用：
- 應付總額：31.00 CHF + 5.58 CHF = 36.58 CHF
因此，需要支付總計36.58 CHF。
2. 圖表理解
提示：
dark dragon什麽時候開始出現問題？
回答：
「dark-dragon-50」模型的訓練損失在大約10,000步時開始表現出明顯的不穩定性。在這一點上，損失值表現出明顯的峰值，這種不穩定性持續到大約20,000步時又有另一個主要峰值。這些峰值意味著，「dark-dragon-50」模型的訓練過程在大約10,000步時開始遇到問題。
3. 其他案例
提示：
哪些公司使用Mistral AI開發的模型？
回答：
根據圖片顯示，使用Mistral AI模型的公司包括：BNP Paribas、Brave、Cloudflare、CMA CGM和Front。
「白嫖版」ChatGPT，影像生成搜尋100%免費
全新升級後的Le Chat，能夠支持影像生成、網絡搜尋、Canvas、PDF上傳等強大功能。
關鍵是，完全免費。
你可以將其用作創意夥伴，教它執行特定的任務，並把它作為編碼copilot。
基本上，任何日常中的任務，它都能勝任。
官方博文中，簡要總結了Le Chat新的能力：
帶參照的Web搜尋
用於構思、文內編輯、匯出的Canvas
最先進的文件和影像理解，由Pixtral Large 2加持
影像生成，直達Flux 1.1 Pro
從模型到輸出的全面整合
由推測性編輯（speculative editing）提供更快的響應
那麽，Le Chat和當前備受歡迎的聊天機器人/搜尋助手區別都有哪些：
接下來，具體看下Le Chat帶來的新能力。
網絡搜尋
Le Chat很大一部份使用者是學生和專業人士，將其用於學習、研究和工作。
為了讓其發揮更大的效力，Mistral AI團隊透過互聯網搜尋增強了Le Chat的訓練知識。
而且，它還得到了Pixtral Large 2加持，能夠存取最新知識和事件。
在下面的例項中，一位行銷團隊的成員，用Le Chat來評估醫療保健AI市場。
AI給出的每個結果末，會附上相應的參考來源，供再次查證。
Canvas（畫布）
前段時間，OpenAI曾釋出了Canvas，目的是讓AI與人類在ChatGPT中可以共同協作。
類似地，Le Chat中的Canvas，也充當著這個功能。
當你不僅僅需要的是對話，開始構思時，它會在聊天視窗中彈出。
如下，Mistral AI的產品團隊在為Canvas推出時，建立了一個如何讓大家使用新功能的演示。
左邊的Canvas中給出了關於使用者使用、管理等各種指標。
若是還有另外的要求，直接在右邊的聊天界面要求——用 mockdata建立一個 React 儀表盤，顯示這些指標。
而且，你還可以針對AI生成的程式碼進行再編輯，比如添加文本描述。
透過Canvas你可以建立文件、寫程式碼等等，它能為你提供無限創造性思維。
快速準確理解文件
另外，Le Chat還能處理大型、復雜的PDF文件和影像，並對其進行分析和總結。
具體操作，和大家日常用的其他AI流程一樣。
值得一提的是，它是由最強大的多模態Pixtral Large加持。
不如看看，Le Chat究竟有多強大？
上傳一篇由愛因斯坦、波多爾西和羅森在1935年發表的著名量子纏結論文，裏麪包含了很多復雜的公式。
然後讓AI對論文進行資訊提取、總結，和語意理解。
比如，基本的問題——論文作者是誰，並讓它將論文總結成三段話。
甚至，你可以讓它列出關鍵公式，談談這篇論文影響力。
影像生成
Mistral與Black Forest Labs合作，將他們的影像生成模型FLUX1.1[pro]引入了Le Chat。
FLUX1.1[pro]生成影像風格案例
智能體自動化重復工作流
如果你發現自己經常重復使用某些提示詞，或者發現某些創造性工作的模式可以被自動化，可以將這些工作流程編碼為代理。
常見的使用場景包括，掃描收據進行費用報告、為冗長的會議記錄建立摘要、發票處理。
Le Chat智能體能夠和團隊成員共享，推進工作流程。
你可以建立角色扮演對話智能體。比如讓智能體模仿單口喜劇演員Ali Wong和Jimmy Yang的風格。
你還可以建立一個只說法語的智能體。你需要為這個智能體設定特定的指令，並使用少量範例學習，確保它理解只用法語進行交流的要求。
你還可以建立一個只輸出Python程式碼的智能體，並要求它不提供任何解釋。這在你需要生成可以輕松復制貼上的程式碼片段時非常有用，避免了模型通常提供的額外解釋性文本。
此外，你可以在工作流中利用多個智能體。以下是一個生成數據分析報告的工作流，工作流共包含數據分析規劃、程式碼生成與執行、分析報告總結三步，每一步都有一個單獨的智能體。
數據分析規劃：數據分析規劃智能體編寫一份全面的數據分析計劃，概述分析數據所需的步驟。
程式碼生成與執行：對於分析計劃中的每個步驟，Python智能體生成相應的程式碼。然後，Python智能體執行生成的程式碼，以執行指定的分析。
分析報告總結：基於已執行程式碼的結果，總結智能體編寫一份分析報告。報告總結了從數據分析中得出的發現和洞察。
