Mistral AI 宣布發布其最新模型 Mixtral-8x7B，這是大型語言模型 (LLM) 開發的重大飛躍。
磁鐵:?xt=urn:btih:5546272da9065eddeb6fcd7ffddeef5b75be79a7&dn=mixtral-8x7b-32kseqlen&tr=udp%3A%2F%https://t.co/uV4WVpdeff; Fannounce
發布a6bbd9affe0c2725c1b7410d66833e24
— 米斯特拉爾人工智慧 (@MistralAI) 2023 年 12 月 8 日
什麼是 Mixtral-8x7B？
Mistral AI 的 Mixtral-8x7B 是一種專家混合 (MoE) 模型，旨在改進機器理解和生成文字的方式。
將其視為由專業專家組成的團隊，每個專家專門從事不同的領域，共同管理不同類型的資訊和任務。
據報道，6 月發布的一份報告揭示了OpenAI 的GPT-4 的複雜性，指出它使用與MoE 類似的方法，使用16 名專家，每名專家擁有約1110 億個參數，並且每次路由兩名專家以優化成本。
這種方法允許模型有效地處理多樣化和複雜的數據，使其對於創建內容、參與對話或翻譯語言非常有用。
Mixtral-8x7B 的效能指標
新的 Mistral AI 模型 Mixtral-8x7B 比之前的模型 Mistral-7B-v0.1 向前邁出了重要一步。
它旨在更好地理解和創建文本，這對於任何希望使用人工智慧進行寫作或交流任務的人來說都是一個關鍵功能。
新開權重法學碩士 @MistralAI
params.json：
–hidden_dim / dim = 14336/4096 => 3.5X MLP 擴展
– n_heads / n_kv_heads = 32/8 => 多查詢 4X
–“moe”=> 專家組合 8X 前 2 名👀相關可能代碼：https://t.co/yrqRtYhxKR
奇怪的是缺席：過多的論文…… https://t.co/8PvqdHz1bR pic.twitter.com/xMDRj3WAVh
— 安德烈·卡帕蒂 (@karpathy) 2023 年 12 月 8 日
正如 OpenCompass 分享的那樣，Mistral 系列的最新成員有望透過其改進的效能指標徹底改變 AI 格局。
Mixtral-8x7B 的脫穎而出不僅在於它相對於先前版本的 Mistral AI 的改進，還在於它與 Llama2-70B 和 Qwen-72B 等模型的比較。
這就像擁有一個能夠理解複雜想法並清晰表達的助手。
Mixtral-8x7B 的主要優勢之一是其處理專門任務的能力。
例如，它在旨在評估人工智慧模型的特定測試中表現異常出色，這表明它擅長一般文字理解和生成，並且在更多利基領域表現出色。
這使其成為需要適應不同內容和技術要求的人工智慧的行銷人員和 SEO 專家的寶貴工具。
Mixtral-8x7B 解決複雜數學和編碼問題的能力也表明它可以成為從事 SEO 技術方面工作的人的有用盟友，在這些方面理解和解決演算法挑戰至關重要。
這種新模式可以成為滿足廣泛的策略和數位內容需求的多功能智慧合作夥伴。
如何測試 Mixtral-8x7B：4 個演示
您可以嘗試 Mistral AI 的新模型 Mixtral-8x7B，看看它如何回應查詢以及它相對於其他開源模型和 OpenAI 的 GPT-4 的性能如何。
請注意，與所有生成式人工智慧內容一樣，運行此新模型的平台可能會產生不準確的資訊或意外結果。
使用者對此類新模型的回饋將幫助 Mistral AI 等公司改進未來的版本和模型。
1. 困惑實驗室遊樂場
在 Perplexity Labs，您可以嘗試 Mixtral-8x7B 以及 Meta AI Llama 2、Mistral-7b 和 Perplexity 的新線上法學碩士。
在此範例中，我查詢模型本身，並注意到在初始回應後添加了新指令，以擴展生成的有關我的查詢的內容。
螢幕截圖來自 Perplexity，2023 年 12 月儘管答案看起來是正確的，但它開始重複。
Perplexity Labs 的螢幕截圖，2023 年 12 月該模型為「什麼是 SEO？」這個問題提供了 600 多個字的答案。
同樣，附加指令顯示為“標題”，顯然是為了確保完整的回應。
Perplexity Labs 的螢幕截圖，2023 年 12 月2. 詩
Poe 為流行的 LLM 託管機器人，包括 OpenAI 的 GPT-4 和 DALL·E 3、Meta AI 的 Llama 2 和 Code Llama、Google 的 PaLM 2、Anthropic 的 Claude-instant 和 Claude 2 以及 StableDiffusionXL。
這些機器人涵蓋了廣泛的功能，包括文字、圖像和程式碼生成。
Mixtral-8x7B-Chat 機器人由 Fireworks AI 提供支援。
Poe 螢幕截圖，2023 年 12 月值得注意的是，Fireworks 頁面指定它是一個“非官方實作”，並已針對聊天進行了調整。
當被問及什麼是搜尋引擎優化的最佳反向連結時，他提供了一個有效的答案。
Poe 螢幕截圖，2023 年 12 月將此與 Google Bard 提供的答案進行比較。
來自 Google Bard 的螢幕截圖，2023 年 12 月3.維塞爾
Vercel 提供 Mixtral-8x7B 演示，讓使用者可以比較流行的 Anthropic、Cohere、Meta AI 和 OpenAI 模型的回應。
Vercel 的螢幕截圖，2023 年 12 月它提供了關於每個模型如何解釋和響應用戶問題的有趣視角。
Vercel 的螢幕截圖，2023 年 12 月像許多法學碩士一樣，他偶爾會產生幻覺。
Vercel 的螢幕截圖，2023 年 12 月4. 複製
Replicate 中的 mixtral-8x7b-32 演示是基於此原始程式碼。 自述文件中也指出「推理效率相當低」。
複製螢幕截圖，2023 年 12 月在上面的範例中，Mixtral-8x7B 被描述為遊戲。
結論
最新版本的 Mistral AI 在人工智慧領域樹立了新的基準，提供了改進的效能和多功能性。 但與許多法學碩士一樣，它可能會提供不準確且意想不到的答案。
隨著人工智慧的不斷發展，Mixtral-8x7B 等模型可能成為為行銷和業務設置高級人工智慧工具的不可或缺的一部分。
特色圖片：T. Schneider/Shutterstock
