首頁(yè) > 科技要聞 > 科技> 正文

全球首個(gè)全模態(tài)理解開(kāi)源端模型：長(zhǎng)語(yǔ)音自動(dòng)總結(jié)，圖文音啥都會(huì)！300%推理速度領(lǐng)先，來(lái)自無(wú)問(wèn)芯穹

量子位 整合編輯：太平洋科技 發(fā)布于：2024-12-19 16:21

全球首個(gè)端側(cè)全模態(tài)理解開(kāi)源模型來(lái)了！

在菜單里幫忙選奶茶，不在話下：

還能幫忙輕松提煉長(zhǎng)語(yǔ)音，再也不用對(duì)著一串幾十秒語(yǔ)音頭皮發(fā)麻（doge）。

就在剛剛，無(wú)問(wèn)芯穹宣布開(kāi)源目前世界上首個(gè)端側(cè)全模態(tài)理解的開(kāi)源模型Megrez-3B-Omni，不僅體積輕巧，速度飛快，更是一個(gè)多才多藝的全能選手，能夠輕松處理圖片、音頻、文本三種模態(tài)數(shù)據(jù)。

在眾多測(cè)評(píng)基準(zhǔn)中，Megrez-3B-Omni在圖片、文本、音頻三個(gè)模態(tài)中均取得了同尺寸下最優(yōu)性能。作為一個(gè)3B模型，綜合性能表現(xiàn)甚至能超過(guò)34B模型。

具體來(lái)說(shuō)，Megrez-3B-Omni采用了專(zhuān)為手機(jī)、平板等端側(cè)設(shè)備量身定制的30億參數(shù)黃金尺寸，主干網(wǎng)絡(luò)參數(shù)規(guī)模更是僅有2.3B，精度超越了上一代14B模型，最大推理速度更是比同精度模型快達(dá)300%。

一起來(lái)看更多技術(shù)細(xì)節(jié)~

圖像理解

在圖像理解方面，Megrez-3B-Omni作為一個(gè)體積僅為3B的模型，其綜合性能表現(xiàn)可以全面超過(guò)34B的龐然大物，是目前OpenCompass、MME、MMMU、OCRBench等多個(gè)主流測(cè)試集上精度最高的圖像理解模型之一。

與此同時(shí)，Megrez-3B-Omni 在場(chǎng)景理解、OCR等任務(wù)上也具有良好表現(xiàn)，能夠準(zhǔn)確洞察和分析任意比例尺寸圖像中的場(chǎng)景內(nèi)容，并高效地從中提取文本信息，且無(wú)論是模糊的印刷體還是復(fù)雜的手寫(xiě)字，都能夠輕松識(shí)別。

不僅能理解手機(jī)屏幕上的信息，給定條件輔助商品挑選。

讀取手寫(xiě)字體，一樣輕松搞定：

文本理解

在文本理解方面，作為全模態(tài)理解模型，Megrez-3B-Omni在沒(méi)有犧牲模型的文本處理能力的前提下，將上一代14B大模型的優(yōu)秀能力壓縮至3B規(guī)模，顯著降低了計(jì)算成本、提升了計(jì)算效率。

在C-EVAL、MMLU/MMLU Pro、AlignBench等多個(gè)權(quán)威測(cè)試集上更是取得端上模型最優(yōu)精度，在文本理解方面確立了全球領(lǐng)先地位。同時(shí)，以更少的資源消耗，實(shí)現(xiàn)了更高的性能輸出，為端側(cè)設(shè)備的智能化提供了進(jìn)一步突破精度與速度邊界的全新可能。

de個(gè)Bug，成功：

緊急處理備忘錄中的資料，也沒(méi)問(wèn)題：

音頻理解

在語(yǔ)音理解方面，Megrez-3B-Omni的效果比肩行業(yè)主流方案。Megrez-3B-Omni不僅支持中文和英文的語(yǔ)音輸入，還能夠處理復(fù)雜的多輪對(duì)話場(chǎng)景，更能支持對(duì)輸入圖片或文字的語(yǔ)音提問(wèn)。

用戶(hù)就任意模態(tài)內(nèi)容，發(fā)出語(yǔ)音指令，Megrez-3B-Omni就能根據(jù)語(yǔ)音指令直接響應(yīng)文本，實(shí)現(xiàn)多輪對(duì)話中語(yǔ)音與文本輸入的自由切換，讓用戶(hù)可以通過(guò)更少動(dòng)作與模型展開(kāi)更直觀、自然的交互。

遇到客戶(hù)的超長(zhǎng)語(yǔ)音連擊也不怕了：

支持語(yǔ)音問(wèn)圖，還能聽(tīng)口令寫(xiě)小作文：

推理效率高，應(yīng)用場(chǎng)景靈活

模型的規(guī)模并不是決定其速度的唯一因素，因此模型小并不一定就意味著速度快。憑借對(duì)硬件特性的深入理解與利用，Megrez-3B-Omni 通過(guò)軟硬件協(xié)同優(yōu)化策略，確保了各參數(shù)與主流硬件高度適配，以實(shí)現(xiàn)硬件性能的利用最大化。

與上一代及其他端側(cè)大語(yǔ)言模型相比，單模態(tài)LLM版本的Megrez-3B-Instruct 在推理速度上取得了顯著提升，最大推理速度可以領(lǐng)先同精度模型300%。

Megrez-3B-Instruct這次還特別提供了WebSearch功能，這一功能使得模型能夠智能地判斷何時(shí)需要調(diào)用外部工具進(jìn)行網(wǎng)頁(yè)搜索，輔助回答用戶(hù)的問(wèn)題。用戶(hù)得以構(gòu)建屬于自己AI搜索，通過(guò)網(wǎng)絡(luò)獲取最新信息，克服小模型的幻覺(jué)問(wèn)題和知識(shí)儲(chǔ)備不足的局限。

有時(shí)，模型通過(guò)搜索網(wǎng)頁(yè)可以更全面地完成回答，而其他時(shí)候，模型自身已具備足夠的知識(shí)來(lái)獨(dú)立解決問(wèn)題，過(guò)多的搜索調(diào)用可能會(huì)降低推理速度和效果。Megrez-3B-Instruct 通過(guò)在搜索和對(duì)話之間智能切換，避免了過(guò)度依賴(lài)搜索或完全不調(diào)用搜索的問(wèn)題。除了可以自動(dòng)決策工具調(diào)用時(shí)機(jī)之外，Megrez-3B-Instruct 還具備上下文理解性能優(yōu)異、可提供帶參考信息的結(jié)構(gòu)化輸出等優(yōu)勢(shì)。

目前，這些能力已集成于Megrez-3B-Instruct 模型中，用戶(hù)可以通過(guò)System Prompt 自由切換，同時(shí)享受到高精度模型推理能力與智能WebSearch 調(diào)用收益。

One More Thing

相較于云端大模型，端側(cè)模型需要在資源有限的設(shè)備上快速部署、高效運(yùn)行，對(duì)降低模型計(jì)算和存儲(chǔ)需求提出更高要求。

無(wú)問(wèn)芯穹技術(shù)團(tuán)隊(duì)源起于清華大學(xué)電子工程系NICS-EFC實(shí)驗(yàn)室，在模型壓縮、推理加速及硬件能耗優(yōu)化等領(lǐng)域擁有深入的學(xué)術(shù)研究和深厚的工程實(shí)踐經(jīng)驗(yàn)，正是模型輕量化、軟硬件協(xié)同優(yōu)化領(lǐng)域的頂尖團(tuán)隊(duì)。

無(wú)問(wèn)芯穹表示，Megrez-3B-Omni是一個(gè)能力預(yù)覽，接下來(lái)還將持續(xù)迭代Megrez系列，提升自動(dòng)化水平至“edge device use”效果，讓用戶(hù)只需要給出簡(jiǎn)單的語(yǔ)音指令，就可完成端設(shè)備的設(shè)置或應(yīng)用操作，并將它作為“端模型+端軟件+端IP”端上智能一體化解決方案的重要構(gòu)成推向市場(chǎng)。目前，無(wú)問(wèn)芯穹就該一體化方案已與多家知名智能設(shè)備和終端芯片廠商展開(kāi)合作。

在這個(gè)方案中，除端側(cè)全模態(tài)理解模型外，還有端上推理軟件和IP設(shè)計(jì)方案，不僅支持CPU、GPU和NPU 的同時(shí)推理，更能通過(guò)跨越軟硬件層次的系統(tǒng)優(yōu)化，額外帶來(lái)最高可達(dá)70%的性能提升，最大化端側(cè)硬件性能的利用。

對(duì)那些久困于功耗、速度、續(xù)航以及智能效果的端側(cè)設(shè)備來(lái)說(shuō)，這意味著，效果更佳的智能升級(jí)成為可能。

Github： https://github.com/infinigence/Infini-Megrez
HuggingFace：https://huggingface.co/Infinigence/Megrez-3B-Omni
登錄Infini-AI異構(gòu)云體驗(yàn)純語(yǔ)言版本Megrez-3B-Instruct：https://cloud.infini-ai.com/genstudio/model/mo-c73owqiotql7lozr

本文來(lái)源：量子位

網(wǎng)友評(píng)論

聚超值•精選

推薦 手機(jī) 筆記本 影像 硬件 家居 商用 企業(yè) 出行 未來(lái)
    • 二維碼 回到頂部