今天的第三屆OPPO未來科技大會（OPPO INNO DAY 2021）上，OPPO芯片產(chǎn)品高級總監(jiān)姜波揭秘了其歷時近兩年研發(fā)的首個自研芯片馬里亞納 MariSilicon X。馬里亞納 MariSilicon X是一個影像專用NPU（神經(jīng)網(wǎng)絡(luò)處理器），采用臺積電6nm工藝，AI算力高達18TOPS，比蘋果最新的A15 15.8TOPS的AI性能還高，同時，MariSilicon X能效比達到了11.6TOPS/W。

訪問：

阿里云“超品周”啟動 熱銷云產(chǎn)品4折起 域名新注1元購

訪問購買頁面:

OPPO自營旗艦店

OPPO芯片產(chǎn)品高級總監(jiān)姜波在發(fā)布會上展示馬里亞納 MariSilicon X芯片

作為一家手機終端公司，OPPO竟然在首個自研芯片上就挑戰(zhàn)業(yè)內(nèi)頂尖的6nm工藝，并且NPU的性能和能效比也達到了業(yè)界領(lǐng)先水平，這不禁讓人好奇，OPPO自研芯片的決心從何而來？

從最直觀的產(chǎn)品的層面看，馬里亞納 MariSilicon X將搭載在OPPO明年第一季度發(fā)布的Find系列旗艦手機上，會為消費者帶來突破性的視頻拍攝功能。

馬里亞納 MariSilicon X影像專用NPU

從技術(shù)層面細細解讀，將會發(fā)現(xiàn)馬里亞納 MariSilicon X背后，藏著OPPO的計算攝影秘密，以及這家志在探索未來的企業(yè)對新十年技術(shù)發(fā)展趨勢的判斷。

為什么是影像專用NPU？

當(dāng)市場的競爭更加激烈，智能手機的創(chuàng)新越來越難之時，全球手機出貨量前五的手機廠商們都希望通過自研芯片，用更好的軟硬協(xié)同，實現(xiàn)差異化的功能和體驗，獲得消費者的青睞。

差異化競爭的焦點，是消費者最容易感知的影像功能。自2018年開始，手機行業(yè)對于AI影像功能的關(guān)注只增不減。2020騰訊手機行業(yè)洞察白皮書指出，消費者對攝像頭、電池的關(guān)注度顯著提升，其中攝像頭的關(guān)注度增長率僅次于操作系統(tǒng)。

手機影像系統(tǒng)是一個很長的鏈條，包括前端傳感器、鏡頭、馬達，承載圖像處理的ISP芯片，以及后端標(biāo)定和調(diào)優(yōu)等過程。手機巨頭們在整個影像系統(tǒng)上都爭相布局，比如，OPPO過去十年，在定制圖像傳感器、攝像頭模組、鏡頭方面有大量積累，還基于通用SoC平臺積累了許多AI算法。

“手機業(yè)界已經(jīng)發(fā)現(xiàn)在AI算力的支持下，AI算法已經(jīng)超越傳統(tǒng)ISP算法的效果。因此，目前主流的趨勢是用AI算法替代傳統(tǒng)算法?！睋碛惺嗄陥D像處理領(lǐng)域豐富經(jīng)驗的愛芯元智ISP負責(zé)人、系統(tǒng)架構(gòu)師張興對雷峰網(wǎng)說，“手機廠商已經(jīng)在拍照中享受到了AI算法帶來的好處，包括超級夜景、AI美顏等功能，從趨勢來看未來幾年，AI拍照最火的幾個功能會從拍照推向視頻。這就需要一顆高效的芯片，將AI算法和傳統(tǒng)ISP進行更好結(jié)合。”

將算力、AI與拍照和攝影融合，都代表著手機行業(yè)一個重要的趨勢——計算攝影。所謂的計算攝影，是利用數(shù)字計算而非傳統(tǒng)的光學(xué)處理的圖像。比如超級夜景功能，利用高算力以及AI降噪算法等，將拍攝的多張照片合成為同一張，輸出一張明亮清晰的照片。

從谷歌、蘋果，到OPPO，整個手機業(yè)界的領(lǐng)導(dǎo)者都在通過計算攝影不斷突破手機攝影能力的上限。

不過，通用SoC并不能完全滿足計算攝影的需求。OPPO芯片產(chǎn)品高級總監(jiān)姜波指出，“我們的AI降噪算法在Find X3 Pro的芯片平臺上，在功耗接近1.7瓦的時候，最多可以處理2幀圖像，這意味著AI降噪只能應(yīng)用到暗光拍照，沒辦法在最低要求是30fps的視頻中應(yīng)用?！?/strong>

安謀科技高級產(chǎn)品經(jīng)理柴衛(wèi)華也說，“隨著短視頻的需求發(fā)展，手機也越來越重視視頻拍攝的性能。要實時處理4K甚至8K視頻的海量數(shù)據(jù)，呈現(xiàn)完美的影像效果，處理器性能、算法優(yōu)異、存儲帶寬和與系統(tǒng)延遲都是挑戰(zhàn)。”

通用SoC限制AI算法性能的同時，也限制了定制傳感器和鏡頭性能的發(fā)揮。

原因主要有兩方面，一方面，定制傳感器的周期較短，但通用SoC的更新以年為周期，兩者在時間上難以匹配。另一方面，采用定制傳感器，整個圖像處理鏈路需要進行優(yōu)化增強，但定制傳感器和通用SoC很難實現(xiàn)緊密耦合，也就難以發(fā)揮最大效益。

已經(jīng)擁有定制傳感器和AI算法積累的OPPO，想要進一步提升影像性能，在計算攝影將占主導(dǎo)地位的競爭中，自然需要一顆影像專用NPU幫助其實現(xiàn)影像鏈路的垂直整合，進一步實現(xiàn)突破。

“垂直整合最難的就是最開始對用戶需求的判斷，如果判斷失誤，會影響后續(xù)芯片設(shè)計以及所有的配合設(shè)計工作。”姜波說：“得益于OPPO在移動智能設(shè)備多年的經(jīng)驗，我們清楚知道消費者的真實需求。”

馬里亞納 MariSilicon X補足了OPPO在影像計算單元上的最后短板——缺乏可控的影像專用處理器。

之所以定位于影像專用，沒有加入包括顯示在內(nèi)的更多功能，姜波說：“這是我們的首款自研芯片，要集中在價值最大的功能點上?！?/p>

計算攝影如何突破手機攝影極限？

芯片的定位明確之后，具體參數(shù)定義也極為關(guān)鍵。這其中有兩大關(guān)鍵挑戰(zhàn)，一個自研芯片能夠帶來的性能和體驗提升，一定要優(yōu)于通用SoC；另一個是手機整機的功耗控制。

要解決這兩大挑戰(zhàn)，就不得不自研這個NPU上的幾大核心IP。姜波透露，“剛開始，我們也評估了一些可以購買的第三方IP，但最終發(fā)現(xiàn)沒有一個NPU可以與OPPO的場景算法結(jié)合，達到最優(yōu)能耗功率，因此選擇了從頭開始自研NPU?！?/strong>

張興也持同樣的觀點，“要充分發(fā)揮NPU算力與ISP結(jié)合的價值，需要在設(shè)計的最初就將兩個IP結(jié)合起來設(shè)計。如果是買來的IP，兩者結(jié)合實現(xiàn)好的功能難度很大，即便實現(xiàn)，也會有大量的功耗和芯片面積的浪費?！?/p>

因此，馬里亞納 MariSilicon X中的兩大關(guān)鍵IP，MariNeuro AI計算單元和MariLumi影像處理單元均是OPPO自研，分別負責(zé)提供高AI算力和更好的影像處理性能，也是計算攝影的關(guān)鍵。

AI算力部分，馬里亞納 MariSilicon X的int8性能高達18 TOPS。之所以要定義一款在終端如此高性能的NPU，原因就是前面提到的馬里亞納 MariSilicon X要有足夠的性能帶來比通用SoC更好的性能和體驗，特別是將AI融入視頻拍攝中。

“在視頻應(yīng)用領(lǐng)域，效果稍微好的AI降噪算法，實時處理1080p@30fps視頻就需要10TOPS以上的算力，目前這種應(yīng)用方案還比較少?！眱|智電子創(chuàng)始人兼CEO陳峰指出。

如果沒有能耗約束，實現(xiàn)高AI性能并不難，但手機處理器的設(shè)計，難點在于能耗比。

要實現(xiàn)高能耗比，芯片制程的選擇、架構(gòu)的設(shè)計、性能與功耗的取舍等都非常重要。這也是馬里亞納 MariSilicon X雖然是OPPO的首個自研芯片，但是選擇了臺積電先進的6nm工藝的關(guān)鍵原因。要知道，設(shè)計的芯片工藝越先進，對設(shè)計團隊的要求越高。如果第一次就想成功，也需要一些運氣，而OPPO的馬里亞納 MariSilicon X首次流片就成功。

另外，NPU提升能效比還有一個瓶頸——內(nèi)存墻。在AI芯片發(fā)展幾年之后，業(yè)界都意識到，NPU數(shù)據(jù)搬運消耗的能耗遠高于數(shù)據(jù)處理。為此，馬里亞納 MariSilicon X集成奢侈的雙層存儲，包括萬億比特/秒（Tb/s）級讀寫速度的內(nèi)存子系統(tǒng)，以及8.5GB/s的獨立DDR帶寬的方式，為AI的高效運算提供充分的內(nèi)存讀寫支持，在有效減少數(shù)據(jù)搬運的同時提升能效比。

最終，馬里亞納 MariSilicon X在實現(xiàn)18TOPS高算力的同時，擁有11.6TOPS/W的極致能效比表現(xiàn)，運行OPPO AI降噪模型的速度是達到Find X3 Pro（驍龍888）的20倍，能效達到40倍，在業(yè)界屬于領(lǐng)先水平。

芯片行業(yè)有這樣一句話，“算力代表一切?！?/p>

實現(xiàn)了高算力和極致能效比的兼顧，馬里亞納 X發(fā)揮自研MariNeuro和MariLumi聯(lián)合設(shè)計的獨特優(yōu)勢，最高支持人眼級別的20bit Ultra HDR，能覆蓋100萬：1的最大亮度范圍，是目前行業(yè)主流HDR能力的4倍，比最新發(fā)布的旗艦通用SoC支持的18bit HDR更加極致。

傳統(tǒng)來講，HDR是在YUV里合成的，經(jīng)過RGB和YUV的轉(zhuǎn)換，會損失大量的圖像信息。

馬里亞納 MariSilicon X幫助OPPO首次完成影像鏈路的垂直整合，就可以重塑轉(zhuǎn)換鏈路，將處理節(jié)點前置在信息量100%的RAW域直接做實時計算，20bit RAW實時計算，能夠帶來畫質(zhì)的顯著提升。

馬里亞納 MariSilicon X支持20bit HDR，高于最新旗艦SoC的18bit。通用SoC落后于馬里亞納 MariSilicon X的規(guī)格，是否會成為限制這款OPPO首個自研芯片發(fā)揮性能的瓶頸？姜波對雷峰網(wǎng)(公眾號：雷峰網(wǎng))解釋，“由于馬里亞納 MariSilicon X是在手機SoC之前處理，我們的NPU處理完HDR、AI降噪等之后就不需要再進行相應(yīng)處理，不會限制MariSiliconX性能的發(fā)揮?！?/p>

有了自研芯片，也能讓OPPO充分發(fā)揮定制傳感器的性能。馬里亞納 MariSilicon X充分發(fā)揮了RGBW的更強能力，通過雙鏈路的設(shè)計和2x RAW計算，實現(xiàn)8.6 dB信噪比和1.7倍解析力提升。

“通過自研芯片和定制化傳感器相互的化學(xué)反應(yīng)和相互耦合，我們可以做到最大化發(fā)揮定制傳感器的能力。”姜波指出。

對于計算攝影這個涵蓋計算機圖形學(xué)、計算機視覺和應(yīng)用光學(xué)等多個學(xué)科領(lǐng)域的技術(shù)，OPPO的首款自研芯片能夠基于算力，借助垂直整合，用計算攝影突破手機影像的極限。

自研芯片給OPPO手機帶來的可能性

馬里亞納 MariSilicon X能夠突破的極限，是讓手機能夠在弱光環(huán)境，用計算攝影實現(xiàn)4K+20bit RAW+AI+Ultra HDR夜景視頻的新極限。

姜波解釋，“之所以把視頻拍攝限在4K30幀，也是出于功耗的考量。視頻的實時處理特性，難度遠大于照片的先拍后算。視頻基礎(chǔ)的要求是30幀/秒，意味著每一幀的處理要有大概33毫秒，要實現(xiàn)視頻AI功能，必須在33毫秒內(nèi)處理完成，性能和功耗的約束是關(guān)鍵?！?/p>

同時，手機系統(tǒng)層級，功耗的控制也非常重要。

“我們現(xiàn)在把整個影像鏈路中，最耗功耗的HDR、AI降噪等算法都在馬里亞納MariSilicon X上處理，SoC不需要再進行處理，所以是節(jié)省功耗的?！苯ń忉?，“OPPO有一個功耗及格線，不能增加整體功耗，這是基本原則思路?！?/strong>

OPPO展示了一段暗光視頻拍攝的視頻，可以明顯看到，搭載馬里亞納 MariSilicon X的測試平臺在暗光環(huán)境中視頻的細節(jié)更多，畫面解析力更高。

未來，OPPO的自研芯片還能實現(xiàn)更多視頻拍攝的AI功能。這是因為，馬里亞納MariSilicon X設(shè)計之初就將AI和圖像處理進行了很好融合，相比傳統(tǒng)的ISP有更高靈活性，還有更高性能，用計算攝影突破手機影像功能的極限，而無損計算也是計算影像的必然趨勢。

另外，從OPPO自研芯片的命名馬里亞納來看，OPPO還會在自研芯片的道路上不斷探索，馬里亞納 MariSilicon X只是OPPO自研芯片的開始，未來OPPO還可能推出更多自研芯片，給終端用戶帶來更多驚喜。

寫在最后

OPPO自研芯片并不讓人意外，讓人有些意外的是，OPPO首款自研芯片就采用了臺積電6nm工藝，首次流片就成功，定位影像專用的馬里亞納 X NPU在性能上兼顧了高性能和高能效。

當(dāng)然，這是OPPO作為手機終端公司，在充分理解消費者需求，以及基于已有技術(shù)積累，對行業(yè)趨勢判斷，自研芯片的優(yōu)勢。

對于OPPO而言，雖然自研芯片一定會帶來成本的增加，但OPPO更關(guān)注的是提升消費者體驗，以及用計算攝影不斷突破極限。對于消費者來說，在馬里亞納 MariSilicon X加持下，能夠?qū)崿F(xiàn)暗光視頻拍攝突破的OPPO Find新旗艦，將會是一個非常值得關(guān)注產(chǎn)品。對于手機業(yè)界來說，OPPO硬實力的增加或許也會給行業(yè)的競爭帶來更多壓力，跟上無損計算攝影的趨勢，也變得更加重要。