圖示：其封裝中所示的MLSoC是第一款專(zhuān)用芯片，不僅可以處理嵌入式用例中AI的矩陣乘法運(yùn)算，還可以處理需要在同一應(yīng)用程序中運(yùn)行的計(jì)算機(jī)視覺(jué)的傳統(tǒng)功能。（來(lái)源：SiMa）

在人工智能計(jì)算機(jī)芯片的廣闊前景中，服務(wù)于「邊緣」市場(chǎng)的產(chǎn)品，包括無(wú)人機(jī)、物聯(lián)網(wǎng)設(shè)備、電話(huà)和低功耗服務(wù)器環(huán)境，為供應(yīng)商提供了肥沃的土壤，成為少有的市場(chǎng)之一。與數(shù)據(jù)中心技術(shù)相比，市場(chǎng)上的發(fā)達(dá)地區(qū)。

正如媒體早些時(shí)候報(bào)道的那樣，數(shù)十家初創(chuàng)公司已經(jīng)獲得了數(shù)千萬(wàn)美元的風(fēng)險(xiǎn)投資，用于制造用于移動(dòng)和其他嵌入式計(jì)算用途的人工智能芯片。由于邊緣市場(chǎng)不太穩(wěn)定，供應(yīng)商有很多不同的方法來(lái)解決這個(gè)問(wèn)題。

2022年8月30日，人工智能芯片初創(chuàng)公司SiMadotai正式推出了其所謂的MLSoC，這是一種用于以更低功耗加速神經(jīng)網(wǎng)絡(luò)的片上系統(tǒng)。該公司表示，已開(kāi)始向客戶(hù)發(fā)貨的新芯片是唯一「專(zhuān)門(mén)構(gòu)建」的部件，用于處理高度重視計(jì)算機(jī)視覺(jué)任務(wù)的任務(wù)，例如檢測(cè)場(chǎng)景中是否存在物體。

「每個(gè)人都在構(gòu)建機(jī)器學(xué)習(xí)加速器，僅此而已。」SiMa.ai的聯(lián)合創(chuàng)始人兼首席執(zhí)行官KrishnaRangasayee在接受采訪(fǎng)時(shí)說(shuō)。

Rangasayee表示，「嵌入式邊緣市場(chǎng)與云計(jì)算的不同之處在于，人們正在尋找端到端的應(yīng)用程序問(wèn)題解決者」，而不僅僅是用于機(jī)器學(xué)習(xí)功能的芯片。

「他們正在尋找可以在芯片上運(yùn)行整個(gè)應(yīng)用程序的片上系統(tǒng)體驗(yàn)。」

Rangasayee認(rèn)為，競(jìng)爭(zhēng)對(duì)手只能通過(guò)執(zhí)行機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)功能來(lái)「處理一小部分問(wèn)題」。

「每個(gè)人都需要機(jī)器學(xué)習(xí)，但這是整個(gè)問(wèn)題的一部分，而不是整個(gè)問(wèn)題。」Rangasayee表示。

SiMa.ai芯片采用臺(tái)積電的16納米制造工藝制造，將多個(gè)部件制成單個(gè)芯片。這些部件包括一個(gè)機(jī)器學(xué)習(xí)加速器和代號(hào)為「Mosaic」的專(zhuān)用于作為神經(jīng)網(wǎng)絡(luò)處理基礎(chǔ)的矩陣乘法。

板載還有一個(gè)ARMA65處理器內(nèi)核，通常在汽車(chē)中找到，以及各種功能單元以幫助視覺(jué)應(yīng)用的特定任務(wù)，包括一個(gè)獨(dú)立的計(jì)算機(jī)視覺(jué)處理器、一個(gè)視頻編碼器和一個(gè)解碼器、4兆字節(jié)的片上內(nèi)存，以及大量的通信和內(nèi)存訪(fǎng)問(wèn)芯片，包括一個(gè)與32位LPDDR4內(nèi)存電路的接口。

芯片硬件附帶SiMa.ai軟件，可以更輕松地調(diào)整性能并處理眾多工作負(fù)載。

SiMa.ai的產(chǎn)品針對(duì)各種市場(chǎng)，包括機(jī)器人、無(wú)人機(jī)、自動(dòng)駕駛汽車(chē)、工業(yè)自動(dòng)化以及醫(yī)療保健和政府的應(yīng)用。

「這是一個(gè)價(jià)值數(shù)萬(wàn)億美元的市場(chǎng)，仍在使用幾十年前的技術(shù)。」Rangasayee觀(guān)察到各種民用和政府應(yīng)用。

Rangasayee說(shuō)，當(dāng)今許多用于自主飛行器和其他應(yīng)用的計(jì)算機(jī)視覺(jué)系統(tǒng)都使用「?jìng)鹘y(tǒng)的負(fù)載存儲(chǔ)架構(gòu)、馮諾依曼架構(gòu)」，他指的是市場(chǎng)上大多數(shù)計(jì)算機(jī)芯片的基本設(shè)計(jì)。

他說(shuō)，用于機(jī)器學(xué)習(xí)和計(jì)算機(jī)的芯片在處理計(jì)算帶寬和數(shù)據(jù)相互結(jié)合的方式方面并沒(méi)有進(jìn)步。

「我們擁有獨(dú)特的MLSoC，這是第一個(gè)包含ML的片上系統(tǒng)，因此人們可以在一個(gè)單一架構(gòu)中進(jìn)行經(jīng)典的計(jì)算機(jī)視覺(jué)，并解決除ML之外的遺留問(wèn)題。」Rangasayee說(shuō)。

「sima」這個(gè)詞是梵文「edge」的音譯。

EdgeAI一詞已成為一個(gè)籠統(tǒng)的術(shù)語(yǔ)，指的是不在數(shù)據(jù)中心內(nèi)的所有事物，盡管它可能包括位于數(shù)據(jù)中心邊緣的服務(wù)器。它的范圍從智能手機(jī)到使用谷歌移動(dòng)人工智能的TinyML框架消耗微瓦功率的嵌入式設(shè)備。

SiMa.ai與眾多移動(dòng)和嵌入式競(jìng)爭(zhēng)對(duì)手抗衡。在邊緣市場(chǎng)，競(jìng)爭(zhēng)對(duì)手包括AMD、ARM、高通、英特爾和英偉達(dá)。然而，這些公司傳統(tǒng)上一直專(zhuān)注于以更大功率運(yùn)行的更大芯片，大約幾十瓦。

SiMa.ai芯片擁有其創(chuàng)造者所說(shuō)的在市場(chǎng)上完成典型任務(wù)的最低功耗預(yù)算之一，例如ResNet-50，這是處理ImageNet標(biāo)記圖片任務(wù)的最常見(jiàn)的神經(jīng)網(wǎng)絡(luò)。

圖示：SiMa在評(píng)估板上提供MLSoC，用于應(yīng)用測(cè)試。（來(lái)源：SiMa）

該公司表示，該部件每秒可以執(zhí)行50萬(wàn)億次運(yùn)算，或「teraoperations」，每瓦每秒10teraoperations。這意味著該部件在執(zhí)行神經(jīng)網(wǎng)絡(luò)任務(wù)時(shí)將消耗5瓦，盡管在使用其他功能時(shí)它可能會(huì)更高。

以幾瓦特運(yùn)行的這類(lèi)芯片使SiMa.ai成為許多初創(chuàng)公司的公司，包括HailoTechnologies、Mythic、AlphaICs、Recogni、EdgeCortix、FlexLogix、Roviero、BrainChip、Syntiant、UntetherAI、Expedera、DeepAI、Andes和Plumerai等。

Rangasayee說(shuō)，「在我們的視線(xiàn)范圍內(nèi)」的唯一公司是Hailo和Mythic。但是，「我們最大的區(qū)別在于他們只構(gòu)建ML加速器。我們正在構(gòu)建完整的MLSoC。」

得益于SiMai.ai在ARM內(nèi)核和專(zhuān)用圖像電路以及Mosaic神經(jīng)網(wǎng)絡(luò)代碼中的構(gòu)建，客戶(hù)將能夠在添加來(lái)自PyTorch和TensorFlow等流行ML框架的代碼的同時(shí)運(yùn)行現(xiàn)有程序的能力更強(qiáng)。

Rangasayee告訴媒體：「對(duì)我來(lái)說(shuō)有趣的是，對(duì)支持傳統(tǒng)的專(zhuān)用平臺(tái)的被壓抑的需求非常高。」「他們幾乎可以從第一天開(kāi)始運(yùn)行他們的應(yīng)用程序——這是我們擁有的巨大優(yōu)勢(shì)。」

「我們是第一家破解解決任何計(jì)算機(jī)視覺(jué)問(wèn)題的代碼的公司，因?yàn)槲覀儾魂P(guān)心代碼庫(kù)，它可以是C++、Python或任何ML框架。」Rangasayee解釋說(shuō)。

他認(rèn)為，對(duì)項(xiàng)目的廣泛支持使公司傾向于將自己視為芯片的「埃利斯島」。「把你的窮人給我們，把你累的給我們……我們會(huì)把他們都拿走！」

Rangasayee斷言，這種廣泛的支持意味著該公司擁有更多的客戶(hù)群，而不僅僅是一個(gè)利基市場(chǎng)。

根據(jù)Rangasayee的說(shuō)法，該芯片的另一個(gè)優(yōu)勢(shì)是它的性能是任何可比部件的十倍。

Rangasayee說(shuō)，「我們的客戶(hù)關(guān)心的是每瓦每秒的幀數(shù)」，即每瓦功率的圖像幀數(shù)。「我們至少是任何人的10[倍]。我們?nèi)諒?fù)一日地向每一位客戶(hù)展示這一點(diǎn)。」

該公司尚未根據(jù)廣泛引用的MLPerf基準(zhǔn)分?jǐn)?shù)提供基準(zhǔn)規(guī)格，但Rangasayee表示，該公司打算在未來(lái)進(jìn)一步這樣做。

「現(xiàn)在，首要任務(wù)是賺錢(qián)。」Rangasayee說(shuō)，「我們是一家非常小的公司」，擁有120名員工。「我們不能讓一個(gè)團(tuán)隊(duì)單獨(dú)做MLPerf。」

「你可以圍繞基準(zhǔn)做很多調(diào)整，但人們關(guān)心的是端到端性能，而不僅僅是MLPerf基準(zhǔn)。」

「是的，我們有數(shù)字，是的，我們比任何人都做得更好，但與此同時(shí)，我們不想把時(shí)間花在建立基準(zhǔn)上。我們只想解決客戶(hù)問(wèn)題。」

盡管8月30日的公告是關(guān)于芯片的，但SiMa.ai特別強(qiáng)調(diào)其軟件能力，包括它所謂的「新型編譯器優(yōu)化技術(shù)」。該軟件可以支持「廣泛的框架」，包括TensorFlow、PyTorch和ONNX，機(jī)器學(xué)習(xí)用于開(kāi)發(fā)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的主要編程庫(kù)。

該公司表示，其軟件允許用戶(hù)「運(yùn)行任何計(jì)算機(jī)視覺(jué)應(yīng)用程序、任何網(wǎng)絡(luò)、任何模型、任何框架、任何傳感器、任何分辨率」。

Rangasayee說(shuō)：「你可以在一個(gè)應(yīng)用程序上花費(fèi)大量時(shí)間，但如何讓成千上萬(wàn)的客戶(hù)通過(guò)終點(diǎn)線(xiàn)？這確實(shí)是一個(gè)更難的問(wèn)題。」

Rangasayee說(shuō)，為了實(shí)現(xiàn)這一目標(biāo)，公司的軟件工作包括兩件事：「前端」的編譯器創(chuàng)新和「后端」的自動(dòng)化。

該編譯器將支持「120多種交互」，這提供了「靈活性和可擴(kuò)展性」，可以將比通常情況下更多種類(lèi)的應(yīng)用程序引入芯片。

該軟件的后端部分使用自動(dòng)化來(lái)允許更多應(yīng)用程序「映射到您的性能」，而不是「等待數(shù)月才能得到結(jié)果」。

Rangasayee說(shuō)：「大多數(shù)公司都在讓人參與以獲得正確的性能。」

「我們知道我們必須以一種巧妙的方式實(shí)現(xiàn)自動(dòng)化，以便在幾分鐘內(nèi)獲得更好的體驗(yàn)。」

他說(shuō)，這項(xiàng)軟件創(chuàng)新旨在利用MLSoC「按鈕」，因?yàn)椤该總€(gè)人都想要ML；沒(méi)有人想要學(xué)習(xí)曲線(xiàn)。」這也是Rangasayee的前雇主Xilinx也采用的一種方法，試圖使其嵌入式AI芯片更加用戶(hù)友好。

「我在以前的公司了解到軟件的重要性。這真的取決于我們軟件的實(shí)力。」Rangasayee說(shuō)，「是的，我們的硅非常棒，我們?yōu)榇烁械椒浅Ｗ院溃瑳](méi)有硅，你就不是一家公司。」

「但對(duì)我來(lái)說(shuō)，這是必要的功能，而不是足夠的功能；足夠的功能是提供輕松的ML體驗(yàn)。」

https://www.zdnet.com/article/ai-startup-sima-debuts-purpose-built-ai-chip-for-edge-computing/

文章來(lái)源：ScienceAI

IEEE Spectrum

《科技縱覽》

官方微信公眾平臺(tái)