国产精品视频大全,午夜大片免费男女爽爽影院,精品国产毛茸茸妇女BBW,免费A片日本视频在线观看高清,天天爽五月天影院,无毛一线天在线观看,大香大香萑免费视频观看,奇米影视7777久久精品

歡迎訪問ic37.com |
會員登錄 免費(fèi)注冊
發(fā)布采購

超大規(guī)模AI需要大模型、大數(shù)據(jù)和大計(jì)算能力的三重支持

發(fā)布日期:2022-10-20

據(jù)報(bào)道,AI框架是一種集深度學(xué)習(xí)核心和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富工具組件于一體的底層開發(fā)工具。

有了AI框架,工程師在工作中調(diào)試算法,可以更快更高效。一般來說,AI框架相當(dāng)于是AI時(shí)代的操作系統(tǒng),就像PC時(shí)代Windows,移動互聯(lián)網(wǎng)時(shí)代iOS和安卓。

AI框架發(fā)展的現(xiàn)狀和趨勢

AI自二零一零年誕生以來,框架的歷史并不長。Theano到現(xiàn)在才十二年。而二零一七年以后,早期Theano,Caffe,Torch等待框架逐漸消失,二零一六年左右出現(xiàn)TensorFlow(谷歌),PyTorch(Facebook),槳(百度)逐漸占據(jù)市場。

從目前的市場份額來看,行業(yè)是TensorFlow以學(xué)術(shù)界為主PyTorch為主。與TensorFlow過于注重工業(yè),PyTorch不同的專注于學(xué)術(shù)界,飛槳的特點(diǎn)是工業(yè)界雙手掌握。通過動態(tài)圖自動分析和編譯靜態(tài)圖的技術(shù),它不僅考慮了學(xué)術(shù)界的靈活性,而且實(shí)現(xiàn)了行業(yè)希望的高效性。

過去幾年,AI框架形成了相對完整的技術(shù)體系,目前是主流AI框架的核心技術(shù)演變成基礎(chǔ)層、組件層和生態(tài)層三個(gè)層次,其中基礎(chǔ)層實(shí)現(xiàn)AI框架的基本核心功能包括三個(gè)子層:編程開發(fā)、編譯優(yōu)化和硬件使能。

從技術(shù)生態(tài)系統(tǒng)的功能定位來看,AI框架向下調(diào)用底層硬件計(jì)算資源,向上支撐AI構(gòu)建應(yīng)用算法模型,為算法工程實(shí)現(xiàn)提供標(biāo)準(zhǔn)環(huán)境AI技術(shù)體系的關(guān)鍵核心。

AI框架技術(shù)BF959不斷發(fā)展,經(jīng)歷了萌芽階段、成長階段、穩(wěn)定階段,目前已進(jìn)入深化階段。AI框架朝向超大規(guī)模AI,深化探索全場景支持、安全可信等技術(shù)特點(diǎn)。

AI框架面臨挑戰(zhàn)

然而,在這一探索過程中,面臨著許多挑戰(zhàn)。超大規(guī)模AI目前規(guī)模超大AI成為深度學(xué)習(xí)的新范式。OpenAI于2020年5月發(fā)布GPT-該模型包含一千五十億參數(shù),數(shù)據(jù)集達(dá)到45T,在多項(xiàng)NLP超越人類水平的任務(wù)。這個(gè)超大的模型參數(shù)和超大的數(shù)據(jù)集AI實(shí)現(xiàn)深度學(xué)習(xí)新突破的大模型范式。

看到這種新范式的潛力后,工業(yè)界和學(xué)術(shù)界紛紛入局。OpenAI后來,基于華為MindSpore框架發(fā)布盤古模型,智源發(fā)布悟道模型,阿里發(fā)布M6模型,百度發(fā)布文心模型等。超大規(guī)模AI正成為下一代人工智能的突破口,也是最具潛力的強(qiáng)人工智能技術(shù)。

超大規(guī)模AI它需要大模型、大數(shù)據(jù)和大計(jì)算能力的三重支持,AI框架提出了新的挑戰(zhàn),如存儲參數(shù)、激活、梯度、優(yōu)化器狀態(tài)、鵬程等。.盤古模型的訓(xùn)練需要近4TB內(nèi)存。計(jì)算墻,鵬程、以盤古2000億參數(shù)的大模型為例,需要3.6EFLOPS計(jì)算能力支持要求大規(guī)模異構(gòu)建設(shè)AI計(jì)算集群可以滿足這種計(jì)算能力需求,計(jì)算能力平臺應(yīng)該滿足智能調(diào)度,以提高計(jì)算能力資源的利用率。還有通信墻、優(yōu)化墻、部署墻等。

在全場景支持方面,隨著云服務(wù)器、邊緣設(shè)備、終端設(shè)備等人工智能硬件計(jì)算設(shè)備的不斷出現(xiàn),以及各種人工智能計(jì)算庫的快速發(fā)展,人工智能軟硬件生態(tài)呈現(xiàn)出多元化的發(fā)展趨勢。然而,主流框架培訓(xùn)的模型并不普遍,學(xué)術(shù)研究項(xiàng)目難以合作和擴(kuò)展,導(dǎo)致了深度學(xué)習(xí)框架“碎片化”。

目前,行業(yè)沒有統(tǒng)一的中間表示層標(biāo)準(zhǔn),導(dǎo)致硬件制造商的解決方案存在一定差異,導(dǎo)致應(yīng)用模型遷移不良,增加了應(yīng)用部署的難度。因此,基于AI標(biāo)準(zhǔn)化交換框架訓(xùn)練模型將是未來的挑戰(zhàn)。

然而,即使面臨諸多挑戰(zhàn),該行業(yè)在過去兩年中不斷探索,并取得了一些突破。例如,華為于2020年推出了盛思MindSpore,全場景協(xié)調(diào),可靠性有一定突破;曠視推出天元MegEngine,深入布局訓(xùn)練推理一體化。

總的來說,在人工智能系統(tǒng)中,AI框架位于上下腰部,下接芯片,上承應(yīng)用,是推動的關(guān)鍵樞紐AI應(yīng)用大規(guī)模著陸的關(guān)鍵力量。因此,對于企業(yè)來說,克服AI框架面臨的挑戰(zhàn)是不斷探索新趨勢、技術(shù)創(chuàng)新、技術(shù)改進(jìn)、功能和生態(tài)。


 復(fù)制成功!
51La