国产免费踩踏调教视频-美女黄网站人色视频免费国产-亚洲 欧美 变态 另类 综合-国产精品久久久久久久久鸭-gv天堂gv无码男同在线观看

行走在技術的最前沿 飛槳的分布式訓練技術到底有多強呢?

來源:中華網科技

要說誰是幾年人工智能這條街上最靚的仔,那莫過于深度學,特別是“大數據”、“大模型”、“大算力”不絕于耳。隨著產業應用對AI模型效果的要求越來越高,數據和參數規模不斷增長,分布式訓練即使用多臺機器共同完成大數據大模型的訓練任務,已經成為開發者們必須關注的技術。

各大深度學框架也都在分布式訓練上頻頻發力,秀肌肉顯成效。作為我國首個開源開放、自主研發、功能完備的產業級深度學臺,飛槳在分布式訓練上保持強勢輸出,不僅具備業內最早支持萬億級稀疏參數模型訓練的能力,期又創新的提出了4D混合并行策略,以訓練千億級稠密參數模型。

那么,飛槳的分布式訓練技術到底有多強呢?

飛槳的分布式訓練技術在對外提供之前就已經在百度內部業務廣泛應用,早在2018年飛槳的純CPU參數服務器模式,就可以支持萬億參數規模模型的訓練,來解決搜索推薦場景面臨的數據量大、特征維度高且稀疏化的問題。

隨著模型網絡越來越復雜,對算力要求越來越高,在數據量不變的情況下,CPU計算能差的弱勢便暴露無遺。面對這一問題,飛槳引入了純GPU參數服務器來提升計算能,把100臺CPU機器才能訓練的模型只用1臺多卡GPU設備即可完成訓練,不僅節約了成本,還保障了集群的穩定和擴展

此次技術升級之后,飛槳“越戰越勇”。考慮到在純GPU的參數服務器下,當模型網絡層比較復雜時,GPU 利用率很難被打滿,飛槳框架2.0版又創新地推出了業內首個通用異構參數服務器功能,可以同時使用不同的硬件進行混合異構訓練,

兼容了多款CPU、AI專用芯片(如百度昆侖XPU)、GPU(如V100、P40、K40),讓用戶可以在硬件異構集群中部署分布式訓練任務,實現對不同算力芯片高效利用,為用戶提供更高吞吐、更低資源消耗的訓練能力。

飛槳分布式訓練不僅支持參數服務器模式訓練萬億級稀疏參數模型,對于NLP 和 CV 這類擁有復雜網絡、稠密參數特點的模型訓練,也同樣得心應手。其優勢在百度“語義理解技術與臺文心ERNIE”上大有體現,文心ERNIE采用了分布式訓練中的集合通信模式,通過較少節點間的通信輪數完成全局節點的模型參數傳輸,大大提升通信效率,讓同步并行訓練的多GPU擴展能力得到極大突破。當前飛槳集合通信模式已經可以支持文心ERNIE 2300億參數規模的訓練,其提出的Sharding-DP策略更是助力文心ERNIE的多項任務分數刷新GLUE榜單。

文心ERNIE作為百度在各大榜單刷分霸榜,搶占高地的“利器”,其在能上的優勢得益于飛槳的給力支持。文心ERNIE的千億級模型計算復雜,訓練需占用T級顯存資源,想用更少的機器高效訓練,必須采取一系列優化措施。飛槳對此創新地提出了4D混合并行策略,進一步優化訓練能和顯存占比,再次走到了技術的前沿。

4D混合并行策略能夠結合多種并行策略的優點,將分布式訓練技術與業務緊密結合。飛槳研發人員正是通過模型并行策略、分組參數切片組合、流水線并行策略和數據并行策略的多層疊加,發揮合力作用,誕生了業內第一個4D混合并行策略。通過測試驗證,如此創新提出的4D混合并行策略的訓練速度的確高于3D混合并行策略,效果也十分明顯。

自飛槳設計之初就開始潛心研究分布式訓練技術以應對大規模參數模型的訓練任務。如今飛槳已經開始研究下一代分布式技術,來同時兼容超大規模稠密參數和稀疏參數模型的訓練。

隨著產業智能化基礎技術底座飛槳輸出應用到各行各業的實際業務場景中,在城市、工業、能源、通信等領域發揮了重要價值。相信百度還將在技術上不斷創新進步,探索分布式訓練技術等的邊界,擴展AI賦能的領域,為智能化時代的發展做出貢獻。(辛文)

標簽: 飛槳分布式訓練技術

推薦

財富更多》

動態更多》

熱點

主站蜘蛛池模板: 337p日本大胆欧美人视频| 人妻少妇精品中文字幕av| 亚洲.欧美.在线视频| 亚洲制服无码一区二区三区 | 色五月丁香六月欧美综合| 亚洲乱理伦片在线观看中字| 亚洲一区二区熟妇熟女av| aⅴ无码视频在线观看| 久久久无码精品亚洲日韩精东传媒| 午夜福利理论片在线观看| 日本丰满少妇裸体自慰| 夜夜躁很很躁日日躁麻豆| 一区二区三区亚洲欧美在线 | 天堂va在线高清一区| 天天做天天爱天天爽天天综合| 国产免费永久精品无码| 婷婷久久综合九色综合88| 一区二区三区鲁丝不卡麻豆| 亚洲视频第一区二区| 日韩精品区一区二区三vr| 97国产精品视频在线观看| 色综合天天天天综合狠狠爱| 欧美啪啪| 男阳茎进女阳道视频大全| 欧美精品一区二区精品久久| 精品人妻av一区二区三区麻豆| 蜜臀av无码人妻精品| 午夜福利1000集在线观看| 亚洲精品美女久久777777| 国产97色在线 | 日韩| 欧美一性一乱一交一视频| 久久久久久人妻一区精品| 人妻系列无码专区无码专区| 在教室伦流澡到高潮hgl动漫| 国产av亚洲精品ai换脸电影 | 狠狠躁夜夜躁人人爽超碰97香蕉| 精品亚洲成av人在线观看| 51精品国产人成在线观看| 1000部啪啪未满十八勿入| 亚洲国产精品久久艾草纯爱| 午夜国产av一区二区三区|