資訊 2022/08/19 18:24:12 4153閱讀
資訊 2022/08/19 18:24:12 4153閱讀
8月19日,中國圖象圖形大會CCIG 2022在成都召開。百度集團副總裁、深度學習技術(shù)及應用國家工程研究中心副主任吳甜在會上發(fā)表《跨模態(tài)大模型技術(shù)創(chuàng)新與實踐》主題演講,并正式發(fā)布AI藝術(shù)和創(chuàng)意輔助平臺——文心·一格,這是百度依托飛槳、文心大模型的技術(shù)創(chuàng)新推出的“AI作畫”首款產(chǎn)品。
(百度集團副總裁、深度學習技術(shù)及應用國家工程研究中心副主任吳甜)
文心·一格為藝術(shù)創(chuàng)想插上科技羽翼,人人都能成為“藝術(shù)家”
人學習作畫一般得從基本功練起,大體上包括線條、色彩、明暗、形體、結(jié)構(gòu)、透視、構(gòu)圖和空間。要想畫得出眾,除了日積月累勤奮練習,還需要一些天賦,以及對世界的精細觀察和創(chuàng)作者獨特的創(chuàng)想。這讓大部分人只能當畫作的觀賞者而非創(chuàng)作者。但是,隨著深度學習、大模型等技術(shù)的發(fā)展,AI 能夠在極短的時間內(nèi)“創(chuàng)造”出不同風格的畫作,大幅降低了作畫的門檻,讓人人都能成為“藝術(shù)家”。
文心·一格是基于文心大模型的文生圖系統(tǒng)實現(xiàn)的產(chǎn)品化創(chuàng)新。在文心·一格官網(wǎng)(yige.baidu.com),用戶只需輸入自己的創(chuàng)想文字,并選擇期望的畫作風格,即可快速獲取由一格生成的相應畫作。官網(wǎng)資料顯示,文心·一格現(xiàn)已支持國風、油畫、水彩、水粉、動漫、寫實等十余種不同風格高清畫作的生成,還支持不同的畫幅選擇。
文心·一格創(chuàng)作的藝術(shù)畫
文心·一格創(chuàng)作的創(chuàng)意畫
文心·一格面向的用戶人群非常廣泛。它既能啟發(fā)畫師、設(shè)計師、藝術(shù)家等專業(yè)視覺內(nèi)容創(chuàng)作者的靈感,輔助其進行藝術(shù)創(chuàng)作,還能為媒體、作者等文字內(nèi)容創(chuàng)作者提供高質(zhì)量、高效率的配圖。此外,文心·一格更是為大眾用戶提供了一個零門檻繪畫創(chuàng)作平臺,讓每個人都能展現(xiàn)個性化格調(diào),享受藝術(shù)創(chuàng)作的樂趣。
文心·一格背后的跨模態(tài)大模型技術(shù)與系統(tǒng)創(chuàng)新
吳甜表示,數(shù)據(jù)的井噴式增長、算力的持續(xù)突破、算法的持續(xù)創(chuàng)新為人工智能帶來新機遇,預訓練大模型憑借優(yōu)越的泛化性、通用性和應用效果,成為人工智能發(fā)展的重要方向。跨模態(tài)大模型是在技術(shù)發(fā)展和產(chǎn)業(yè)實踐中孕育而出的,也是百度文心知識增強大模型面向產(chǎn)業(yè)應用持續(xù)創(chuàng)新及建設(shè)的重要方向。
面對日益增長的內(nèi)容創(chuàng)作需要,如何準確理解用戶需求,進而精準刻畫并滿足多樣化風格、高質(zhì)量生成的要求是技術(shù)要解決的關(guān)鍵挑戰(zhàn)。文心知識增強跨模態(tài)理解大模型在模型創(chuàng)新方面,提出基于多視角對比學習的ERNIE-ViL 2.0,在預訓練過程能夠同時學習模態(tài)間和模態(tài)內(nèi)的多種關(guān)聯(lián)性,提升“圖像”和“文本”跨模態(tài)語義匹配效果。知識增強跨模態(tài)圖文生成大模型ERNIE-ViLG,將“文生成圖”和“圖生成文”任務融合到同一個模型進行端到端學習,從而增強文本和圖像的跨模態(tài)語義對齊。在此次CCIG 2022會上,吳甜還分享了ERNIE-ViLG文圖生成算法的升級,通過漸進式擴散模型,生成空間由小及大、生成輪廓由粗到細,同時根據(jù)生成階段自動選擇最優(yōu)生成網(wǎng)絡(luò),文本生成圖像的效果取得進一步提升。
新技術(shù)在產(chǎn)業(yè)實踐中應用并創(chuàng)造出價值必須要足夠?qū)嵱没Ｒ虼?百度基于文心大模型進行了系統(tǒng)創(chuàng)新,研發(fā)了支持AI作畫的文生圖系統(tǒng),提供了從用戶需求理解到滿足的全流程解決方案。首先,基于知識的Prompt工程,理解用戶需求并在此基礎(chǔ)上豐富語義細節(jié),降低用戶輸入描述成本。其次,基于擴散生成算法實現(xiàn)創(chuàng)意寫實與恢弘構(gòu)圖的藝術(shù)畫作生成。最后,基于跨模態(tài)匹配大模型進行生成畫作的結(jié)果排序,自動選出語義與美觀度最佳的畫作。
從技術(shù)創(chuàng)新到系統(tǒng)創(chuàng)新再到產(chǎn)品化創(chuàng)新,這一體系性的創(chuàng)新得益于飛槳產(chǎn)業(yè)級深度學習平臺的夯實有力支撐。飛槳的端到端自適應分布式訓練技術(shù)、4D混合并行策略、對異構(gòu)硬件的自適應并行支持,錘煉出框架與算力、算法相結(jié)合三位一體的大模型訓練優(yōu)勢。飛槳的自動模型壓縮工具、自適應分布式推理技術(shù),更是大幅節(jié)約了機器資源,讓大模型的部署更加高效、便捷,能真正落地應用。
吳甜認為,新技術(shù)應用于場景,需要從基礎(chǔ)算法、技術(shù)系統(tǒng)、工程平臺多方面同時創(chuàng)新,文心·一格就是依托于多項新技術(shù)綜合創(chuàng)新的產(chǎn)品。
除了推出一格這樣的AI藝術(shù)和創(chuàng)意輔助平臺,文心跨模態(tài)大模型還為廣大開發(fā)者、科技愛好者提供了飛槳開源工具和API服務能力,滿足開發(fā)者靈活探索等需求。對靈活性需求更高的開發(fā)者,可以使用飛槳的開源工具PaddleHub基于文圖生成開源算法極簡開發(fā),并完成模型的管理和一鍵預測。對便捷性需求更高的開發(fā)者,可以使用文心ERNIE-ViLGAPI(https://wenxin.baidu.com/moduleApi/ernieVilg),極速獲得沉浸式文圖生成大模型的技術(shù)體驗,更可靈活方便、高效地實現(xiàn)產(chǎn)品集成。
據(jù)了解,為了幫助更多行業(yè)用戶清晰了解、輕松應用基于大模型技術(shù)的AIGC能力,百度飛槳文心大模型已在8月開設(shè)AIGC系列公開課,課程深入淺出、體系全面并配套豐富的實踐資源。
讓機器具備跨越文本、圖像等多種模態(tài)的復雜場景理解與生成能力,是人工智能的重要目標之一,也是數(shù)字時代科技與產(chǎn)業(yè)深度融合創(chuàng)新,催生新業(yè)態(tài)新模式,加快產(chǎn)業(yè)智能化升級的新動能。人工智能在藝術(shù)領(lǐng)域的學習與創(chuàng)作能力正以蓬勃之勢不斷刷新我們的認知,同時也讓公眾對科技與藝術(shù)及文化的融合創(chuàng)新有了更大的想象空間。文心大模型正在成為推動AIGC(人工智能生成內(nèi)容)發(fā)展的新引擎,基于文心大模型的AIGC將會帶來創(chuàng)新性的探索,并賦能到廣泛的行業(yè)領(lǐng)域。
