清华姚班毕业生开发新特效编程语言,99行代码实现《冰雪奇缘》
邊策魚羊發自凹非寺
量子位報道公眾號 QbitAI
只用 99 行代碼,你也可以像《冰雪奇緣》里的艾莎公主一樣擁有冰雪魔法。
雖然你不能在現實世界中肆意變出魔法,但卻能在計算機的虛擬世界揮灑特效。
或許你不知道,電影和動畫中特效有時僅僅短短的一秒,卻可能需要高性能計算機演算一周,花費驚人。
《冰雪奇緣》沒有真人出演,預算卻高達 1.5 億美元,每一秒的鏡頭都是經費在燃燒。一般人想用電腦做出 CG 特效簡直不可想象。
然而,最近一位來自中國的 MIT 博士,開發了一種新的 CG 特效編程語言Taichi(太極),大大降低了門檻。
白色:雪;紅色:果凍;藍色:水
一個簡單的物理場景,普通 PC 僅需幾分鐘即可渲染完成,相比 TensorFlow 提速了 188 倍、比 PyTorch 快 13.4 倍,代碼長度只有其他底層方法的十分之一。
安裝它就像 TensorFlow 一樣容易,使用起來也是差不多:
import taichi as ti
甚至,Taichi 的發明者胡淵鳴同學還為此編寫了完整使用教程。
關于 Taichi,胡同學已經發表了多篇文章,分別被 SIGGRAGH 2018、ICRA 2019、NeurIPS2019、ICLR 2020 等頂會收錄。
計算機圖形學知名學者、北大教授陳寶權給出很高的評價:
給胡淵鳴同學點贊!一己之力開發了物理模擬編程語言 Taichi!
像淵鳴這樣如此投入寫有影響力的開源代碼實在是難能可貴。
像 SIGGRAPH 這樣的,可能要投入1~2 年才會有成果,論文接受率低,即使能發表出來,引用率也不高。
網友們在圍觀之后也紛紛表示:淵鳴大神太強了。
圖形+系統+編譯,真是創世的快樂。
88 行代碼模擬真實物理環境
正如胡同學本人所說,99 行代碼很短,背后的技術故事卻很長。
故事的開頭,要從 Material Point Method(物質點法)說起。
MPM 是一種在影視特效領域廣受青睞的模擬連續介質方法,迪士尼的《冰雪奇緣》就用到了這項技術。
但在早期,MPM 的運行速度非常慢,比如《冰雪奇緣》里安娜過雪地的鏡頭,據說要在集群上跑整整一個星期。
為了提高 MPM 的運行速度和性能,在大四畢業的那個暑假,胡淵鳴投入了 Moving Least Squares MPM(MLS-MPM)的研究。
胡淵鳴的靈感是,用移動最小二乘法統一 AIPC(The Affine Particle-In-Cell Method)中的仿射梯度場(affine velocity field)和 MPM 中的變形梯度更新(deformation gradient update)兩種離散化。
在賓夕法尼亞大學蔣陳凡夫教授的指導下,胡淵鳴等人完成了移動最小二乘物質點法(MLS-MPM)方法的研究,不僅實現了新的應力散度離散化,使 MPM 的運行速度快了兩倍,還成功模擬了 MPM 此前并不支持的各種新現象。
比如材料切割:
剛性體的雙向耦合:
這項成果最終發表在了 SIGGRAPH 2018 上。
為了進一步證明 MLS-MPM 的簡易性,胡淵鳴用88 行 C++ 代碼實現了 MLS-MPM 的 demo。(代碼詳情請戳文末 taichi_mpm 項目鏈接)。
這個 88 行版本后來也成為了入門 MPM 的必備參考實現。
乾坤(ChainQueen)可微物理引擎
2017 年的夏天結束之后,胡淵鳴正式進入 MIT 讀博。
這時候,胡淵鳴又迸發了新的靈感:求出 MLS-MPM 的導數。有了導數,就能只用梯度下降來優化神經網絡控制器。
在這一思想的指導下,ChainQueen 誕生了。
胡淵鳴解釋說,chain 是為了紀念他在求導過程中被鏈式法則折磨的經歷,而 ChainQueen 則與乾坤諧音。
乾坤基于 MLS-MPM,是一種針對可變形對象的、實時的可微混合拉格朗日-歐拉物理模擬器。該模擬器在前向仿真和反向梯度計算中均實現了高精度。
這項研究發表在了 ICRA 2019 上,胡淵鳴也以此完成了碩士論文。
DiffTaichi
隨后,胡同學將工作又推進一步,提出了可微分編程 DiffTaichi,被 ICLR 2020 收錄。
在這篇文章的代碼中,胡同學創建了 10 個不同的物理模擬器,并根據現有基準對其性能進行基準測試。
Taichi 中的可微分編程,可以通過蠻力的梯度下降有效地優化神經網絡控制器,而不必使用強化學習。
10 種可微分模擬器中的大多數模型可以在2-3 小時內實現,而且大部分不需要 GPU。這些示例中,彈性體、剛體、流體、光線的折射、彈性碰撞,常見物理環境應有盡有。
第一個示例可微分彈性對象模擬器,經過我們的實測,在 2017 版 13 寸的 MacBook Pro 上也能運行,而且完成優化只需不到十分鐘的時間:
不僅是 2D,更復雜的3D 彈性體也能模擬:
還有可微分的3D 流體模擬器,經過 450 步的梯度下降迭代,已經非常逼真:
DiffTaichi 模擬水對光線折射的渲染器,一張圖片經過它的渲染,甚至能騙過圖像分類器。經過測試,VGG16 將帶有水波紋的松鼠圖片當做金魚,而且認為概率為 99.91%。
在強化學習的模擬環境中,剛體機器人很常見,DiffTaichi 也能模擬:
DiffTaichi 還能模擬多個物體的復雜場景,比如臺球:
用 Taichi 語言編寫的模擬器大大簡化了代碼,可微分彈性對象模擬器只用了 110 行代碼,而直接用 CUDA 編寫則需要 490 行。
同時,Taichi 的速度還很快,相比 CUDA 版本幾乎沒有什么損失,比 TensorFlow 快了 188 倍,比 PyTorch 快 13.4 倍。
而且神經網絡控制器一般只需要幾十次迭代,即可完成優化。
為何做 Taichi
談到為何要做 Taichi,計算機圖形學一直缺乏像 TensorFlow 那樣的通用工具,每個要從事開發的人都必須了解基本原理,才能去做編程。
這和深度學習領域形成了鮮明的對比。
近年來,甚至有中學生,利用 TensorFlow 或者 PyTorch,寫一點代碼,優化幾個模型,就可以在一些頂會上發表論文,許多人看來,這是件壞事,因為讓深度學習論文的含金量大大降低。
但胡淵鳴看到了另一面。他認為,深度學習這些年之所以能發展快、門檻低,就是因為有簡單易用的好工具,計算機圖形學讓人望而卻步,就是因為缺乏類似的工具,因此他開發了 Taichi。
本來 Taichi 要做成一種單獨的編程語言,但是為了方便大家使用,胡淵鳴用了一句 import taichi as ti 把 Taichi 語言假裝成 Python。
改成基于 Python,這樣做的好處不僅是降低學習門檻,還能使用很多現成的 Python IDE,與 numpy、matplotlib 等工具庫無縫銜接。
經過幾個月的努力,胡淵鳴終于把 Taichi 改成了 pypi 安裝包,讓不同配置不同操作系統的機器都能順利運行圖形學的程序。
高一保送清華,博一 6 篇 paper
說起胡淵鳴,這又是一位從少年時代起就熠熠閃光的“大神級”選手。
高一保送清華,競賽生涯中,拿下 APIO 2012、NOI 2012、ACM-ICPC 2013 長沙區域賽、ACM-ICPC 上海區域賽四塊金牌,其中 APIO 2012 成績是全場第一名。
2013 年進入清華姚班,胡淵鳴與陳立杰、范浩強等人成為同班同學,這群年輕人的才華在這里匯聚、碰撞,與“姚班”二字相互成就。
本科期間,胡淵鳴先后前往東京大學、斯坦福大學訪學,并曾于微軟亞洲研究院實習,從事深度學習和計算機圖形學研究。本科便有多篇論文中選 CVPR、SIGGRAPH 等國際頂會。
2017 年,胡淵鳴進入 MIT 讀博。入學 13 個月后,完成碩士論文 ChainQueen,拿到 MIT 碩士學位。博一期間,共發表 6 篇頂會論文。
最后,如果想了解這 99 行代碼背后更多的研究歷程,不妨讀一讀胡淵鳴本人的知乎專欄文章。大神不僅代碼寫得好,碼字和蒸雞蛋也是好手呢~
傳送門
胡淵鳴知乎原文:
https://zhuanlan.zhihu.com/p/97700605
論文地址:
https://arxiv.org/abs/1910.00935
太極項目地址:
https://github.com/yuanming-hu/taichi
taichi_mpm 項目地址:
https://github.com/yuanming-hu/taichi_mpm
作者系網易新聞·網易號“各有態度”簽約作者
總結
以上是生活随笔為你收集整理的清华姚班毕业生开发新特效编程语言,99行代码实现《冰雪奇缘》的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 地球上新发现的71个新物种:猫眼天竺鲷眼
- 下一篇: “没电下回聊”这个借口要废了!手机QQ上