摘要：在AI眼里，人类梦境会是什么样的？最近，一组如梦如幻的美景图在网络上大火。你只要通过简单的一句话，或者几个单词，AI就能帮你“复现”梦境中的场景。近日，“元宇宙基建龙头”英伟达打造了一款AI绘画软件NVIDIA Canvas。通过GauGA...
在AI眼里，人类梦境会是什么样的？
最近，一组如梦如幻的美景图在网络上大火。你只要通过简单的一句话，或者几个单词，AI就能帮你“复现”梦境中的场景。
近日，“元宇宙基建龙头”英伟达打造了一款AI绘画软件NVIDIA Canvas。通过GauGAN（生成性对抗网络），该软件可以将寥寥几笔的草图在短短几秒秒内变成风光无限的自然景观大片。
▲NVIDIA Canvas绘画界面
AI正在成为新的内容创作主体，在绘画、音乐创作等领域发挥着自己的底层能力。近年来，AI不再只作为底层技术参与到产业智能化改革中，如今的AI技术也逐渐走入大家的日常生活。这不但说明AI的应用场景也越来越广泛，而且也意味着AI技术的使用门槛也正在逐渐降低。
AI竟然如何成为用户手中的“神笔”？AI如何通过寥寥几笔，就能理解用户的意图？高清逼真的照片背后，又暗藏着英伟达的哪些黑科技？我们试图从NVIDIA Canvas中，找到答案。
一、不知道画什么？AI帮你找灵感
事实上，如果你想要通过AI获得一张新的风景图，并不难。
你只要在相应的地方输入图片尺寸、风格、主要颜色以及一些描述性的词语，就可能生成一张或者数十张风景图片。用户可以根据自己的需要选择想要的照片。
但这些图像往往很难让用户自主选择画面的基本布局，色彩的分布等，可供用户选择的参数也比较少，图像生成时间也较慢。
从GPU到图形渲染工具，英伟达作为游戏领域的重要玩家，一直在为游戏制作人、动画制片人们提供丰富的“工具箱”。NVIDIA Canvas正是英伟达为他们打造出一款新“工具”。
画手们可以随时按照自己的需求得到自己所需要的图像，他们只需要用鼠标选择相应的元素，在空白画布上画出几笔，AI就可以自动生成一张和草图相符合的景观图像。
▲NVIDIA Canvas绘画界面
用户还可以基于原画作上做出新的调整，在沙滩上加几笔绿色，AI就会理解你的意图，添加了一片森林。
而且，当你选择某些带有季节特征的图像时，AI将会自动调整整个图像的基调。比如说，当你在拥有一张基本图像后，又选择了新增“雪”元素，那么AI将默认整个场景都处于冬季的情况下，将整体图像的光影、树木的形态都会有所调整。
但由于该软件尚处于测试版状态，目前NVIDIA Canvas共提供9种不同的风格以及20种蓝天、白云、沙滩等不同材质的元素供用户选择。
▲NVIDIA Canvas绘画界面
在应用上面，NVIDIA Canvas为用户提供AI绘画的使用价值。
与其他多数AI绘画仅生成二次元的图片不同，NVIDIA Canvas生成的图片主要基于真实的风光元素集成的，其仿真度如一张即时拍摄的风光摄像照片相似。
这些图像不但可以为画手、游戏开发者们提供一些创造的思路，还可以输出多种格式的照片，为3D模型渲染师们、景观设计师提供一个初步的模型素材。
但同时，强大的图形渲染能力也对设备本身的硬件提出了一定的限制。比如说，NVIDIA Canvas软件对于电脑图像处理的性能也有所要求。目前，该软件仅支持NVIDIA GeForce RTX、NVIDIA RTX或TITAN RTX GPU。
二、让AI学会画画，英伟达有妙招
为什么NVIDIA Canvas能够独树一帜，生成栩栩如生的图像？
其实，这背后离不开英伟达的AI技术实力支撑。
近日，英伟达的研究团队打造了一款交互应用程序GauGAN2，该模型可以通过深度学习，利用生成式对抗网络（GAN），可以让分割图转换为栩栩如生的图像。
现在点击【AI Demo | NVIDIA 研究团队】试用NVIDIA GauGAN交互式Demo，你也可以和我们一起探索其中的奥妙。
在使用时，用户自己绘画的草图将会被GauGAN2视为分割图，而选中素材时，AI将自动记录用户希望在每个区域内呈现什么样的湖面，如远处的河流、近处的草地以及角落里的花朵。AI还可以将画面呈现一定的景深效果。
“这就像一本填色图册里的图画，其中描绘了树木、太阳和天空的位置，”英伟达应用深度学习研究副总裁Bryan Catanzaro说道。“然后神经网络会根据其对真实图像的了解，为图片填充所需的细节和纹理，以及反射、阴影和颜色。”
▲NVIDIA Canvas绘画界面
具体来说，GauGAN2涉及到两个神经网络：一个生成器和一个鉴别器。生成器可以基于用户的画笔，创造合成图像，而鉴别器则是在经过数百万张真实景观图像的训练后，为生成器提供像素级反馈。
在每一次生成图和真实景观图片的对比中，合成的景观图将会越来越逼真，最后当达到机器判定的标准后，该照片最终呈现在用户面前，而这一些都在短短的几秒钟完成。
那AI真的理解了用户每一次描述的场景吗？
据英伟达相关负责人介绍，在GauGAN2学画画的过程中起到关键作用的是一对合作网络：生成网络和判别网络。
其中，生成网络会创建图像并展示给判别网络；判别网络接受过基于真实图像的训练，能够逐像素地为生成网络提供反馈，并对其进行指导，教会其如何提升合成图像的真实感。
就这样，在一次次生成和判别的过程中，AI一步步学会“画出”一张能够反射天空的河流，能够根据智能调整整个画布的场景。
并且，该深度学习模型接收过一百万张图像的训练，能够快速对风景画做判定，从而生成逼真的画面。
同时，为了更好的发挥GauGAN模型的使用价值，NVIDIA GauGAN的进化版本GauGAN360可以生成能够移植到英伟达Omniverse场景的8K 360度全景图。这也是英伟达在元宇宙布局的新动作。
三、为什么要让AI学会画画
从Disco DiffusionAI图像生成软件、到OpenAI的DALL·E 2模型以及谷歌的Imagen软件。AI绘画逐渐成为近两年AI领域大热的方向之一。
此前，尽管AI绘画的工具多种多样，但是大众并没有将其应用在提高工作效率上。
一方面，各个软件的接口不同，因此很难将图像内容进行无损迁移。另一方面是如果希望AI足够智能，公司就需要花费大量的时间去调教模型，并且不断修正错误，研发成本较高。
正是基于这些重重挑战，英伟达想要打造一款通用型的AI绘画软件，帮助用户快速地构思场景、构造基础素材，甚至是协助完成电影级的镜头创作。
▲NVIDIA Canvas基于真实场景再创作
与其他软件相比，英伟达正通过GauGAN2模型在AI图像的真实度和AI绘画的沉浸感上做出新的突破。英伟达在图形处理领域深耕多年后，通过NVIDIA Canvas为游戏玩家提供更加多样的游戏风景体验，也为创作者提供更好的工具。
四、结语：当AI走入内容创作，推进3D互联网内容构建
用户的寥寥几笔就实时能生成一张逼真的景观图像，NVIDIA Canvas不但展现了其AI技术的实力，还降低了3D内容场景搭建的门槛。
同时，我们可以看到AI技术正在逐渐走入产业深处，和各个环节开始深度融合。其中，在视觉创作领域，AI也正在成为新的创作主体或者协助者。
但目前AI创作和测试阶段的软件都存在一些不足之处，如对于电脑机型的要求，有限的模型素材。
随着技术的发展，AI创作也将在文学、绘画、音乐等多个艺术领域，拥有更广泛的应用前景，体验更多人工智能和深度学习互动Demo，点击"AI Demo | NVIDIA 研究团队NVIDIA
HomeMenuMenuCloseCloseCloseCaret down iconCaret down iconCaret up iconCaret right iconCaret right iconCaret right iconCaret left iconCaret left iconCaret left iconShopping CartSearch iconNVIDIA 引领人工智能计算
NVIDIAFacebookTwitterLinkedInYouTubeNVIDIA"立即体验“NVIDIA AI 互动 Demo”。
