這是一份看似平平無奇的日式便當(dāng)。

但你敢信，其實(shí)每一格食物都是 P 上去的，而且原圖還是醬嬸兒的:

背后操作者并不是什么 PS 大佬，而是一只 AI，名字很直白:拼圖擴(kuò)散。

其效果驚艷了不少網(wǎng)友。

甚至還有 PS 愛好者直呼道:

這簡(jiǎn)直是個(gè)天賜之物…… 希望很快能在 Automatic1111中看到它。

為什么效果這么自然？

實(shí)際上，此 AI 生成的“日式便當(dāng)”還有好幾個(gè)生成版本 —— 都很自然有木有。

至于為啥還有多種版本？問就是因?yàn)橛脩暨€能自定義，在總體不變得太離譜的前提下，他們可以微調(diào)各種細(xì)節(jié)。

除了“日式便當(dāng)”，它還有不少出色的作品。

比如，這是拿給 AI 的素材，P 圖痕跡明顯:

這是 AI 拼好的圖，反正我愣是沒看出什么 P 圖痕跡:

不過，文字終究對(duì)于目標(biāo)圖像，最多只能起到模糊的規(guī)范作用，所以用戶通常要花大量時(shí)間調(diào)整提示，還得搭配上額外的控制組件，才可以取得不錯(cuò)的效果。

就拿前文展示的日式便當(dāng)來說:

如果用戶只輸入“一個(gè)裝有米飯、毛豆、生姜和壽司的便當(dāng)盒”，那就既沒描述哪種食物放到哪一格，也沒有說明每種食物的外觀。但如果非要講清楚的話，用戶恐怕得寫一篇小作文了……

鑒于此，斯坦福團(tuán)隊(duì)決定從別的角度出發(fā)。

他們決定參考傳統(tǒng)思路，通過拼圖來生成最終圖像，并由此開發(fā)出了一種新的擴(kuò)散模型。

有意思的是，說白了，這種模型也算是用經(jīng)典技術(shù)“拼”出來的。

首先是分層:使用基于圖層的圖像編輯 UI，將源圖像分解成一個(gè)個(gè) RGBA 圖層，然后將這些圖層排列在畫布上，并把每個(gè)圖層和文字提示配對(duì)。

通過分層，可以修改圖像中的各種元素。

而在這種新型“拼圖擴(kuò)散模型”中，分層信息成了后續(xù)操作的輸入。

除了分層，還搭配了現(xiàn)有的基于擴(kuò)散的圖像協(xié)調(diào)技術(shù)，提升圖像視覺質(zhì)量。

總而言之，該算法不僅限制了對(duì)象的某些屬性的變化，同時(shí)允許屬性(方向、光照、透視、遮擋)發(fā)生改變。

操作過程也很 easy，在交互編輯模式下，用戶在幾分鐘內(nèi)就能創(chuàng)作一幅拼貼畫。

他們不僅可以自定義場(chǎng)景中的空間排列順序；還能調(diào)整生成圖像的各個(gè)組件。用同樣的源圖，可以得出不同的效果。

而在非交互式模式下，AI 也能根據(jù)拿到的小圖，自動(dòng)拼出一張效果自然的大圖。

研究團(tuán)隊(duì)

最后，來說說背后的研究團(tuán)隊(duì)，他們是斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的一群師生。

論文一作，Vishnu Sarukkai 現(xiàn)為斯坦福計(jì)算機(jī)科學(xué)系研究生，還是碩博連讀的那種。

他的主要研究方向?yàn)?計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)。

此外，論文的共同作者 Linden Li，也是斯坦福計(jì)算機(jī)科學(xué)系研究生。

在校求學(xué)期間，他曾到英偉達(dá)實(shí)習(xí) 4 個(gè)月，與英偉達(dá)深度學(xué)習(xí)研究小組合作，參與訓(xùn)練了增加 100M + 參數(shù)的視覺轉(zhuǎn)換器模型。

論文地址:

參考鏈接: