和任何人，去任何地方！復(fù)旦大學(xué)攜手階躍星辰打破 “復(fù)制粘貼” 魔咒，重磅推出全新 AI 合照生成模型 WithAnyone—— 只需上傳照片，就能一鍵生成自然、真實(shí)、毫無(wú)違和感的 AI 合照！

WithAnyone 是什么？

WithAnyone 是一種個(gè)性化 AI 合照生成方法：給定一個(gè)人的一張照片，WithAnyone 可以生成 ta 的各種角度、各種表情；給定幾個(gè)人的各一張照片，WithAnyone 可以讓他們同框，生成一張毫無(wú)違和感的 AI 合照。

以往的方法，無(wú)論是現(xiàn)象級(jí)的 InstantID，還是火出圈的 PuLID，都面臨著一個(gè)困境：給它什么樣的表情、角度，它就生成什么表情、角度，做不到一點(diǎn)變化。

而 WithAnyone 打破了這一魔咒！真的可以拿 ID 一致性與 ID 可控性雙料冠軍。

WithAnyone 效果如何？

空口無(wú)憑，且看效果！

還有多人合照：

真可謂是相當(dāng)驚艷了！

我們也試了一下更多人的場(chǎng)景：

三姐妹戴著同款墨鏡其樂(lè)融融，三兄弟西裝革履裝酷耍帥。

過(guò)去的模型想做到生成得像，全靠 “復(fù)制粘貼 “，參考圖的表情神態(tài)、頭部姿態(tài)，照搬到生成圖上，沒(méi)有一點(diǎn)變化。而 WithAnyone 生成的場(chǎng)景真正地做到了人物一致的同時(shí)，大伙和諧同框！

當(dāng)前 ComfyUI 版本已經(jīng)上線，工作流也有提供，可以輕松部署！

WithAnyone 如何打破魔咒？

正所謂發(fā)現(xiàn)問(wèn)題，比解決問(wèn)題更重要。

WithAnyone 的研究團(tuán)隊(duì)正是發(fā)現(xiàn)了這一問(wèn)題：AI 人像生成，生成得越來(lái)越像，甚至過(guò)于地像了 — 相似度甚至遠(yuǎn)遠(yuǎn)大于同一個(gè)人的不同真實(shí)照片！正所謂過(guò)猶不及，這便是他們要解決的問(wèn)題。

要量化這個(gè)問(wèn)題，團(tuán)隊(duì)首先提出了MultiID-Bench，與配套的“復(fù)制粘貼 “指標(biāo)。

他們把 “生成結(jié)果到參考輸入的距離” 減去 “生成結(jié)果到目標(biāo)輸出的距離” 作為復(fù)制粘貼的衡量，并發(fā)現(xiàn)當(dāng)前的各種方法，落入了一個(gè)越像，就越復(fù)制粘貼的魔咒：他們清晰地形成了一條擬合直線。

為了突破這個(gè)魔咒，研究團(tuán)隊(duì)直面最本質(zhì)的問(wèn)題：數(shù)據(jù)與訓(xùn)練。

以往的 AI 個(gè)性化生成，由于同一個(gè)人的多視角數(shù)據(jù)缺乏，往往采用 “重建” 的訓(xùn)練方案：參考輸入圖，也是監(jiān)督目標(biāo)。而 WithAnyone 的研究團(tuán)隊(duì)則收集了一個(gè)五十萬(wàn)張多人合照，并為每張上的每個(gè)人，配了上百?gòu)埐煌嵌?、表情、光照的參考圖！另外還有百萬(wàn)張未配對(duì)的合照，也一同并入了訓(xùn)練數(shù)據(jù)。

這次的開(kāi)源真的很重磅，模型、Benchmark、數(shù)據(jù)集，三花聚鼎。

有了如此強(qiáng)悍的訓(xùn)練數(shù)據(jù)，便可定制化訓(xùn)練流程。研究團(tuán)隊(duì)先是通過(guò)傳統(tǒng)重建訓(xùn)練，訓(xùn)練出強(qiáng)大的基本能力，再通過(guò)成對(duì)數(shù)據(jù)訓(xùn)練，與高質(zhì)量數(shù)據(jù)微調(diào)，最終得到現(xiàn)在 WithAnyone 模型。

當(dāng)然，模型結(jié)構(gòu)和訓(xùn)練目標(biāo)上都有重大創(chuàng)新，我們總結(jié)了一下要點(diǎn)：

• 參考圖像編碼雙通道：每個(gè)參考通過(guò)人臉識(shí)別網(wǎng)絡(luò)（獲取身份判別向量）與通用圖像編碼器（捕獲中層視覺(jué)特征）分別編碼；人臉嵌入僅作用于對(duì)應(yīng)人臉區(qū)域，避免跨臉信息泄露。
• 對(duì)比式學(xué)習(xí)：把 “正確的同一身份但風(fēng)格 / 姿態(tài)不同的樣本” 拉近，把 “不同身份的樣本” 推遠(yuǎn)；通過(guò)大量負(fù)樣本，模型學(xué)到 “識(shí)別同一人而非重復(fù)一張臉的能力”。
• 度量與優(yōu)化目標(biāo)：除了常用的擴(kuò)散 / 重構(gòu)損失外，加入 ID-contrastive 與對(duì)齊到 ground-truth 的 ID 損失，平衡 “相似” 與 “變化” 的張力。

WithAnyone 如何體驗(yàn)？

WithAnyone 已經(jīng)全面開(kāi)源。團(tuán)隊(duì)提供了：代碼、模型權(quán)重、數(shù)據(jù)集樣例與評(píng)測(cè)基準(zhǔn)（MultiID-Bench） 的公開(kāi)鏈接（論文內(nèi) project page / Hugging Face / GitHub），便于社區(qū)復(fù)現(xiàn)與擴(kuò)展。還有 ComfyUI 支持，期待社區(qū)開(kāi)發(fā)出更多玩法！

• GitHub: https://github.com/Doby-Xu/WithAnyone
• ComfyUI 倉(cāng)庫(kù): okdalto/ComfyUI-WithAnyone: ComfyUI version of WithAnyone
• 項(xiàng)目主頁(yè): https://doby-xu.github.io/WithAnyone/
• 在線 Demo: https://huggingface.co/spaces/WithAnyone/WithAnyone_Demo

WithAnyone 不只是一次技術(shù)突破，更是一次讓 AI “懂得同框” 的嘗試，希望這項(xiàng)技術(shù)能讓每一張 AI 合照都充滿溫度與故事。從今天起，和任何人，去任何地方 —— 用 WithAnyone，拍下屬于你的合照！