近日，微軟旗下Mixed Reality & AI Lab研究團(tuán)隊(duì)基于頭顯捕獲的頭部和手部追蹤數(shù)據(jù)開發(fā)了“FLAG：Flow-based Avatar Generation from Sparse Observations”解決方案，通過(guò)VR頭顯獲得的頭部和手部追蹤數(shù)據(jù)，可生成佩戴者的全身3D化身。

　　據(jù)了解，微軟HoloLens和Meta Quest等頭顯獲得的追蹤數(shù)據(jù)僅限于對(duì)頭部以及手部的位置和方向的預(yù)測(cè)，不能表現(xiàn)人體全身，因此很難生成逼真3D化身。微軟研究團(tuán)隊(duì)開發(fā)的解決方案可以從這些頭顯信號(hào)中生成合理的全身人體姿勢(shì)，并解決這個(gè)問(wèn)題。

　　所述系統(tǒng)具體而言基于流模型解析給定頭部和手部動(dòng)作數(shù)據(jù)，該模型能夠?qū)崿F(xiàn)3D姿勢(shì)分布和基礎(chǔ)分布之間的可逆映射。此外，它不僅能學(xué)習(xí)3D人體的條件分布，還能從觀測(cè)數(shù)據(jù)中學(xué)習(xí)潛在空間的概率映射，并由此進(jìn)行關(guān)節(jié)的不確定性估計(jì)，生成合理的姿勢(shì)。

　　值得一提的是，通過(guò)實(shí)驗(yàn)評(píng)估和消融研究，該方法優(yōu)于大型運(yùn)動(dòng)捕捉數(shù)據(jù)集AMASS的最新方案，該數(shù)據(jù)集以SMPL人體模型模擬多種全身姿勢(shì)，以誤差極低、優(yōu)化較少著稱。

　　來(lái)源：新浪vr