Aby sa mohli prispôsobiť otvorenému mestskému prostrediu, musia inteligentné telá zachytiť pohyby tela okolitých ľudí a štruktúru scény v reálnom čase. Tradičné vnímanie prostriedkov založené na inerciálnych senzoroch a fotoaparátoch, ktoré majú problémy s dlhoročným driftom a citlivosti na svetlo a životné prostredie, je ťažké uspokojiť dopyt po pohybe ľudského tela a zachytávania scény v zložitých prostrediach v aplikácii Polia inteligentnej jazdy, servisných robotík a športového tréningu.
Od roku 2022 bol tím Prof. Cheng Wang a Prof. Chenglu Wen prvý, kto navrhol technológiu zachytávania pohybu ľudského pohybu Lidar v medzinárodnej aréne (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; Splater4D, CVPR 2023). V tejto publikácii, Hisc4d, tím prelomí metódu na zachytenie rôznych pohybov interakcií s dvoma osobami a 3D scény v pohľade prvej osoby vo rozsiahlom vnútorných a vonkajších otvorených scénach. Metóda vytvára viacstupňový rámec optimalizácie kĺbov spojením zotrvačného vedenia a údajov LIDAR, ktorý účinne rieši problém s driftom spôsobeným inerciálnym vedením a výrazne zlepšuje presnosť rekonštrukcie scény a rozširuje rozsah priestorového, ľudského pohybu a interakcie. Zároveň sa vydá prvý multimodálny súbor údajov o interakciách s dvoma osobami, ktorý pokrýva rôzne typy scény a diverzifikované ľudské pohyby, poskytujúce zdroje výcviku pre súvisiace výskumné oblasti. V rovnakom čase, ktorý otvára nový spôsob myslenia, aby ste stelesňovali inteligenciu, aby šli do rozsiahlej vonku a integrovalo sa do davu.
