如果玩家不穿全套動作捕捉裝置,未來自己的虛擬形象若想在元宇宙裡跳舞,有點兒難。其次,製作複雜且有美感的舞蹈動作,對於數字人廠商來說,也是個門檻兒。36氪獲悉,「踏歌」可以為遊戲廠商、廣告商等提供虛擬人舞蹈和音樂解決方案。
踏歌(北京遒歌科技有限公司)成立於2021年4月,為舞蹈工作室提供Saas平臺是踏歌的主體業務,基於SaaS平臺,踏歌衍生出了超寫實舞蹈數字人解決方案、舞蹈與音樂領域數字藏品等業務。
SaaS業務方面,舞室將自制舞蹈課程上傳至踏歌舞蹈雲平臺,供其學員在課下使用踏歌APP進行熱身、複習和打卡。 另一方面,舞室學員開啟「踏歌APP」,將攝像頭對準自己,像玩遊戲一樣學習跳舞,手機攝像頭姿態識別演算法自動識別學員舞蹈動作,“老師”對其舞蹈進行拆解動作、識別舞風、打分、糾錯。
這套動作姿態識別演算法基於大量舞蹈動作積累,“舞室老師會穿上我們的動作捕捉裝置,或者前往動捕基地進行舞蹈錄製”,據創始人李迪介紹,踏歌已經積累了爵士舞動作姿態資料內容庫,而爵士舞是女性群體中受眾最廣的舞種之一。
技術方面,舞蹈動作複雜且變化速度快,對視覺演算法的處理速度有很高要求。踏歌使用的手機攝像頭姿態識別演算法,採用“動作捕捉+視覺識別”方案採集舞蹈動作。該演算法在某款中等配置手機上做到了20ms處理一幀,相同硬體平臺下是Google ML kit耗時的1/3。依託於這一高效的移動平臺攝像頭姿態識別演算法,踏歌可以衍生出其它玩法以增強護城河,例如舞蹈數字人。
據李迪介紹,從舞蹈數字人應用場景來看,數字人可以在音樂首發MV裡跳舞,未來踏歌還可以為遊戲開發者、廣告主等提供舞蹈解決方案。“製作超寫實數字人模型是一個競爭日益激烈且勞動密集型的業務。為了做出特色和深度,踏歌專注於讓超寫實數字人跳最專業、最流暢的舞蹈這一個細分領域。現在,每一個消費品公司都在製作自己的超寫實數字人,如果他們的數字人已經由其他公司製作完成,但想跳最專業的的舞蹈動作,就可以採用踏歌提供的方案。”
圍繞舞蹈,李迪還希望踏歌可以為舞者們帶來持續的創作者收入。為此,踏歌開發了數字藏品小程式,將舞者的照片、動作影片等製作成數字藏品,限量發行。同時,踏歌認為數字藏品平臺在滿足監管要求下,應當進行更多業務創新。據悉,踏歌為某頭部舞者在短影片平臺走紅的舞蹈動作進行了動作捕捉,將產生的動作檔案作為廣告資產和遊戲資產透過踏歌數字藏品平臺銷售給了廣告主和遊戲開發者,相關細節會在近期披露。
李迪向36氪介紹,“踏歌做的事情,用一句話概括,就是做元宇宙領域的舞蹈與音樂的C端應用。短期內實現的路徑是透過SaaS平臺連結舞室這樣的KA使用者,從而獲取舞室背後的C端使用者。未來,踏歌還會拓展純C端業務,打造面向C端的舞蹈線上遊戲平臺,引入豐富的遊戲機制,讓玩家透過手機完成跟跳、pk、錄製,甚至參與線上迪廳,最終形成類似'全民K歌'的舞蹈線上社群。”
銷售拓展方面,踏歌透過與「SPY舞室」建立深度合作關係,連結到了全國數百家頭部舞室。SPY舞室是中國舞蹈家協會街舞委員會常務理事單位,具有示範效應。 據李迪介紹,線下舞蹈學習是一個高客單價的業務。一個二三線城市頭部舞室的典型畫像是擁有10~20家連鎖門店,年卡客單價4000~8000,年營收能達到3000-5000萬元左右。“舞室採用預付費方式,現金流很好。如果我們透過服務中大城市頭部舞室這樣的KA客戶,未來一年獲得10萬學員,每個學員平均貢獻200元,一年就有2000萬的收入。”
踏歌專案始於2020年,創始人李迪貢獻了踏歌的計算機視覺演算法、姿態匹配演算法、SaaS平臺、遊戲客戶端開發、超寫實數字人區塊鏈平臺等技術早期大部分程式碼。目前,踏歌APP1.0版本及踏歌數字藏品小程式已在種子使用者中內測,即將上線。
踏歌創始團隊來自騰訊、Facebook(Meta)、百度、平安科技、華納音樂、協和醫院,團隊員工中有很多專業舞者和頂尖音樂人。創始人李迪為北京郵電大學人工智慧學院碩士,曾在位元組跳動、騰訊做過NLP和CV方面的演算法和工程工作;CV演算法負責人為中科院計算所計算機視覺方向碩士,平安科技智慧視覺部門資深演算法工程師,主要負責深耕計算機視覺方向;VR平臺負責人為美國羅切斯特大學光學碩士原蘋果(矽谷)公司光學模組工程師,原Meta Oculus 工程師,曾負責過Oculus Quest等VR產品的光學零部件和模組的供應鏈端開發製造,負責踏歌專案的VR 硬體及線下跳舞機硬體方案整合;音樂方向產品負責人Lizzy為亞洲第一女DJ。