近日，影譜科技推出AI賽事內容生成方案Moviebook SAiDT，輔助賽事平臺構建AI智慧影像內容一站式平臺，提供動態內容的增強視覺生成與運營，有效降低內容製作成本，提高多型別內容併發能力。
Moviebook SAiDT深度融合了生成式AI（Generative AI）與數字孿生技術，運用獨創的從2D影片中捕獲動作的估算框架（MCVS）、沉浸式媒體內容建立基礎設施平臺（MAGC）等影譜AI工具棧，SAiDT可以模擬賽道、體育場環境和體育場內導航服務，與賽事內容進行組合輸出新的增強賽事影片。
本次冬奧會某專案測試賽就成功應用該技術，實現快速、高效地為觀眾提供優質體育賽事影片內容的目標。同時，基於影譜科技AI視覺識別的體育賽事影片自動識別系統，還可以對賽事直播訊號進行實時識別，在短時間內將海量賽事內容，自動化濃縮成幾分鐘的賽事集錦並定向釋出。高效準確、規模化的內容生產模式極大地節省了人力時間成本，併為深度開發體育媒體版權內容價值，創造了更多的可能性。
此外，Moviebook SAiDT方案支援現有裝置匯入影片流，支援2D影片一鍵升級為AI增強影片，兼顧大批次AI影片內容的成本效益與運營效率。SAiDT支援對標準影片流的洞察和分析、提取關鍵幀，使用高技能註釋器進行更準確的資料標記、自動生成新的關鍵資料，建立新的AI增強影片，並傳送至媒體平臺，同步完成內容生成與商業化運營。
事實上，賽事內容生成及運營是科技冬奧三大戰略方向之一。影譜SAiDT強調實用與技術的融合，將業務流有效分為前端影片匯入與自動識別動作捕捉估算、自動生成與運營場景自適應四個環節，以AI內容生成技術為先進生成工具，實現賽事影片生成與運營的自動化，讓高門檻、高投入的傳統影片錄剪業務環節升級為AI流程，並被主要文化與體育內容生態系統所採用。
從2D影片中高速捕捉動作，SAiDT實現大規模應用
如何實時捕捉運動員的姿勢和狀態是關鍵技術難點。常見的3D姿勢重建模型主要依賴於在運動員身上嵌入額外的感測器，與之相反的是，體育賽事當中運動員不具有裝特殊感測器的條件。另一種方法是，可以使用普通手機建立無縫資料收集機制，但鑑於2D影片缺乏資訊深度，使用2D影片資料開發3D模型是一項挑戰。
影譜科技AI孿生技術團隊開發了一種從2D影片中捕獲人體動作的估算框架（MCVS），建立一個輕量級的AI運算集，以提取和預判運動員表現及運動軌跡。該系統 MCVS 是一種跟蹤物件並試圖預測其在空間中可能發生的變化的計算機視覺技術，每天可以處理日常影片網路上的數百萬端影片影象，提取關鍵幀，進行自動結構化，為下游任務提供大量數字化資源，如影片內容搜尋、增強影片內容生成、影片識別、衍生影片遊戲生產、賽事影片內容營銷等。
為此，Moviebook SAiDT支援常規影片的匯入是關鍵一步。例如從手機或相機匯入影片，使用人工智慧 (AI) 從標準相機饋送中提取3D運動併疊加洞察力和資料，建立新的2D/3D沉浸式增強影象。研究人員最近也在嘗試將Transformer架構（一種自然語言處理中的主流模型）用於各種計算機視覺任務並取得了具有競爭力的結果。實際上，很少有工作來探索用於 3D 人體姿態估計 (HPE) 的transformer架構，在這項工作中，影譜科技提出了級聯transformers (cascade transformers)，這是一種基於transformer的新方法，用於從單個影象進行 3D 人體姿態估計，能夠很好的建模靜態和動態人體關節關係。大量實驗結果表明了其出色的效能。跟蹤只是開始，影譜科技披露的技術結果表明，體育賽事影象不僅在於收集有關運動員的資料，還在於使用這些資料來建立新的數字內容及分析，完成自動鏡頭分切及自動內容組合下的體育見解。
SAiDT融合AI內容生成技術與數字孿生，體育賽事內容邁向3D
早在2018年，影譜科技推出AI內容生成基礎設施MAGC，強調生成式AI技術與數字孿生技術結合，使開發人員能夠透過低程式碼方式構建和管理他們的影片內容生產基礎設施，提供一系列簡單的AI內容建立工具集，從“生產”出發擴充套件至全產業鏈。
Moviebook SAiDT方案是AI內容生成基礎設施MAGC在體育賽事的關鍵應用領域，依託數字仿生互動類、3D建模及重建類等成熟的AI演算法及穩定的AI工程化能力，可快速生成視覺化、互動性強的增強影片內容，還可建立專屬的運動員訓練模型及賽事錦集。根據內容定位自動剪下為精彩短影片流。
某賽事運營平臺上線了影譜Moviebook SAiDT平臺，平臺負責人表示，真正的重大轉變是當一項技術不僅用於娛樂或研究，而且被實踐所接受時，類似的技術可能會成為各種運動的標準。資料顯示，使用SAiDT來分析賽事影象、自動化完成逐個畫素註釋，識別關鍵特徵進行 3D 姿勢估計，模型就可以完成3D簡化渲染，生成AI影片內容。影譜SAiDT系統從捕捉到關鍵鏡頭到內容生成、內容交付全過程，能極大降低人力成本。
AI化的賽事內容展播在全球體育產業也達成共識。中商產業研究院資料顯示，2021年我國體育賽事運營總市場規模可達3636.7億元，其中AI自動化內容生產成為剛性需求。計算技術的進步使AI能夠更有效地將 2D 影象轉換為沉浸式模型，並以最有效的方式向其消費者提供最佳內容。未來，運動員可能會更多地依賴AI處理的海量資料來提升他們的比賽水平，賽事運營平臺也能透過AI自動化內容生成和播報實現更好的發展。
