編者按：在剛剛過去的2022北京冬奧會上，商湯科技在科技部“科技冬奧”專項支持下，參與了多項課題項目，為科技冬奧貢獻力量。從超現(xiàn)實的觀賽體驗到沉浸式AR導航，商湯冬奧團隊都實現(xiàn)了哪些技術創(chuàng)新?又在過程中解決了哪些新的挑戰(zhàn)?在這里，將為您揭開商湯賦能科技冬奧背后的一些故事。
盡管2022年北京冬奧會已經(jīng)結束，但是很多驚艷世界的創(chuàng)新技術，依然持續(xù)傳遞著“科技冬奧”精神。
“冰壺運動軌跡捕捉和再現(xiàn)”技術就是其中之一。
冰壺比賽是北京冬奧賽程最長的項目，從開幕前兩天的2月2日開賽，一直持續(xù)至2月20日閉幕當天，來自全球不同國家和地區(qū)的三十支參賽隊進行了混雙、男子團體、女子團體共147場比賽。
作為一種策略游戲，冰壺有著“冰上象棋”美譽。矗立在冰壺比賽現(xiàn)場的一座170㎡的巨幕大屏，則在每一場比賽中都準確無誤地描繪出冰壺的運動軌跡曲線，同時以垂直視角實時呈現(xiàn)大本營的無形變畫面，幫助場上運動員分析研判對戰(zhàn)形勢、適時調整投壺技戰(zhàn)術。
線上觀賽的觀眾，也能夠通過“咪咕視頻”APP選擇“咪咕&商湯AI技戰(zhàn)術分析”直播窗口一覽冰壺軌跡和賽事信息，更好了解和感受冰壺運動的精髓。
“雖然只是捕捉一個小小冰壺的軌跡，但背后卻涉及諸多的技術挑戰(zhàn)。四年一屆的冬奧會機會難得，我們希望盡最大努力，將更高質量的觀賽體驗帶給觀眾。”負責此次項目的商湯科技算法技術負責人王權、產(chǎn)品負責人王磊與項目經(jīng)理鄭少林等人，歷時十個的時間，克服多種技術難題和突發(fā)性挑戰(zhàn)，基于商湯SenseMARS火星混合現(xiàn)實平臺，成功實現(xiàn)這項技術在全世界的首次應用。
在巨大“冰立方”中捕捉微小的冰壺
2020年10月，科技部完成“科技冬奧”重點專項2020年度指南項目立項批復。憑借在人工智能深度學習、虛實融合、AR智能化觀賽等領域的技術能力優(yōu)勢和豐富實踐經(jīng)驗，商湯科技有幸參與并負責了由國家游泳中心牽頭的“冰壺賽況的智能感知與虛實融合技術和平臺研究”課題項目，為科技冬奧貢獻力量。
“冰立方”是冬奧會歷史上體量最大的冰壺場館，在兩年前“水冰轉換”過程中，其冰壺場地改造工程總面積約5萬平方米。冰壺比賽每條賽道長40多米，在比賽過程中，每條賽道內(nèi)通常會有16個冰壺，并有2支隊伍8名運動員來回走動。
在一名隊員擲球時，兩名本方隊員會在冰壺滑行前方左右兩側快速擦刷冰面。要在如此多人員頻繁移動、多個目標密集分布、互相遮擋的情況下，從超大的場館中準確捕捉到直徑約30厘米的小冰壺，給硬件方案和算法設計都提出巨大難題。
針對這一挑戰(zhàn)，商湯團隊進行重點攻堅，經(jīng)過考察和反復研究，確定了通過在場館不同位置安裝42個高清攝像頭從不同角度捕捉賽道上運動冰壺的硬件方案，同時原創(chuàng)開發(fā)了“多視角實時動態(tài)捕捉技術”、“多相機感知融合技術”、“多目標定位追蹤技術”，對不同攝像頭拍攝的圖像進行智能合成，計算出冰壺的運動參數(shù)。
最終，商湯團隊成功實現(xiàn)了超大空間范圍內(nèi)，遠距離精準檢測識別定位跟蹤可能被遮擋的運動冰壺。“從對冰壺運動的實時捕捉，到對冰壺坐標參數(shù)的快速計算，再到運行軌跡的合成和渲染，我們通過軟硬件的緊密協(xié)同，實現(xiàn)了全流程的自動化處理，整個流程只需不到1秒，并且將位置精確度保證在10厘米以內(nèi)”，鄭少林表示。
賽事期間的任務同樣艱巨。每天早中晚的三個時段，四個賽道會分別舉辦一場冰壺比賽，相當于一天就有12場比賽。為保證“冰壺運動軌跡捕捉和再現(xiàn)”技術在每場比賽的順利運行，商湯專門在閉環(huán)內(nèi)外設立了9人保障團隊。
閉環(huán)外安排2名固定工作人員，4名輪換工作人員，閉環(huán)外人員需要在每場比賽開始的半個小時之前，確保冰壺運動軌跡捕捉系統(tǒng)和可視化分析平臺以及近20臺服務器的正常啟用，從早上8點半左右一直工作到晚上10點半左右。
閉環(huán)內(nèi)的3名工作人員則負責比賽期間可視化平臺的賽事創(chuàng)建、賽程、隊員和軌跡管理工作，智慧觀賽系統(tǒng)和線上AI直播系統(tǒng)的服務啟停、監(jiān)測、功能優(yōu)化和故障修復等工作。
由于冰壺混雙、女子團體、男子團體等不同比賽的規(guī)則不盡相同，而每局比賽中還會經(jīng)常出現(xiàn)投壺隊員順序臨時變更，裁判判罰投壺無效需要重新投壺等情況，這些因素都會對投壺情況的后臺統(tǒng)計分析和前端呈現(xiàn)產(chǎn)生影響。因此需要3名工作人員時刻緊盯比賽進程，對賽況進行分析和判斷，實時切換比賽的開始/結束狀態(tài)，監(jiān)測智能大屏系統(tǒng)和線上AI直播系統(tǒng)的穩(wěn)定性，同時根據(jù)賽場運動員的賽前介紹和投壺順序更新運動員、冰壺序號等信息，確保準確無誤地記錄和統(tǒng)計每場比賽的投壺情況。
從精準的軌跡捕捉，到完善的運維保障，看似一切工作準備就緒，然而還是遇到了一些“小插曲”。
就在北京冬奧會冰壺比賽正式開賽前一天，團隊進場做最后的設備檢查和測試工作時，突然發(fā)現(xiàn)用于固定拍攝大本營畫面攝像頭的桁架，會受到國外媒體攝像機轉動的影響而產(chǎn)生晃動，造成現(xiàn)場大屏上大本營畫面的輕微晃動。雖然幅度很小，次數(shù)也不多，但為了呈現(xiàn)最佳的顯示效果，商湯團隊在和國家游泳中心基礎設施保障團隊快速溝通后毅然決定調整方案。
在國家游泳中心大力支持下，加急采購新的桁架，并調度閉環(huán)內(nèi)外各個資源方的工作人員，從夜里零點開始，用了不到五個小時的時間，完成了桁架的運輸、攝像頭的拆卸和二次安裝等工作。
不僅如此，團隊還通過在軟件層面增加攝像頭拍攝位置和角度可調整的功能，不斷調教大本營畫面，以確保大本營整體畫面位置的準確呈現(xiàn)。最終，在正式比賽開賽前，問題順利得到解決，確保了大屏畫面全程穩(wěn)定的輸出。
整個賽事期間，商湯團隊不僅要確保冰壺運動軌跡在現(xiàn)場大屏畫面中的準確顯示，還要保證在“咪咕視頻”APP中的精準呈現(xiàn)。
在比賽首日，聚集在大本營周邊的人員越來越多，導致部分軌跡在手機屏幕上觀看會有明顯抖動現(xiàn)象。團隊隨即第一時間進行了算法迭代，通過對軌跡進行平滑處理等優(yōu)化工作，最終實現(xiàn)了非常完美的效果?！拔覀兯龅牟粌H僅只是現(xiàn)場的保障，而是在不斷發(fā)現(xiàn)問題、解決問題，依靠我們豐富的算法經(jīng)驗，進行持續(xù)迭代和優(yōu)化，盡可能打造更好的賽事直播和觀看體驗”，王權表示。
智慧觀賽技術與巨幕大屏相結合，起到了非常好的輔助觀賽、科技助力效果，獲得現(xiàn)場觀眾、媒體、運動員、教練和技術官員的認可。在整個比賽過程中，運動員在比賽中“回頭看大屏”的現(xiàn)象已成常態(tài)。
事實上，早在去年10月，“冰壺運動軌跡捕捉技術”已經(jīng)在輪椅冰壺世錦賽上提前亮相并應用，當時還得到了世界冰壺聯(lián)合會主席凱特·凱斯尼斯等多方好評。在即將到來的北京冬殘奧會冰壺輪椅比賽期間，這項技術將繼續(xù)應用。
咪咕解說嘉賓也對這項技術的應用予以高度評價：看比賽，光看得清還不夠，還要看得懂。對于許多人來說，有不少冰雪項目規(guī)則復雜，往往會看得一頭霧水。直播觀賽時如果有專業(yè)分析，那可真是“雪中送炭”。
以直播和分析解說的形式，直觀呈現(xiàn)比賽過程中冰壺的運動軌跡曲線，讓不少資深體育迷直呼過癮，也獲得冰雪“小白”的大力點贊。
對運動員和教練來說，“冰壺運動軌跡捕捉”這項技術可以運用到他們的日常訓練中，幫助提高訓練和比賽水平。而對普羅大眾來說，這項跨越虛實的技術，可以讓觀眾更全面地了解冰壺運動的精髓。
雖然冰壺起源于16世紀的蘇格蘭，但中國直到2000年才成立第一支冰壺隊，這使很多大眾對冰壺比較陌生，也很少接觸這項運動。在商湯團隊與國家游泳中心共同規(guī)劃這項課題時，便一致希望通過創(chuàng)新技術的應用，激發(fā)更多人對冰壺運動的興趣，甚至由此助力冰壺運動在中國的發(fā)展和進步。
AI破解大面積冰雪場景AR導航難題
除了“冰壺運動軌跡捕捉”技術外，商湯團隊還在科技部科技冬奧專項支持下，負責了“基于3D的實時精準定位技術、虛擬與現(xiàn)實結合的3D高精度識別的智慧AR導航系統(tǒng)研究”課題。憑借原創(chuàng)的SenseMARS火星混合現(xiàn)實平臺的強大能力，商湯創(chuàng)新地通過GPS與視覺融合的數(shù)據(jù)關聯(lián)方法和參數(shù)分塊優(yōu)化方法在短時間內(nèi)，將超現(xiàn)實體驗帶向了張家口冬奧村。
經(jīng)過幾個月的研發(fā)攻關，商湯實現(xiàn)了大尺度場景下厘米級的3D空間構建和部署，并解決了動態(tài)復雜場景下實現(xiàn)精準定位跟蹤等難題。
在項目過程中，團隊還克服很多其他AR導航場景很少遇到的難題，包括冬奧村內(nèi)建筑群風格比較統(tǒng)一導致存在的大面積相似紋理，冰雪覆蓋造成場景視覺變化多等挑戰(zhàn)。
測試過程中，商湯團隊還發(fā)現(xiàn)整個冬奧村是一個斜面，存在數(shù)米落差，最終通過重新建模，將導航地圖動態(tài)的規(guī)劃在一個水平面上予以解決，讓AR導航箭頭在不同坡度的地面上都可以準確與地面貼合，實現(xiàn)實時、精準的6自由度空間定位。
最終，商湯團隊實現(xiàn)了在張家口冬奧村近30萬平方米區(qū)域內(nèi)的任意地點，都能保證精準定位。該應用無需獨立APP，僅借助web瀏覽器即可輕松體驗。
無論是“冰壺運動軌跡捕捉”，還是冬奧村AR導航，都成功助力了“科技冬奧”從愿景走進現(xiàn)實，同時也為這些技術在更多領域的規(guī)模化應用，起到推動作用。比如，冰壺捕捉背后“在大空間內(nèi)捕捉小物體”的感知技術，還可以用于城市、工業(yè)等場景，輔助車輛和設備的智慧管理。
“科技冬奧”理念不僅僅是展現(xiàn)技術的創(chuàng)新成果，商湯更希望借此機遇，增進大眾對創(chuàng)新科技的認知，更好推動AI技術的創(chuàng)新和應用，最終惠及到城市管理、產(chǎn)業(yè)發(fā)展和個人生活當中，普惠大眾，改變生活。
（轉載）
