江湖三十年鏖戰,AI即出,多方勢力涌入讓這個(gè)世界重新異彩紛呈,也經(jīng)歷了新一輪洗牌。

在這場(chǎng)戰役中留下姓名的企業(yè),皆因技術(shù)、產(chǎn)品、服務(wù)等硬實(shí)力,成為了行業(yè)中的佼佼者。

在同樣起跑線(xiàn),有些企業(yè)總是能獨占鰲頭,以不卑不亢的姿態(tài),成為“別人家的孩子”。

AI獨角獸依圖也是這樣一位“別人家的孩子”。

最近,在國際權威機構ACM MM(ACM MM’20 Grand Challenge)主辦的“大規模復雜場(chǎng)景下人體視頻解析”挑戰賽(Large-scale Human-centric Video Analysis in Complex Events)的核心賽道——行為識別中,依圖科技再奪一冠。

ACM MM被認為是多媒體技術(shù)領(lǐng)域奧運級別的頂級盛會(huì ),也是中國計算機學(xué)會(huì )(CCF)認證和多媒體研究領(lǐng)域評級中唯一的A類(lèi)國際頂級會(huì )議。此次挑戰賽集結了國內外約100支參賽隊伍,包括亞馬遜、大華、騰訊、中山大學(xué)等知名企業(yè)和院校。

同時(shí),此次競賽是該方向最接近真實(shí)場(chǎng)景的大規模挑戰賽,主要基于各類(lèi)人群和復雜事件(如地震逃生、食堂用餐、下火車(chē)等)來(lái)分析人的行為,包括多人追蹤、姿態(tài)估計、姿態(tài)追蹤、行為識別等四大任務(wù);目的在于考察算法在復雜場(chǎng)景下對人體的解析能力,鼓勵研究者在以人為中心的分析中解決非常具有挑戰性和現實(shí)的問(wèn)題。

更為關(guān)鍵的一點(diǎn)是,與其他舉辦過(guò)多次的國際競賽不同,作為首屆競賽,參賽隊伍在賽前無(wú)法了解識別的類(lèi)別、數據集的大小和識別的具體需求,也就是說(shuō),對即將面對的行為類(lèi)別、數據模型、比賽需求一無(wú)所知,這意味著(zhù)沒(méi)有經(jīng)驗可借鑒,沒(méi)有路徑可學(xué)習。依圖是如何在短短兩個(gè)月的挑戰時(shí)間內,實(shí)現最優(yōu)的算法性能,拿下世界第一?

挑戰不可能

顧名思義,大規模復雜場(chǎng)景挑戰賽必然需要大規模和復雜場(chǎng)景。大規模即豐富的場(chǎng)景、大額的數據量(一般情況下,100萬(wàn)以上的數據量在學(xué)術(shù)界會(huì )被稱(chēng)為大規模)。

作為首屆比賽,HiEve數據集標注超100萬(wàn)個(gè),內容以真實(shí)視頻場(chǎng)景為主,囊括了當前姿態(tài)數量最多的數據集。其中,有超56000個(gè)復雜事件下的人體行為,包括但不限于排隊、打架、俯身、同行、跑動(dòng)等;平均軌跡長(cháng)度超過(guò)480,是軌跡數量最多的數據集之一。

結合到比賽的具體任務(wù)而言,行為識別,簡(jiǎn)單場(chǎng)景指的是一個(gè)視頻里只分析一個(gè)行為的主體;復雜場(chǎng)景指的是視頻里有多個(gè)人,在密集、擁擠的場(chǎng)景下,分析的行為還需要包含人和人之間的互動(dòng)。

1)數據量大,但有效數據少

比賽中,考察的行為種類(lèi)非常多,且每種行為可以有多種表達方式,例如出拳、拉扯、扇巴掌等都屬于打架,而訓練集很難覆蓋所有可能的組合。

雖然數據總量達到100萬(wàn),但由于視頻數據幀之間的相似性很高,包含了大量冗余數據。這些數據對算法提升泛化性的作用有限。如果去除這些極為相似的連續幀冗余數據,整個(gè)訓練數據中的數據也只有幾萬(wàn)個(gè),僅僅覆蓋20個(gè)左右的視頻場(chǎng)景。這意味著(zhù)有效的數據且測試分布一致的數據量并不多, 極大的增加了泛化難度。

換句話(huà)說(shuō),在訓練過(guò)程中,大量測試的場(chǎng)景,并沒(méi)有被算法系統直接學(xué)習過(guò)。這就需要算法具備強大的泛化性能,讓算法學(xué)會(huì )“舉一反三”。

2)場(chǎng)景復雜

此外,場(chǎng)景的復雜性無(wú)法一言以概。例如,攝像頭的拍攝質(zhì)量(清晰、抖動(dòng)、模糊、扭曲)不一, 不同場(chǎng)景的布局不同 (例如:商場(chǎng)、走廊、馬路、大廳、餐廳、公園等), 場(chǎng)景光線(xiàn)受到室內、室外、晴天、陰天的影響也比較大;甚至還存在攝像頭俯拍、平拍、斜拍各個(gè)角度的差異、人體框的大小和遠近不同、乃至人之間(人與物之間)還會(huì )經(jīng)常發(fā)生相互遮擋。

解決了算法的泛化能力問(wèn)題,克服了場(chǎng)景的復雜性,還有其他待解難題。

3)行為差異大

要知道,實(shí)際中行為分析是非常復雜的。即使是同一類(lèi)行為,在不同時(shí)刻、不同場(chǎng)景也具有很大差異性。比如不同的人在不同時(shí)刻行走,速度、姿態(tài)和場(chǎng)景遮擋都會(huì )不同?;蛘咄恍袨榫哂卸喾N不同的表現形式,比如單“打架”一個(gè)行為,可能包含踢人、扇耳光、拉扯等不同形式。

在多人場(chǎng)景甚至是密集場(chǎng)景下,除了要準確識別個(gè)人行為,還要標出人與人之間的互動(dòng),需要對每個(gè)人,在任何一個(gè)時(shí)間點(diǎn)上,給出此刻的行為判斷。

4)連續動(dòng)作和長(cháng)時(shí)間動(dòng)作捕捉

難通俗的說(shuō),讀懂一個(gè)動(dòng)作,需要長(cháng)期、連續跟進(jìn),還需要結合上下文,才能做“閱讀理解”。這就需要同時(shí)具備時(shí)間和空間的感知能力,準確的捕捉到人在前幾秒每幀的動(dòng)作, 并集合時(shí)間上動(dòng)作發(fā)生的變化推測出行為。

以“揮拳”為例,整個(gè)過(guò)程經(jīng)歷了開(kāi)始的靠近階段、揮動(dòng)拳腳的高潮階段以及結束階段。只有結合了人體每個(gè)時(shí)刻的姿態(tài),才能更準確地判別出動(dòng)作。

更重要的是,需要在短短兩個(gè)月的時(shí)間內解決以上問(wèn)題并奪冠,做到世界第一,沒(méi)有極其深厚的技術(shù)積累、行業(yè)經(jīng)驗以及快速解決問(wèn)題的能力,難之又難。

算法“鑿山”, 算力“開(kāi)路”,解鎖智能未來(lái)

當然,也有一些業(yè)界人士毫不諱言:相較于人臉領(lǐng)域這種算法流程已經(jīng)相對確定、算法框架的技術(shù)水準也趨于穩定的成熟領(lǐng)域而言,行為識別,尤其是人的行為識別,還處于學(xué)術(shù)界的摸索階段,正因如此,很可能成為AI界的下一掘金地。

學(xué)術(shù)界的探索意味著(zhù)沒(méi)有多少前人指路,依圖能在囊括如此復雜難題的行為識別賽道奪冠,并非偶然,除了對場(chǎng)景的深度理解、創(chuàng )新融合,還有硬實(shí)力的支撐。

學(xué)術(shù)界常用frame mAP (f-mAP@avg)來(lái)作為行為識別的評價(jià)指標,f-mAP@avg代表的含義是以關(guān)鍵幀為單位,評判行為的位置與分類(lèi)是否準確;與學(xué)術(shù)界對行為識別的考察指標不同,此次競賽的評價(jià)標準是wf-mAP@avg,這意味著(zhù)更注重對難度較大的擁擠場(chǎng)景的考察,以及比較少見(jiàn)的動(dòng)作的識別,同時(shí)對于人體框的定位的精確性要求也更高。

在短短兩個(gè)月的挑戰時(shí)間內,依圖算法的指標達到了[email protected],將以往學(xué)術(shù)界中的基準算法提升了近3倍。

掘金不易,鑿山開(kāi)路更不易。何況視頻相較于圖像的行為識別更加復雜,如何建模、視頻幀之間的相關(guān)性仍是學(xué)術(shù)界一直存在的難題。

依圖深諳這一點(diǎn),優(yōu)化算法來(lái)“鑿山”。

研發(fā)團隊透露,當應用場(chǎng)景明確后,在已知分析的對象是人體且明確知道要識別的類(lèi)別后,就可以針對性的進(jìn)行算法優(yōu)化,通過(guò)算法定制化來(lái)提升算法性能,解決以往不能很好解決的問(wèn)題。

此外,依圖還創(chuàng )新性地將算法與場(chǎng)景進(jìn)行了深度結合——一方面創(chuàng )新性的從視頻中自動(dòng)提取到豐富準確的場(chǎng)景信息,結合先進(jìn)的行人檢測、行人重識別算法,全面構建了人與人、人與場(chǎng)景、人與物之間在視頻中的關(guān)系;另一方面,借助長(cháng)期在智能城市場(chǎng)景下的算法積淀和對行業(yè)場(chǎng)景的理解,從需求出發(fā),對比賽中要求的特定的14類(lèi)任務(wù)進(jìn)行了深度算法優(yōu)化。

與其他隊伍追求復雜的多模態(tài)融合策略不同,依圖在此次競賽中竟然是用單模型奪冠。也就是說(shuō),他們借助背景提取和分割算法,將行為的解析與場(chǎng)景結合,大大降低了問(wèn)題難度。

敢在比賽中用單模型與其他多模型融合策略PK,不外乎自信中帶著(zhù)點(diǎn)跟自己較真的狠勁,又一次展現了在有限的時(shí)間內依圖算法可以做到極致。

算法“鑿山”的依圖,在開(kāi)拓AI新領(lǐng)域的版圖上一直策馬長(cháng)驅?zhuān)x不開(kāi)算力的“開(kāi)路”。

此前,依圖科技自主研發(fā)的全球首款云端視覺(jué)智能芯片求索(questcore?),可以提供強大算力,單路攝像頭功耗不到 1W,開(kāi)啟了算法設計與芯片設計相結合的時(shí)代。

集合了高性能AI算法和芯片耦合設計優(yōu)化的芯片平臺,結合世界領(lǐng)先的行為識別算法的依圖,將更有利于賦能智能城市、安全生產(chǎn)、智能商業(yè)等領(lǐng)域,打造新一代AI基礎設施。

細觀(guān)依圖半年來(lái)的動(dòng)態(tài),在疫情爆發(fā)初期快速研發(fā)出業(yè)界首個(gè)新冠肺炎輔助診斷系統并投入全國的醫院,同時(shí),頻頻刷新頂級賽事的世界紀錄,分別在貴陽(yáng)和福州落地千萬(wàn)量級規模的城市級人工智能應用、通過(guò)全球權威隱私認證管理國際認證,發(fā)布語(yǔ)音超級本、入選工信部知識圖譜案例集……技術(shù)愈加成熟、落地經(jīng)驗愈加豐富。

這些會(huì )給未來(lái)帶來(lái)什么?借用依圖科技創(chuàng )始人朱瓏近期在《人民日報》署名文章中所說(shuō):未來(lái)10年,低階感知智能將向高階決策智能躍遷;人工智能將向具有高度不確定性、多任務(wù)融合、復雜推理等特點(diǎn)的高階智能突破,有望實(shí)現看、聽(tīng)、理解、規劃和控制等能力的重大躍升。

您可以復制這個(gè)鏈接分享給其他人:http://wap.northchejian.com.cn/node/869