在過(guò)去十年中,人工智能技術(shù)一直是安防行業(yè)智能化發(fā)展的核心驅動(dòng)力,為行業(yè)注入了新的活力和機遇。在深度學(xué)習的熱潮中,安防是AI應用落地的先行者,當下大模型時(shí)代的開(kāi)啟,安防行業(yè)再次站在了技術(shù)應用的前沿。目前,眾多安防企業(yè)正聚焦于多模態(tài)大模型等關(guān)鍵技術(shù)的研究,致力于推動(dòng)這些技術(shù)的產(chǎn)業(yè)化應用,助力各行各業(yè)實(shí)現數字化和智能化的飛躍。
中國安全防范產(chǎn)品行業(yè)協(xié)會(huì )旗下《中國安防》雜志,對依圖科技總裁段愛(ài)國進(jìn)行了深入的采訪(fǎng),探討了智能安防行業(yè)中大模型的應用實(shí)踐、現狀,面臨的挑戰以及未來(lái)的發(fā)展趨勢,分享給大家。

多模態(tài)大模型落地 重塑智能安防新紀元
安防行業(yè)是應用AI和多模態(tài)大模型的先鋒領(lǐng)域。安防從高清化走向智能化階段,即AI安防1.0。這一階段,人臉識別、人體ReID、視頻結構化、車(chē)輛/非機動(dòng)車(chē)結構化等技術(shù)是這個(gè)時(shí)期的重要創(chuàng )新成果。隨著(zhù)安防技術(shù)產(chǎn)品在各個(gè)領(lǐng)域的廣泛應用,長(cháng)尾算法的需求日益凸顯。傳統深度學(xué)習模型是基于監督學(xué)習方法訓練出來(lái)的,在面臨復雜場(chǎng)景時(shí)會(huì )有很多約束和限制,這導致了過(guò)去幾年間盡管AI安防取得了一定進(jìn)展,但在實(shí)際應用落地效果上并未完全達到預期效果?,F在,隨著(zhù)大模型時(shí)代的到來(lái),我們進(jìn)入了AI安防2.0?;赥ransformer架構的多模態(tài)大模型,顛覆了傳統安防行業(yè)的碎片化特點(diǎn),并展現出以下三個(gè)主要特征:
一是“會(huì )思考”。多模態(tài)大模型不再像過(guò)去一樣只是某種算法、某種工具,而是呈現出助手、智能體的特征,讓機器看一遍視頻,它能夠準確識別視頻中的內容,將機器看視頻的能力轉化為直觀(guān)的算法,為行業(yè)帶來(lái)革命性的變革。
二是“可對話(huà)”。人們使用多模態(tài)大模型的過(guò)程更像與另外一個(gè)人交流。用戶(hù)可以通過(guò)語(yǔ)義搜索和語(yǔ)音指令調取視頻,例如僅需簡(jiǎn)單地說(shuō)出“請調取有積水的點(diǎn)位視頻”,系統便能迅速響應,展現所有相關(guān)的視頻片段。這一功能極大地提升了指揮調度的效率,節省了寶貴的決策和調度時(shí)間。
三是“能進(jìn)化”。不能根據用戶(hù)和環(huán)境而進(jìn)化的智能系統是工具,不是真智能。真正的智能系統能夠根據用戶(hù)需求和環(huán)境變化進(jìn)行自我進(jìn)化。以依圖天問(wèn)大模型為例,它支持現場(chǎng)算法訓練,能夠根據實(shí)際應用需求快速迭代和優(yōu)化。一個(gè)新的算法需求可以在1分鐘內實(shí)現0樣本冷啟動(dòng),1小時(shí)內完成在線(xiàn)標注訓練,并在1天內快速上線(xiàn),展現了前所未有的智能化和靈活性。
因此,多模態(tài)大模型使視覺(jué)和語(yǔ)言的模型歸一,統一了物理世界和認知世界的底層框架,讓多模態(tài)的信息之間可以無(wú)差別表示和無(wú)縫轉換,為大模型的人機交互模式、產(chǎn)品迭代模式、服務(wù)運營(yíng)模式提供了更多的可能性。AI 2.0走向安全生產(chǎn)、走向基于數據和算力驅動(dòng)的智慧運營(yíng),是未來(lái)安防行業(yè)發(fā)展的方向。

數據、算法、算力的挑戰與解決方案
“數據、算法、算力”構成了人工智能的三大要素,大模型在安防行業(yè)落地過(guò)程中,首先,數據是AI的基礎,但目前大量數據沉睡在硬盤(pán)中未能得到有效利用?,F有的視頻結構化技術(shù)對數據的挖掘能力有限,無(wú)法滿(mǎn)足精細管理的識別需求。為了解決這個(gè)問(wèn)題,多模態(tài)大模型的引入成為了關(guān)鍵。多模態(tài)大模型能夠識別視頻中的內容,不管是小貓大狗塑料袋,還是公園天橋菜市場(chǎng),不管是刀具橫幅行李箱,還是電瓶車(chē)帶煤氣罐,都可以精準識別,從而喚醒沉睡的數據,為安防領(lǐng)域帶來(lái)更豐富的信息。
其次,算法是AI的大腦,其需求本質(zhì)上來(lái)源于業(yè)務(wù)需求,而非廠(chǎng)商實(shí)驗室的設想。因此,算法的開(kāi)發(fā)和應用天然就需要與實(shí)際業(yè)務(wù)環(huán)境緊密結合。依圖天問(wèn)大模型提供了算法現場(chǎng)訓練的能力,可以快速響應精細化管理需求,一個(gè)新的算法需求可以實(shí)現快速上線(xiàn)。這不僅符合數據合法保護的要求,同時(shí)也滿(mǎn)足了業(yè)務(wù)對算法時(shí)效性的需求,確保算法能夠快速響應并適應變化。
第三,算力成本是決定 AI 大模型應用規模的關(guān)鍵因素。當前高昂的算力成本限制了大模型的廣泛應用。在模型調優(yōu)上,依圖基于視頻監控場(chǎng)景做語(yǔ)義調優(yōu),同時(shí)行業(yè)首款xPU融合架構的服務(wù)器把低成本的內存虛擬化為顯存統一尋址,從而在整體上達到了萬(wàn)倍性能提升、百倍成本下降。
綜上所述,面對大模型落地應用過(guò)程中“數據、算法、算力”的挑戰,多模態(tài)大模型、算法現場(chǎng)訓練以及超融合架構的軟硬件優(yōu)化是目前較為有效的解決策略。這些方案有助于推動(dòng)安防大模型的落地應用,提高人工智能在安防領(lǐng)域的實(shí)用性和效率。
除了數據、算法、算力這三大核心要素外,大模型在場(chǎng)景落地和應用過(guò)程中還存在一些挑戰和困境:一是技術(shù)與現有安防系統的兼容性問(wèn)題,需要確保新技術(shù)能夠無(wú)縫集成到現有的基礎設施中;二是用戶(hù)接受度問(wèn)題,特別是對于新興技術(shù)的適應和信任;三是法規和標準滯后于技術(shù)發(fā)展,可能導致應用上的不確定性和合規風(fēng)險。還有跨領(lǐng)域技術(shù)整合的復雜性,這需要多學(xué)科知識和技術(shù)的融合;四是商業(yè)化落地難題,尤其是在高度定制化和成本控制方面,需要找到平衡點(diǎn)以實(shí)現可持續的商業(yè)模式。解決這些問(wèn)題需要行業(yè)內外的共同努力,包括政策支持、行業(yè)協(xié)作、技術(shù)研發(fā)和市場(chǎng)教育等。

大模型落地應用正迅速推進(jìn)
得益于大模型的深度內容理解、廣泛的適應性與場(chǎng)景泛化能力,以及更自然的人機交互體驗,智能安防領(lǐng)域的大模型落地應用正迅速推進(jìn)。作為人工智能領(lǐng)域的資深從業(yè)者,依圖在2023年7月首個(gè)發(fā)布“天問(wèn)”多模態(tài)大模型,這一創(chuàng )新成果目前已在全國幾十個(gè)項目中部署實(shí)戰,它在視頻語(yǔ)義搜索、萬(wàn)物識別、AI智能體編排以及算法零樣本冷啟動(dòng)等方面展現出巨大潛力。在具體場(chǎng)景中,公共安全、智慧城市建設、智慧交通、內容審核和智慧園區、智慧應急等方向的應用進(jìn)展顯著(zhù),這些領(lǐng)域對視頻分析、行為識別和實(shí)時(shí)反應的需求不斷增長(cháng)。以2023年下半年西部某省份發(fā)生的烈性犬傷人事件為例,城運中心的工作人員面臨快速生成烈性犬檢測算法并布控到城市公共區域的挑戰。如果采用常規深度學(xué)習的算法訓練方法,要求數據搜集、標注、訓練,一個(gè)新算法的產(chǎn)生至少需要半個(gè)月,這嚴重影響了管理的時(shí)效性。而基于多模態(tài)大模型的算法訓練方法大大簡(jiǎn)化了這一過(guò)程。預訓練的大模型基座帶來(lái)近70%的準確性,工作人員在預警處置的過(guò)程中僅需簡(jiǎn)單點(diǎn)擊預警的對錯,不到5天的時(shí)間就可以完成超過(guò)90%的算法準確率?,F場(chǎng)生產(chǎn)新算法的能力展現了驚人的速度和靈活性,有效保障了公共安全。這種以用戶(hù)需求為核心,以技術(shù)創(chuàng )新為驅動(dòng)的策略,是推動(dòng)AI 2.0發(fā)展的關(guān)鍵動(dòng)力。隨著(zhù)技術(shù)的不斷進(jìn)步,預計未來(lái)智能安防的大模型將在更多細分市場(chǎng)和復雜場(chǎng)景中發(fā)揮關(guān)鍵作用,特別是在需要高度個(gè)性化和動(dòng)態(tài)適應性的場(chǎng)景中,大模型的應用將更具潛力。
智能安防行業(yè)大模型發(fā)展前景可期
智能安防行業(yè)的大模型正處在突破性發(fā)展的前夜,其發(fā)展趨勢和前景十分廣闊。隨著(zhù)大模型技術(shù)的進(jìn)一步發(fā)展,特別是多模態(tài)大模型的應用,促使安防系統正從傳統的視覺(jué)監控向更深層次的內容理解、場(chǎng)景適應性和人機交互發(fā)展。未來(lái)的智能安防將更加注重數據和算力的結合,推動(dòng)傳統安全防范到安全生產(chǎn)管理的轉變,以及智慧運營(yíng)的實(shí)現。在這樣的趨勢指引下,依圖在當前新一輪AI浪潮下將聚焦技術(shù)創(chuàng )新和產(chǎn)品落地的深度融合,加強多模態(tài)大模型技術(shù)與領(lǐng)域知識深度結合的產(chǎn)品與方案,打造更懂行業(yè)、更懂客戶(hù)、更懂場(chǎng)景、更易使用的產(chǎn)品,助力“AI+”能更快地在各行業(yè)落地,拓展人工智能新疆界,開(kāi)啟視頻情境理解的新紀元!
您可以復制這個(gè)鏈接分享給其他人:http://wap.northchejian.com.cn/node/929

