車輛大數(shù)據(jù)在解決交通難題上發(fā)揮著越來(lái)越重要的作用。
讓尊重事實(shí)、推崇理性、強(qiáng)調(diào)精確、注重細(xì)節(jié)的理念,貫穿公共安全工作的全過(guò)程。善于從多源的、分散的、碎片化的大數(shù)據(jù)中找到規(guī)律。 孟建柱
平安城市系統(tǒng)中車輛大數(shù)據(jù)的發(fā)展背景
隨著經(jīng)濟(jì)快速發(fā)展,城市機(jī)動(dòng)車保有量持續(xù)增加,不僅加大了交通管理的難度,而且涉車涉駕的案件比例也不斷上升,特別是盜搶機(jī)動(dòng)車輛、機(jī)動(dòng)車肇事逃逸以及涉車類刑事案件,嚴(yán)重影響了社會(huì)治安狀況,損害了人民群眾利益。而隨著平安城市建設(shè)的擴(kuò)大深入和資源整合,公安通過(guò)自建卡口電警系統(tǒng)加強(qiáng)了車輛管控,掌握了大量的車輛卡口數(shù)據(jù)和圖片。
過(guò)車信息的爆發(fā)式增長(zhǎng)得益于三個(gè)方面:
一、按照中共中央辦公廳和國(guó)務(wù)院辦公廳印發(fā)《關(guān)于加強(qiáng)社會(huì)治安防控體系建設(shè)的意見(jiàn)》關(guān)于各地加快公共安全視頻監(jiān)控系統(tǒng)建設(shè),全面提高社會(huì)治安防控體系的科技化水平要求,前端車輛抓拍點(diǎn)位的建設(shè)規(guī)劃質(zhì)量、成像效果等直接影響車輛大數(shù)據(jù)研判系統(tǒng)應(yīng)用成效的因素都會(huì)提出優(yōu)化和改進(jìn)措施。包括:根據(jù)城市地域特點(diǎn)和布局規(guī)劃,道路按照 科學(xué)布局、圍繞實(shí)戰(zhàn)、建用結(jié)合 的方法,通過(guò)治安卡口防控系統(tǒng),基于 圈 、 塊 、 格 、 線 、 點(diǎn) 的邏輯布局,在全市構(gòu)建技術(shù)防控 圈 、責(zé)任明晰的管控 塊 、基本封閉的單元 格 、掌握人車動(dòng)態(tài)的軌跡 線 ,以及防控有效的關(guān)鍵 點(diǎn) ,從而實(shí)現(xiàn) 區(qū)域全面監(jiān)控、時(shí)空無(wú)縫銜接、目標(biāo)全程追蹤 的防控效果。
二、前端攝像機(jī)的智能化水平提升,使得車牌識(shí)別技術(shù)在常規(guī)視頻監(jiān)控系統(tǒng)中得到快速普及。以往需要在路口部署標(biāo)準(zhǔn)的卡口攝像機(jī),現(xiàn)在可以在路段中間部署簡(jiǎn)易卡口攝像機(jī),在對(duì)普通監(jiān)控場(chǎng)景錄像的同時(shí)自動(dòng)捕獲和識(shí)別車輛和車牌信息;此外,對(duì)社區(qū)出入口、加油站、停車場(chǎng)出入口等車輛進(jìn)出口部署微型卡口攝像機(jī),利用地形封閉的特點(diǎn),對(duì)出入車輛實(shí)現(xiàn)自動(dòng)抓拍和識(shí)別。
三、深度學(xué)習(xí)技術(shù)的發(fā)展,推動(dòng)了圖片結(jié)構(gòu)化和特征提取的能力。早期建設(shè)的卡口系統(tǒng),智能分析能力弱,圖片質(zhì)量以及車牌識(shí)別準(zhǔn)確率較低,經(jīng)常要根據(jù)品牌型號(hào)顏色等車輛自身固有信息,從海量過(guò)車圖片或視頻中,人工查找目標(biāo)車輛,由于一線警力有限、勞動(dòng)強(qiáng)度大、車型種類多、光線角度不確定等因素,無(wú)法保證查找的準(zhǔn)確性和時(shí)效性,特別是突發(fā)緊急事件,經(jīng)常貽誤最佳處理時(shí)機(jī)。通過(guò)使用車輛深度學(xué)習(xí)系統(tǒng),對(duì)前端卡口或簡(jiǎn)易卡口獲取的過(guò)車圖片進(jìn)行特征結(jié)構(gòu)化分析識(shí)別,充分挖掘海量的卡口過(guò)車圖片中有價(jià)值信息,不但可以提高車牌車型的準(zhǔn)確率,而且增加了車輛特征的識(shí)別信息,實(shí)現(xiàn)了車輛子品牌、車身顏色、不系安全帶、駕駛員接打電話、遮陽(yáng)板狀態(tài)等識(shí)別檢測(cè)功能,對(duì)過(guò)車數(shù)據(jù)進(jìn)行精細(xì)化校正,擺脫了傳統(tǒng)單純依靠車牌進(jìn)行分析研判的單一手段,為卡口電警數(shù)據(jù)提供了更加豐富實(shí)用的車輛防控應(yīng)用,可以實(shí)現(xiàn)對(duì)高危車輛的有效預(yù)警防控,優(yōu)化警力部署進(jìn)行針對(duì)性車輛排查,可以在大量涉車涉駕案件中有效鎖定嫌疑車輛,提高刑事偵查效能,使治安防控手段從事后被動(dòng)偵查向事前主動(dòng)預(yù)警轉(zhuǎn)變。
大數(shù)據(jù)提升城市治安及管理水平
大數(shù)據(jù)的價(jià)值在于通過(guò)對(duì)大數(shù)據(jù)進(jìn)行高速捕獲和實(shí)時(shí)分析,及時(shí)獲取核心業(yè)務(wù)和戰(zhàn)略決策所需的關(guān)鍵信息,提升管理決策水平。
依據(jù)統(tǒng)計(jì)學(xué),任何動(dòng)態(tài)發(fā)展的事物,只要有足夠多的樣本數(shù)據(jù),就一定能從樣本數(shù)據(jù)中找到動(dòng)態(tài)發(fā)展的規(guī)律。數(shù)據(jù)越多,準(zhǔn)確率越高,這就是數(shù)據(jù)的價(jià)值所在。對(duì)于商業(yè)應(yīng)用,可以通過(guò)數(shù)據(jù)分析用戶行為規(guī)律從而提高銷售量、分析市場(chǎng)規(guī)律從而定點(diǎn)投放廣告降低成本;對(duì)于公安行業(yè),可以通過(guò)數(shù)據(jù)分析區(qū)域性犯罪趨勢(shì),提前預(yù)防從而降低犯罪率,可以分析交通行為規(guī)律,提前做交通疏導(dǎo),提高交通通暢率。
2016年1月,政法委書記孟建柱同志提出大數(shù)據(jù)的八個(gè)推動(dòng),要求:1、推動(dòng)理念創(chuàng)新,順應(yīng)互聯(lián)網(wǎng)時(shí)代的要求,確立合作、互通、共贏理念。2、推動(dòng)風(fēng)險(xiǎn)共擔(dān),運(yùn)用眾創(chuàng)、眾包、眾智理念,讓大眾的問(wèn)題由大眾來(lái)解決。3、推動(dòng) 數(shù)據(jù)文化 ,堅(jiān)持用數(shù)據(jù)說(shuō)話,防止拍腦袋隨意決策。4、推動(dòng)創(chuàng)新風(fēng)險(xiǎn)預(yù)警機(jī)制,探索 人力+科技 、 傳統(tǒng)+現(xiàn)代 的風(fēng)險(xiǎn)預(yù)警模式。5、推動(dòng)科技運(yùn)用創(chuàng)新,大數(shù)據(jù)表示的是過(guò)去,但表達(dá)的是未來(lái),得數(shù)據(jù)者得未來(lái)。6、推動(dòng)運(yùn)用新技術(shù),加強(qiáng)基層基礎(chǔ)建設(shè),把 不起眼 的信息匯集起來(lái)。7、推動(dòng)社會(huì)信用體系建設(shè),堅(jiān)持推行實(shí)名制和保護(hù)公民個(gè)人信息安全并重。8、推動(dòng)國(guó)家信息安全維護(hù),避免被他國(guó) 竊奪 數(shù)據(jù)信息控制權(quán)。
大數(shù)據(jù)通過(guò)對(duì)海量數(shù)據(jù)的整合和挖掘,揭示傳統(tǒng)技術(shù)方式難以展現(xiàn)的關(guān)聯(lián)關(guān)系,還可以預(yù)警風(fēng)險(xiǎn),及時(shí)切斷風(fēng)險(xiǎn)鏈。例如:
針對(duì)堵車現(xiàn)象,實(shí)時(shí)采集車流數(shù)據(jù),自動(dòng)控制信號(hào)燈,讓堵車能有所緩解。
針對(duì)城鄉(xiāng)結(jié)合部 治安盲區(qū) ,采集人口流動(dòng)信息,分析出潛在風(fēng)險(xiǎn),警力針對(duì)性地科學(xué)調(diào)配。
針對(duì)保險(xiǎn)理賠,通過(guò)社會(huì)信息搜集分析系統(tǒng),上海等地正積極探索商業(yè)保險(xiǎn)公司參與社會(huì)治理,將保險(xiǎn)事務(wù)由 事后理賠 轉(zhuǎn)為 事先風(fēng)險(xiǎn)防范 。
針對(duì)聚集疏導(dǎo),通過(guò)關(guān)鍵詞搜索技術(shù)、熱力圖技術(shù)、電子巡邏技術(shù)等,探索預(yù)測(cè)人群聚集苗頭和動(dòng)向,人員過(guò)密時(shí)及時(shí)提示預(yù)警,適時(shí)分流人群。
針對(duì)犯罪熱點(diǎn),集成公安專業(yè)數(shù)據(jù),實(shí)時(shí)掌握犯罪軌跡、預(yù)判犯罪熱點(diǎn),提高防范打擊犯罪的水平。
針對(duì)安全生產(chǎn),工程建設(shè)特別容易出事,建立工程建設(shè)監(jiān)管和信用平臺(tái),以大數(shù)據(jù)為依托, 全程留痕 ,讓監(jiān)管 無(wú)死角 。
車輛大數(shù)據(jù)實(shí)際使用中面臨的問(wèn)題
大數(shù)據(jù)的特征是大量性(規(guī)模超大、不斷攀升)、高速性(高速產(chǎn)生、處理高效)、多樣性(種類多樣、來(lái)源多樣)、低密性(有用數(shù)據(jù)提純)。海量數(shù)據(jù)給常規(guī)技術(shù)(獲取存儲(chǔ)管理、處理傳遞共享、關(guān)聯(lián)聚類分析)帶來(lái)了眾多挑戰(zhàn) 雖然數(shù)據(jù)很多,但是有用的數(shù)據(jù)只有34%,好用的數(shù)據(jù)僅有7%,被分析的數(shù)據(jù)更是少到只有1%。如何在海量的數(shù)據(jù)中提取出有價(jià)值的信息需要多學(xué)科多技術(shù)的研究。當(dāng)前的特點(diǎn)是大數(shù)據(jù)、小模型、小定律交叉,即使是同一類問(wèn)題,每個(gè)系統(tǒng)也都不一樣,所以模型和程序要針對(duì)數(shù)據(jù)設(shè)計(jì)。結(jié)構(gòu)化數(shù)據(jù)通過(guò)數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)解決,半結(jié)構(gòu)化數(shù)據(jù)使用網(wǎng)頁(yè)和搜索引擎等技術(shù)解決,非結(jié)構(gòu)化數(shù)據(jù)使用深度學(xué)習(xí)、網(wǎng)絡(luò)交互和群體智能解決。
干警在實(shí)戰(zhàn)使用中,最主要的操作應(yīng)用是查詢車牌信息和其他過(guò)車記錄以便掌握線索。面對(duì)動(dòng)輒幾十億、上百億甚至千億級(jí)別的海量過(guò)車數(shù)據(jù)的存儲(chǔ)和查詢壓力,如何進(jìn)行可靠存儲(chǔ)和高效應(yīng)用?傳統(tǒng)的普通關(guān)系型數(shù)據(jù)庫(kù)解決方案和技術(shù)手段存在檢索難、并發(fā)難、挖掘難、擴(kuò)容難、應(yīng)用難等一系列問(wèn)題,速度慢、準(zhǔn)確性差,需要投入大量的精力和資源進(jìn)行技術(shù)升級(jí)改造。因此,及時(shí)準(zhǔn)確獲取各類相關(guān)數(shù)據(jù)并構(gòu)建大數(shù)據(jù)處理模型是建設(shè)平安城市大數(shù)據(jù)中心的前提,而這一難題目前正逐步通過(guò)先進(jìn)的大數(shù)據(jù)技術(shù)進(jìn)行解決。
車輛大數(shù)據(jù)的幾項(xiàng)關(guān)鍵技術(shù)
1、海量數(shù)據(jù)檢索
數(shù)據(jù)檢索作為大數(shù)據(jù)最基本的應(yīng)用,分布式內(nèi)存檢索引擎通過(guò)將海量數(shù)據(jù)在集群各個(gè)節(jié)點(diǎn)創(chuàng)建索引,并高速緩存在各節(jié)點(diǎn)內(nèi)存,節(jié)點(diǎn)之間通過(guò)分布式特有的網(wǎng)絡(luò)通信技術(shù),用最小的代價(jià)將計(jì)算和讀取數(shù)據(jù)完成匯總。當(dāng)然,基于智慧城市車輛大數(shù)據(jù)中數(shù)據(jù)模型的特點(diǎn),還要對(duì)分布式內(nèi)存檢索引擎的機(jī)制做專門的優(yōu)化,才能實(shí)現(xiàn)千億級(jí)數(shù)據(jù)多條件組合的秒級(jí)查詢。
針對(duì)百億級(jí)以上數(shù)據(jù),大數(shù)據(jù)檢索的硬件服務(wù)器需要考慮SSD固態(tài)硬盤,核心數(shù)據(jù)存儲(chǔ)在固態(tài)硬盤,可以提高磁盤的讀取速度,在分布式并行計(jì)算的同時(shí),進(jìn)一步提升了數(shù)據(jù)的檢索效率,也為數(shù)據(jù)的穩(wěn)定性提供了重要保障。
2、大數(shù)據(jù)研判分析
目前比較先進(jìn)的方式是流式處理與批量處理相結(jié)合,以Hbase數(shù)據(jù)倉(cāng)庫(kù)為數(shù)據(jù)源,針對(duì)車輛大數(shù)據(jù)研判分析,可以提供多樣化的應(yīng)用功能,既滿足實(shí)時(shí)在線的數(shù)據(jù)處理需求,又支持海量數(shù)據(jù)的線下分析。例如,天地偉業(yè)Easy7公安實(shí)戰(zhàn)平臺(tái)的信息深度研判系統(tǒng)提供了多點(diǎn)碰撞、區(qū)域徘徊、伴隨車輛、晝伏夜出等將近20種技站法以及各種流量統(tǒng)計(jì)和態(tài)勢(shì)分析,都是在數(shù)據(jù)挖掘中將流式處理技術(shù)、數(shù)學(xué)統(tǒng)計(jì)算法、遺傳算法、神經(jīng)網(wǎng)絡(luò)算法、貝葉斯判別、機(jī)器學(xué)習(xí)等算法結(jié)合起來(lái),并針對(duì)現(xiàn)場(chǎng)用戶實(shí)際需求研發(fā)出來(lái)。
基于Hadoop技術(shù)框架
車輛大數(shù)據(jù)系統(tǒng)架構(gòu)
資源接入層:實(shí)現(xiàn)各類前端系統(tǒng)的綜合接入,包括電警卡口系統(tǒng)、簡(jiǎn)易卡口系統(tǒng)、公安自建視頻監(jiān)控系統(tǒng)以及社會(huì)資源監(jiān)控系統(tǒng)。
數(shù)據(jù)接入層:實(shí)現(xiàn)平臺(tái)間的數(shù)據(jù)對(duì)接和分類匯聚整理,卡口平臺(tái)和電警平臺(tái)的非結(jié)構(gòu)化和半結(jié)構(gòu)化過(guò)車數(shù)據(jù)用于深度識(shí)別分析,六合一平臺(tái)、車駕管庫(kù)、盜搶庫(kù)等結(jié)構(gòu)化數(shù)據(jù)可接入車輛大數(shù)據(jù)。
數(shù)據(jù)處理層:通過(guò)圖像特征解析,提取圖片中關(guān)鍵信息,包括車牌、車標(biāo)、車型、車身顏色、車輛子品牌、主副駕駛未系安全帶、駕駛員打手機(jī)、夜間遮陽(yáng)板狀態(tài)等。Easy7車輛深度識(shí)別平臺(tái)就是在數(shù)據(jù)處理層為系統(tǒng)提供分析引擎。
實(shí)戰(zhàn)應(yīng)用層:為公安用戶提供面向?qū)崙?zhàn)的應(yīng)用平臺(tái),在大數(shù)據(jù)支撐下可以提供包括車輛信息綜合查詢、以圖搜圖、車輛技戰(zhàn)法、稽查布控、違法數(shù)據(jù)統(tǒng)計(jì)等功能,使視頻圖像數(shù)據(jù)的研判挖掘應(yīng)用更有針對(duì)性,提高了對(duì)犯罪行為的精確打擊。
車輛大數(shù)據(jù)分析檢索系統(tǒng)的應(yīng)用
以天地偉業(yè)推出的Easy7大數(shù)據(jù)分析檢索系統(tǒng)為例,該系統(tǒng)立足平安城市系統(tǒng)建設(shè)應(yīng)用,結(jié)合智慧城市系統(tǒng)規(guī)劃需求,支持在海量大數(shù)據(jù)信息中快速檢索和研判分析。該系統(tǒng)可全面接入公安自建監(jiān)控網(wǎng)、社會(huì)面監(jiān)控資源以及主流廠家的交通卡口和電警設(shè)備,將采集到的數(shù)據(jù)以結(jié)構(gòu)化語(yǔ)義存儲(chǔ)。系統(tǒng)采用基于大規(guī)模集群分布式并行運(yùn)算存儲(chǔ)的Hadoop作為底層數(shù)據(jù)分析存儲(chǔ)框架,在工作調(diào)度、負(fù)載平衡、容錯(cuò)容災(zāi)、設(shè)備運(yùn)維等方面進(jìn)行了深度整合,保證了大數(shù)據(jù)訪問(wèn)的可靠性、安全性和高性能,徹底消除了傳統(tǒng)存儲(chǔ)系統(tǒng)的瓶頸,可以滿足高帶寬和高并發(fā)的海量數(shù)據(jù)存取需求。系統(tǒng)將音視頻信息和用戶業(yè)務(wù)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)構(gòu)建成圖像資源特征庫(kù),使用Hbase進(jìn)行分布式存儲(chǔ),解決了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在超大規(guī)模和高度并發(fā)方面的限制,為百億級(jí)別的數(shù)據(jù)量提供秒級(jí)訪問(wèn)性能,并針對(duì)各行業(yè)對(duì)業(yè)務(wù)數(shù)據(jù)的實(shí)際需求應(yīng)用,構(gòu)建了多樣化的數(shù)學(xué)分析模型,提供了直觀的圖形化數(shù)據(jù)結(jié)果展現(xiàn)。
該系統(tǒng)提供的功能包括:
1、分類檢索:按照行人、三輪車、汽車分類檢索,點(diǎn)擊結(jié)果可播放相應(yīng)圖片或者對(duì)應(yīng)片段的視頻。
2、大數(shù)據(jù)全文檢索:支持精確車牌查詢、模糊車牌查詢、路口過(guò)車查詢、區(qū)域過(guò)車查詢、車輛類型查詢、車輛品牌查詢、無(wú)牌車查詢、車身顏色查詢,還支持多種條件組合查詢,可在秒級(jí)提供檢索結(jié)果。例如在一個(gè)月內(nèi)的過(guò)車記錄中對(duì)車牌號(hào)碼進(jìn)行模糊查詢,可在2秒返回結(jié)果。
3、車輛研判分析:為車輛信息深度研判系統(tǒng)提供應(yīng)用計(jì)算的加速作用,在車輛多點(diǎn)碰撞、初次入城分析、跟車策略分析、出入案發(fā)現(xiàn)場(chǎng)車輛分析、伴隨車輛分析、車輛頻次分析、連續(xù)違法分析、落腳點(diǎn)分析、頻繁入城分析、頻繁夜出分析、棄置車輛分析、區(qū)域徘徊分析、疑似假**、晝伏夜出分析、嫌疑套**等技戰(zhàn)法策略中可以大幅提升運(yùn)算效率。系統(tǒng)基本可在10秒內(nèi)提供檢索結(jié)果。
車輛大數(shù)據(jù)分析檢索系統(tǒng)的應(yīng)用
車輛大數(shù)據(jù)分析檢索系統(tǒng)是針對(duì)數(shù)據(jù)快速增長(zhǎng)的云存儲(chǔ)、云計(jì)算、大數(shù)據(jù)等多種綜合技術(shù)集合,不僅能夠輕松處理海量的音視頻等結(jié)構(gòu)化數(shù)據(jù),還能結(jié)合車輛信息深度研判系統(tǒng)發(fā)掘視頻圖片及數(shù)據(jù)中的關(guān)聯(lián)情況,為業(yè)務(wù)處理和決策分析提供有力支持。