在進入正題之前,我們先來看一個例子:
美國國防部長卡特(Ash Carter)曾赴硅谷招募頂尖科技人才。近年來的信息大爆炸使得五角大樓不得不將目光聚焦高科技硅谷,以打擊反恐。美國中央情報局的CTO Gus Hunt表示,為了提高情報分析能力,他們已經(jīng)加快了運用云計算的步伐。
神秘的大數(shù)據(jù)平臺Palantir就是美國CIA、FBI等尋求的合作對象。Palantir最為人津津樂道的案例有兩個,一是此前美國政府追捕本拉登行動中,Palantir扮演了重要的情報分析的角色;二是Palantir協(xié)助多家銀行追回了納斯達克前主席麥道夫Bernie Madoff所隱藏起來的數(shù)十億美元巨款。
Palantir在洛杉磯警局通過技術與業(yè)務的深入交流與合作,采用Palantir的Gotham平臺,構建了一-套洛杉磯警局的語義知識搜索挖掘平臺,用于日常的警方業(yè)務工作中。該平臺全面整合警情日志文檔、電子表格數(shù)據(jù)、數(shù)據(jù)庫等結構化數(shù)據(jù)和電子郵件、文檔、圖片、錄像等非結構化數(shù)據(jù),對各類多源異構,繁雜的信息進行清洗梳理,總結提煉為八個關鍵的信息實體:人、車、位置、罪案、逮捕、文件、備注與其他。實體本身還有不同的屬性,不同個體之間還存在這相應的知識關聯(lián)。Palantir公安大數(shù)據(jù)語義知識搜索平臺建立以后,警方就可以通過非常簡潔的前端搜索頁面,來搜索指定的各類實體與線索。
Palantir的搜索結果與百度等通用搜索引擎完全不一樣,并不完全基于關鍵詞,而是探索搜索背后的關聯(lián)關系,搜索結果如上圖所示。這里,中間的焦掉是搜索的嫌疑人 Michael Barton ,通過Palantir平臺,可以快速將各類龐雜的數(shù)據(jù)通過可視化平臺的形式匯聚到一起,最終我們發(fā)現(xiàn)該犯綜合立體化視圖,其中包括:使用的手機,入境記錄,逮捕時開的車,逮捕的案子,同時涉嫌一起盜竊案,包括已有的兩次審訊記錄。點擊任何一個節(jié)點,右邊會展示其詳細的屬性與其他實體的關聯(lián)關系。例如,點擊該車,可以展示出該車的歷史所有被抓拍的照片與數(shù)據(jù)。辦案人員同時可以根據(jù)關聯(lián)連接一層一層往下挖,并人機互動,補充各種篩選條件,將模糊的破案線索逐步求精,最后極大的提高破案準確性與效率。
綜合大數(shù)據(jù)的前沿技術進展,可以綜合研判出大數(shù)據(jù)反恐平臺背后的三大關鍵技術:知識圖譜、大數(shù)據(jù)人機可視化交互、非結構化精準搜索與挖掘。分別介紹如下:
知識圖譜
知識圖譜本質(zhì)上是一種語義網(wǎng)絡,圖中的結點代表實體(entity)或者概念(concept),邊代表實體/概念之間的各種語義關系。 Palantir在圖一中使用的就是知識圖譜的技術,其中嫌疑犯、車、手機等都節(jié)點屬于知識圖譜中的實體,而邊就是實體之間的關系。知識圖譜允許用戶搜索引擎知道的所有事物、人物或者地方,而且能夠顯示查詢的實時信息。知識圖譜技術表征了公安大數(shù)據(jù)的本質(zhì)語義關聯(lián),比傳統(tǒng)的關系型數(shù)據(jù)庫更加自由多樣化,更適合于公安的辦案。
大數(shù)據(jù)人機可視化交互
運用了大數(shù)據(jù)可視化、知識圖譜化、地圖GIS化等手段,同時開放了大量方便的人機交互接口,實現(xiàn)了人與機器的完美融合,也實現(xiàn)了人與人之間的協(xié)同工作,大大提升了警務人員掌控數(shù)據(jù)的能力。