您好,登錄后才能下訂單哦!
這篇文章給大家介紹為什么需要圖數據庫,內容非常詳細,感興趣的小伙伴們可以參考借鑒,希望對大家能有所幫助。
當前,互聯網數據呈指數級增長,但是以更快速度增加的是數據之間的關系。企業的 CIO 和 CTO 不僅要管理大量數據,還要從現有的數據中挖掘商業價值,在這種情況下處理數據之間的關系比處理單個數據更為重要。
傳統的關系型數據庫,在處理復雜數據關系運算上表現很差,隨著數據量和深度的增加,關系型數據庫無法在有效的時間內計算出結果。所以,為了更好的利用數據間的連接,企業需要一種——將關系信息存儲為實體、靈活拓展數據模型的數據庫技術,這項技術就是圖數據庫(Graph Database)。
圖數據庫具有天然可解釋性
圖數據庫是基于圖模型,對圖數據進行存儲、操作和訪問的一項技術,即使沒有專業的圖論知識儲備,也能輕松理解。它可以接受比實時查詢更為復雜的分析需求,來挖掘圖數據中的潛在價值。從分類上來說,圖數據庫屬于 NoSQL 的一種。
圖模型是圖數據庫中的重要概念。圖模型由兩個要素組成:節點和邊。每個節點代表一個實體(一個人,地方,事物或其他數據),每條邊代表兩個節點之間的連接,這種通用結構可以對各種場景進行建模,如社交網絡以及由關系定義的任何其他事物。
例如:下面這個圖模型中包含 3 個節點:中國、四川、大熊貓。其中他們的兩條邊分別是:大熊貓是四川的特色、四川屬于中國。
圖模型的基礎要素:節點和邊
從上面的圖模型可以看出,圖數據庫的目標就是基于圖模型以一種直觀的方式模擬這些關系。因為是基于事物關系的模型表達,圖因此也具有天然的可解釋性。
圖數據庫在處理關聯數據時的優勢
與關系型數據庫相比,圖數據庫在處理關聯數據時有三個非常突出的技術優勢:
高性能:隨著數據量的增多和關聯深度的增加,傳統關系型數據庫受制于檢索時需要多個表之間連接操作,數據寫入時也需考慮外鍵約束,從而導致較大的額外開銷,產生嚴重的性能問題。而圖模型固有的數據索引結構,使得它的數據查詢與分析速度更快。
靈活:圖數據庫有非常靈活的數據模型,使用者可以根據業務變化隨時調整數據模型,比如任意添加或刪除頂點、邊,擴充或者縮小圖模型這些都可以輕松實現,這種頻繁的 Schema 更改在關系型數據庫上不能到很好的支持。
敏捷:圖數據庫的圖模型非常直觀,支持測試驅動開發模式,每次構建時可進行功能測試和性能測試,符合當今比較流行的敏捷開發需求,對于提高生產和交付效率也有一定幫助。
我們可以繼續擴展前面介紹到的圖模型用例,來展示圖數據庫的優勢。北京也屬于中國,長城位于北京,Tom 去過長城,火鍋店張師傅出生于四川,Tom 出生在中國喜歡大熊貓,張師傅在北京開店,Tom 是張師傅的顧客。
拓展后的圖模型
如果你是業務 / 產品工作人員,你一定希望你的產品或業務拓展到用戶的方方面面。如果你是開發人員你一定希望能夠簡單高效地描述這個紛繁復雜的世界。
在傳統的關系型數據庫中,要想進行關聯查詢,我們需要建立多少張表呢?國家、省 / 市、人、動物、地標、動物與省 / 市的關系、國家與省 / 市的關系、人與省 / 市的關系、人與人..... 粗算一下 至少十幾張表。
構建這些表倒沒什么。但如果,現在我們需要查詢:在哪些城市上班的人最喜歡大熊貓?
首先需要關聯動物表、人員表、人喜歡的動物表,關聯這三張表就可以查到 Tom 喜歡大熊貓。但是接下來你還需要再關聯兩張表,找到他們在哪個地標工作,然后再關聯兩張表找到這些地標在哪個城市。等等,還沒完,你還得 group by 一下,再排個序。
你會發現這個查詢實在太難了!但這恰恰是數據分析師最基本的工作,也是大數據時代海量信息處理的一個縮影。而使用圖數據庫,我們可以輕易的描述和查詢上圖所示的關系。在處理復雜數據關系運算上,圖數據庫查詢效率遠高于關系型數據庫。
圖數據庫的應用場景
圖數據庫技術已經應用于現實生活中的方方面面,諸如 Google、Facebook 等科技巨頭已經開始使用圖數據庫的力量來蓬勃發展業務。據 Gartner 在《十大數據分析技術趨勢》預測,2012 年至 2022 年,全球圖處理及圖數據庫的應用都將以每年 100% 的速度迅猛增長。
如果說知識圖譜是圖數據庫的底層應用場景,充分利用了圖模型在存儲和查詢的優勢為多行業提供知識服務。那么金融風控則是具有行業特點的高階應用場景。
知識圖譜
知識圖譜作為圖數據庫的底層應用,已服務于多種行業,包括:智能問答、搜索、個性化推薦等。以智能問答為例,產品主要分為聊天機器人、行業智能問答系統兩種。開放領域的知識圖譜能為聊天機器人提供廣泛知識,機器不僅能和使用者聊天還能提供日常知識。行業智能問答系統則使用行業知識圖譜,能夠為用戶有針對性的提供專業領域知識,在法律、醫療行業已得到運用。
在知識圖譜的應用落地上,主要有兩點因素影響著知識圖譜的質量和實現 -NLP 自然語言處理引擎、算法庫。NLP 自然語言處理引擎決定了 NLP 爬蟲平臺獲取數據的質量和數量,而這些原始數據作為知識圖譜的知識原料又決定了知識圖譜的水平。算法庫中的圖算法決定了圖構建、圖存儲和圖操作的能力,知識原料豐富而圖算法落后,依然不能構建出強大的知識圖譜。
金融反欺詐
圖數據庫通過利用多維交叉關聯信息深度刻畫申請和交易行為,可以有效識別規模化、隱蔽性的欺詐網絡和洗錢網絡;結合機器學習、聚類分析、風險傳播等相關算法,可以實時計算用戶的風險評分,在風險行為發生前預先識別,有效幫助金融機構提升效率、降低風險。應用圖數據庫的金融風控場景很多,例如個人信貸、洗錢路徑追蹤、個人 / 企業征信等
基于圖數據庫在金融風控的優異表現,很多企業表示對這項技術的看好,在這之中也有一些前瞻性的企業已率先使用此技術并取得競爭性優勢。圖技術發展多年,這項技術仍然有很多企業沒有使用,是什么原因阻礙了技術的推進?
首先是數據存儲的問題,在反洗錢的場景中,需對用戶的借記卡和信用卡數據存儲分析。在存儲時發現,僅 10 個月借記卡數據 +1 個月信用卡數據規模就有 5 個 T,這樣的數據量是過去圖數據庫無法支持的。
第二點是多步分析問題。在反洗錢應用場景中需要做到 3-10 步以上的分析,而目前的圖數據庫在企業級場景下,2 度到 3 度查詢時就會出現超時或者內存溢出的問題。這樣的性能對于欺詐甄別的幫助很小。
針對這些問題,圖數據庫廠商正在積極構建成熟的解決方案來滿足這兩點要求,市面上有越來越多高性能圖數據庫出現。目前,部分企業采取的替代方案是通過圖數據庫 + 大數據平臺的方式實現大數據量的效果,但是這樣的解決方案由于技術門檻較高無法輕易掌握。
工業領域
圖模型具有強大的表現力對于快速更新的事物有很強的適應性,在工業領域用來管理快速變化的庫存、供應鏈關系。目前已有沃爾沃等汽車制造商,依靠圖數據庫優化生產流程和供應鏈管理。
在制造業,供應鏈的管理涉及到多人協作和實時庫存信息的反饋,包括匯總后的信息和明細數據的查詢,查詢過程涉及實體很多且關系復雜。此時圖數據庫在面對這類深度關聯的場景時,優勢就顯現出來了,因為只需要通過邊的查詢就能找到相關聯的數據,而無需對某一頂點做全局掃描,圖數據庫能夠做到對于流入數據的實時更新和數據深度遍歷。
圖數據庫技術的架構
圖數據庫的技術架構如下圖所示,整體上采用分層架構的模式,由上至下分別是:接口層、計算層、存儲層。
圖數據庫的系統架構
(1)接口層:接口層對外提供服務,有如下幾種方式:
查詢語言接口:提供除該圖數據庫原有查詢語言之外的語言查詢,例如 Cypher、Gremlin 等主流圖查詢語言接口。
API:提供 ODBC、JDBC、RPC、RESTful 等接口與應用端交互。
SDK:在 Python、Java、C++ 等編程語言中通過庫函數的方式調用圖數據庫的接口。
可視化組件:通過圖形化界面的形式展示和實現用戶的交互。
(2)計算層:提供對操作的處理和計算,包括語法解析、查詢引擎、優化器、事務管理、任務調度和圖算法實現等。其中,圖算法可能是由圖數據庫本身提供,也可能是提供接口與圖處理引擎對接
(3)存儲層:圖數據庫有原生和非原生存儲兩種存儲方式,圖存儲引擎提供了圖數據結構、索引邏輯上的管理。
圖查詢語言標準統一代表市場認可度提升
與關系型數據庫不同,圖數據庫領域目前沒有統一的查詢語言,大多數查詢語言與產品緊密關聯。當企業需要使用新的圖數據時需要重新學習語法,這帶來了不必要的學習成本。是否擁有一個統一的查詢語言標準,也標志著圖數據庫市場的成熟度。
在 2019 年 9 月 17 日,SQL 標準國際委員會投票決定,將 GQL 作為一種新的圖數據查詢標準語言。目前還無法確定 GQL 的第一個可實現版本,但很有可能在 2020 下半年會推出 GQL 圖查詢語言的完備草案。
查詢語言統一帶來的好處:
降低企業學習成本—前期的學習成果是能夠積累在將來發揮作用的。新的查詢語言不只是簡單的語法,還是一種新的語言使用思考方式。統一語言后,使用不同的圖數據庫將只意味工具不同,但是語言基礎是相通的。
提升技術成熟度—企業不只擔心學習成本,更擔心的是整個技術的成熟程度。如果業界有一門統一的查詢語言,也就是當企業認為這種分析方式是穩定而成熟的,才會認可它。
云讓數據查詢和分析變得簡單易用
目前將圖數據庫上云的廠商并不多,少數圖數據庫廠商提供云上圖數據庫部署,供數據科學家,開發人員,業務分析師,學生和其他愛好者使用。開發者可以在短時間里通過簡單的步驟開啟基于圖的解決方案配置。
大數據時代時代的業務增長帶來了數據量的劇增和數據關聯的復雜化,與此同時企業對數據價值的期望也越來越高。根據 DB Engines 近 7 年數據庫流行趨勢顯示,圖數據庫相較其他主流數據庫受歡迎程度遙遙領先,目前,國內越來越多的廠商進入圖數據庫領域,開始構建自己的圖數據庫,圖數據庫的建設既需要全面的大數據技術又需要圖數據庫工程師和業務專家的持續協作,是一項長期持續的工作,未來,圖數據庫技術必將成為最為熱點的技術之一。
關于為什么需要圖數據庫就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。