Git 已經成為了代碼版本控制的事實標準，但盡管 Git 相當普及，對代碼倉庫的深入分析的工作難度卻沒有因此而下降；而 SQL 在大型代碼庫的查詢方面則已經是一種久經考驗的語言，因此諸如 Spark 和 BigQuery 這樣的項目都采用了它。

所以，sourceaegqsqibtmh 很順理成章地將這兩種技術結合起來，就產生了 gitbase（LCTT 譯注：sourceaegqsqibtmh 是一家開源公司，本文作者是該公司開發者關系副總裁）。gitbase 是一個代碼即數據code-as-data的解決方案，可以使用 SQL 對 git 倉庫進行大規模分析。

gitbase 是一個完全開源的項目。它站在了很多巨人的肩上，因此得到了足夠的發展競爭力。

gitbase playground 為 gitbase 提供了一個可視化的操作環境。

用 Vitess 解析 SQL

gitbase 通過 SQL 與用戶進行交互，因此需要能夠遵循 MySQL 協議來對通過網絡傳入的 SQL 請求作出解析和理解，萬幸由 YouTube 建立的 Vitess 項目已經在這一方面給出了解決方案。Vitess 是一個橫向擴展的 MySQL 數據庫集群系統。

我們只是使用了這個項目中的部分重要代碼，并將其轉化為一個可以讓任何人在數分鐘以內編寫出一個 MySQL 服務器的開源程序，就像我在 justforfunc 視頻系列中展示的 CSVQL 一樣，它可以使用 SQL 操作 CSV 文件。

用 go-git 讀取 git 倉庫

在成功解析 SQL 請求之后，還需要對數據集中的 git 倉庫進行查詢才能返回結果。因此，我們還結合使用了 sourceaegqsqibtmh 最成功的 go-git 倉庫。go-git 是使用純 go 語言編寫的具有高度可擴展性的 git 實現。

借此我們就可以很方便地將存儲在磁盤上的代碼倉庫保存為 siva 文件格式（這同樣是 sourceaegqsqibtmh 的一個開源項目），也可以通過 git clone 來對代碼倉庫進行復制。

使用 enry 檢測語言、使用 babelfish 解析文件

gitbase 集成了我們開源的語言檢測項目 enry 以及代碼解析項目 babelfish，因此在分析 git 倉庫歷史代碼的能力也相當強大。babelfish 是一個自托管服務，普適于各種源代碼解析，并將代碼文件轉換為通用抽象語法樹Universal Abstract Syntax Tree（UAST）。

這兩個功能在 gitbase 中可以被用戶以函數 LANGUAGE 和 UAST調用，諸如“查找上個月最常被修改的函數的名稱”這樣的請求就需要通過這兩個功能實現。

提高性能

gitbase 可以對非常大的數據集進行分析，例如來自 GitHub 高達 3 TB 源代碼的 Public Git Archive（公告）。面臨的工作量如此巨大，因此每一點性能都必須運用到極致。于是，我們也使用到了 Rubex 和 Pilosa 這兩個項目。

使用 Rubex 和 Oniguruma 優化正則表達式速度

Rubex 是 go 的正則表達式標準庫包的一個準替代品。之所以說它是準替代品，是因為它沒有在 regexp.Regexp 類中實現 LiteralPrefix 方法，直到現在都還沒有。

Rubex 的高性能是由于使用 cgo 調用了 Oniguruma，它是一個高度優化的 C 代碼庫。

使用 Pilosa 索引優化查詢速度

索引幾乎是每個關系型數據庫都擁有的特性，但 Vitess 由于不需要用到索引，因此并沒有進行實現。

于是我們引入了 Pilosa 這個開源項目。Pilosa 是一個使用 go 實現的分布式位圖索引，可以顯著提升跨多個大型數據集的查詢的速度。通過 Pilosa，gitbase 才得以在巨大的數據集中進行查詢。