溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
Aggregation 可以和普通查詢結果并存，一個查詢結果中也允許包含多個不相關的Aggregation. 如果只關心聚合結果而不關心查詢結果的話會把SearchSource的size設置為0，能有效提高性能.
Metrics:
簡單聚合類型, 對于目標集和中的所有文檔計算聚合指標, 一般沒有嵌套的sub aggregations. 比如 平均值(avg) , 求和 (sum), 計數 (count), 基數 (cardinality). Cardinality對應distinct count
Bucketing:
桶聚合類型, 在一系列的桶而不是所有文檔上計算聚合指標,每個桶表示原始結果集合中符合某種條件的子集. 一般有嵌套的sub aggregations. 典型的如TermsAggregation, HistogramAggregation
Matrix:
矩陣聚合, 多維度聚合, 即根據兩個或者多個聚合維度計算二維甚至多維聚合指標表格. 目前貌似只有一種MatrixStatAggregation. 并且目前不支持腳本(scripting)
Aggregation request:
兩層結構:
Aggregation -> SubAggregation
Sub aggregation是在原來的Aggregation的計算結果中進一步做聚合計算
Aggregation response:
三層結構: (針對Bucketing aggregation) MultiBucketsAggregation -> Buckets -> Aggregations
Aggregation 屬性:
name: 和請求中的Aggregation的名字對應
buckets: 每個Bucket對應Agggregation結果中每一個可能的取值和相應的聚合結果.
Bucket 屬性:
key: 對應的是聚合維度可能的取值, 具體的值和Aggregation的類型有關, 比如Term aggregation (按交易類型計算總金額), 那么Bucket key值就是所有可能的交易類型 (credit/debit etc). 又比如DateHistogram aggregation (按天計算交易筆數), 那么Bucket key值就是具體的日期.
docCount: 對應的是每個桶中的文本數量.
value: 對應的是聚合指標的計算結果. 注意如果是多層Aggregation計算, 中間層的Aggregation value一般沒有值, 比如Term aggregation. 只有到底層具體計算指標的Aggregation才有值.
aggregations: 對應請求中當前Aggregation的subAggregation的計算結果 (如果存在)
SQL映射實現的前提: 只針對聚合計算，即sql select部分存在聚合函數類型的column
映射過程很難直接描述，上幾個例子方便大家理解，反正SQL的結構也無非就是SELECT/FROM/WHERE/GROUP BY/HAVING/ORDER BY. ORDER BY先不討論，一般聚合結果不太關心順序. FROM也很容易理解,就是索引的名字.
SQL組成部分對應的ES Builder:
| Column 1 | Column 2 | Column 3 |
|---|---|---|
| select column (聚合函數) | MetricsAggregationBuilder 由 column對應聚合函數決定 (例如 MaxAggregationBuilder) | |
| select column (group by 字段) | Bucket key | |
| where | FiltersAggregationBuilder + FiltersAggregator.KeydFilter | keyedFilter = FiltersAggregator.KeyedFilter("combineCondition", sub QueryBuilder) <br/> AggregationBuilders.filters("whereAggr", keyedFilter) |
| group by | TermsAggregationBuilder | AggregationBuilders.terms("aggregation name").field(fieldName) |
| having | MetricsAggregationBuilder 由 having 條件聚合函數決定 (例如 MaxAggregationBuilder) + BucketSelectorPipelineAggregationBuilder | PipelineAggregatorBuilders.bucketSelector(aggregationName, bucketPathMap, script) |
常用的SQL運算符和聚合函數對應的ES Builder:
| Sql element | Aggregation Type | Code to build |
|---|---|---|
| count(field) | ValueCountAggregationBuilder | AggregationBuilders.count(metricsName).field(fieldName) |
| count(distinct field) | CardinalityAggregationBuilder | AggregationBuilders.cardinality(metricsName).field(fieldName) |
| sum(field) | SumAggregationBuilder | AggregationBuilders.sum(metricsName).field(fieldName) |
| min(field) | MinAggregationBuilder | AggregationBuilders.min(metricsName).field(fieldName) |
| max(field) | MaxAggregationBuilder | AggregationBuilders.max(metricsName).field(fieldName) |
| avg(field) | AvgAggregationBuilder | AggregationBuilders.avg(metricsName).field(fieldName) |
| AND | BoolQueryBuilder | QueryBuilders.boolQuery().must().add(sub QueryBuilder) |
| OR | BoolQueryBuilder | QueryBuilders.boolQuery().should().add(sub QueryBuilder) |
| NOT | BoolQueryBuilder | QueryBuilders.boolQuery().mustNot().add(sub QueryBuilder) |
| = | TermQueryBuilder | QueryBuilders.termQuery(fieldName, value) |
| IN | TermsQueryBuilder | QueryBuilders.termsQuery(fieldName, values) |
| LIKE | WildcardQueryBuilder | QueryBuilders.wildcardQuery(fieldName, value) |
| > | RangeQueryBuilder | QueryBuilders.rangeQuery(fieldName).gt(value) |
| >= | RangeQueryBuilder | QueryBuilders.rangeQuery(fieldName).gte(value) |
| < | RangeQueryBuilder | QueryBuilders.rangeQuery(fieldName).lt(value) |
| <= | RangeQueryBuilder | QueryBuilders.rangeQuery(fieldName).lte(value) |
1.select count(payerId) as payerCount from Payment group by country
這里需要注意的是payerId這個doc的屬性在實際構造的Aggregation query 中變成了 payerId.keyword，Elasticsearch 默認對于分詞的字段(text類型)不支持聚合，會報出 "Fielddata is disabled on text fields by default. Set fielddata=true"的錯誤. fielddata聚合是一個非常costly的運算,一般不建議使用. 好在Elasticsearch索引時默認會對payerId這個屬性生成兩個字段, payerId 是分詞的text類型, payerId.keyword是不分詞的keyword類型.
2.select max(payerId) from Payment group by accountId, country
兩個group by 條件對應兩層term aggregation
3.select count(distinct payerId) as payerCount from Payment where country in ('CN', 'GE') group by accountId, country
增加了where條件, 在頂層是一個FiltersAggregationBuilder. 其中分為兩部分, 其中filters對應的是所有查詢條件構建的一個KeyedFilter, 其中又包含了多個子查詢條件. aggregations 對應的是groupBy條件和select部分的聚合函數
4.select count(distinct payerId) as payerCount from Payment where withinTime(createAt, 1, 'DAY') and name like '%SH%' group by accountId, country
多個where條件, 用BoolQueryBuilder組合起來
5.select max(amount) as maxAmt, min(amount) as minAmt from Payment where amount > 1000.00 or amount <= 50.53 group by accountId, country having count(distinct beneficiaryId) > 3 and sum(amount) > 1530.20
史上最復雜SQL產生! 這里主要關注having部分的處理, 用到了Pipeline類型的BucketSelectorPipelineAggregationBuilder. 在最后一個GroupBy 條件對應的term aggregation下增加了兩類子節點: sub aggregations 除了包括select 部分的聚合函數還包括having條件對應的聚合函數. pipeline aggregations 包括having條件對應的 BucketSelectorPipelineAggregationBuilder. BucketSelectorPipelineAggregationBuilder 主要的屬性有: bucketsPathMap: 保存了path的名字和對應的聚合屬性的映射，script: 用腳本描述聚合條件，但是條件左側不直接使用屬性名而是path的名字替換
注意雖然從邏輯上來說having 條件是應用在之前計算出聚合的結果之上, 但是從ES Aggregation的結構來看, BucketSelectorPipelineAggregationBuilder和having 條件中對應聚合指標的Aggregation是兄弟關系而不是父子關系！
另外要注意script path 是對于兄弟節點(sibling node)一個相對路徑而不是從根節點Aggregation的絕對路徑,用的是聚合屬性的名稱而不是Aggregation本身的名稱. 并且要求根據路徑訪問到的Bucket必須是唯一的，因為BucketSelector只是根據條件判斷當前Bucket是否被選擇, 如果路徑返回多個Bucket則無法應用這種Bool判斷.
6.select count(paymentId) from Payment group by timeRange(createdAt, '1D', 'yyyy/MM/dd')
這里用到一個自定義函數timeRage, 表示對于createAt這個屬性按天聚合，對應的ES aggregation類型為DateHistogramAggregation
Bucket count
Distinct count: Elasticsearch 采用的是基于hyperLogLog的近似算法.
https://www.elastic.co/guide/en/elasticsearch/reference/current/fielddata.html
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
