中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

flume案例支持

發布時間:2020-06-20 19:24:32 來源:網絡 閱讀:540 作者:馬吉輝 欄目:大數據

2019/2/22 星期五

flume案例支持

flume的部署類型 //參考鏈接為 https://www.cnblogs.com/qingyunzong/p/8994494.html
1、單一流程
2、多代理流程(多個agent順序鏈接) 不推薦 有一段失敗則整個event事件失敗
3、流的合并(多個Agent的數據匯聚到同一個Agent ) //應用場景廣泛
4、多路復用流(多級流)//Flume還支持多級流,什么多級流?來舉個例子,當syslog, java, nginx、 tomcat等混合在一起的日志流開始流入一個agent后,可以agent中將混雜的日志流分開,然后給每種日志建立一個自己的傳輸通道。
5、load balance功能 //Agent1是一個路由節點,負責將Channel暫存的Event均衡到對應的多個Sink組件上,而每個Sink組件分別連接到一個獨立的Agent上 。

Flume 作用
Flume 工作機制
Flume 架構、組件
flume 常用配置

Flume Sources 描述
Avro source :Avro是一個數據序列化系統,設計用于支持大 批量數據交換的應用
Avro 可以發送一個給定的文件給Flume,Avro 源使用AVRO RPC 機制。
Thrift Source :ThriftSource 與Avro Source 基本一致。只要把source的類型改成thrift即可,例如a1.sources.r1.type = thrift,比較簡單
Exec Source :ExecSource的配置就是設定一個Unix(linux)命令,然后通過這個命令不斷輸出數據。如果進程退出,Exec Source也一起退出,不會產生進一步的數據。//EXEC 執行一個給定的命令獲得輸出的源,如果要使用tail 命令,必選使得file 足夠大才能看到輸出內容。
JMS Source:從JMS系統(消息、主題)中讀取數據,
Spooling Directory Source:Spooling Directory Source監測配置的目錄下新增的文件,并將文件中的數據讀取出來。
其中,Spool Source有2個注意地方,第一個是拷貝到spool目錄下的文件不可以再打開編輯,第二個是spool目錄下不可包含相應的子目錄。這個主要用途作為對日志的準實時監控。
Syslogtcp Source:Syslogtcp 監聽TCP 的端口做為數據源
JSONHandler Source:

sink
Hadoop sink :把數據最終存儲在hdfs上
File Roll Sink : 在本地文件系統中存儲事件。每隔指定時長生成文件保存這段時間內收集到的日志信息。

channel
Replicating Channel Selector:
Flume 支持Fan out 流從一個源到多個通道。有兩種模式的Fan out,分別是復制和復用。
在復制的情況下,流的事件被發送到所有的配置通道。
在復用的情況下,事件被發送到可用的渠道中的一個子集。
Fan out 流需要指定源和Fan out 通道的規則。

Memory Channel event保存在Java Heap中。如果允許數據小量丟失,推薦使用
File Channel event保存在本地文件中,可靠性高,但吞吐量低于Memory Channel
JDBC Channel event保存在關系數據中,一般不推薦使用

Flume 入門--幾種不同的Sinks https://www.cnblogs.com/itdyb/p/6270893.html
Flume的Source類型 https://www.cnblogs.com/qingyunzong/p/8995554.html
Flume:三種channel比較 https://blog.csdn.net/weixin_38750084/article/details/83059871

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

贡嘎县| 衡阳县| 东辽县| 茂名市| 郎溪县| 霍城县| 水富县| 秦安县| 信丰县| 青川县| 女性| 井研县| 东海县| 新田县| 吐鲁番市| 五河县| 清流县| 新津县| 碌曲县| 华池县| 谢通门县| 中宁县| 隆林| 林芝县| 屏山县| 天门市| 利津县| 林西县| 彭阳县| 安仁县| 泰兴市| 桑日县| 阳谷县| 开原市| 凯里市| 辽源市| 达州市| 永济市| 屏山县| 靖边县| 保亭|