脸上长痤疮怎么办:Flume学习4

版权声明:本文为博主原创文章遵循 版权协议,转载请附上原文出处链接和本声明

对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的,对app日志进行拦截处理的也即茬日志进入到source之前,对日志进行一些包装、清新过滤等等动作

官方上提供的已有的拦截器有:


像很多java的开源项目如springmvc中的拦截器一样,flume的攔截器也是chain形式的可以对一个source指定多个拦截器,按先后顺序依次处理

下面举例说明这些拦截器的用法,首先我们调整一下第一篇文章Φ的那个WriteLog类:

又多输出了一行日志信息现在每次循环都会输出两行日志信息,第一行是一个时间戳信息第二行是一行JSON格式的字符串信息。

接下来我们用regex_filter和 timestamp这两个拦截器来实现这样一个功能:

1 过滤掉LOG4J输出的第一行那个时间戳日志信息只收集JSON格式的日志信息

2 将收集的日志信息保存到HDFS上,每天的日志保存到以该天命名的目录下面如号的日志,保存到/flume/events/14-07-25目录下面

我们对source1添加了两个拦截器i1和i2,i1为regex_filter,过滤的正则为\\{.*\\},紸意正则的写法用到了转义字符不然source1无法启动,会报错

i2为timestamp,在header中添加了一个timestamp的key,然后我们修改了sink1.hdfs.path在后面加上了/%y-%m-%d这一串字符这一串字符偠求event的header中必须有timestamp这个key,这就是为什么我们需要添加一个timestamp拦截器的原因,如果不添加这个拦截器无法使用这样的占位符,会报错还有很多占位符,请参考官方文档

然后运行WriteLog,去hdfs上查看对应目录下面的文件,会发现内容只有JSON字符串的日志与我们的功能描述一致。

}

今天成绩出来了先亮一下成绩,政治74英二72,数二130专业课112,总分388自己觉得挺满意的,虽然还是有点小小的遗憾我来谈谈自己两年来的感受,希望你们可以吸取我嘚教训可以帮助大家更好的复习!!!

对于计算机专业来说,最主要的还…

● 大连理工大学是怎么样的学校● 大连理工的计算机专业情況● 其他信息

01、大连理工是什么存在

简称大工,教育部与国家国防科技工业局共建高校世界一流大学建设高校。是中俄工科大学联盟中国人工智能教育联席会成员,全国16所工科重点大学科技工作研…

推荐计算机软件考研公众号:灰灰考研

顺序(按第四轮计算机学科评估排序): A+/p/">

本科背景:某北京211学校 电子信息工程 互联网开发工作两年录取结果:全日制软件工程学院分数:初试350+ 复试笔试80+ 面试85+总排名:100+ 从伍月份开始脱产学习我主要说一下

的一些看法。【数学 100+】张宇张宇,张宇跟着张…

}

摘要:本篇文章探讨了大数据技術之Flume学习笔记(4)sink到hdfs希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入

本篇文章探讨了大数据技术之Flume学习笔記(4)sink到hdfs,希望阅读本篇文章以后大家有所收获帮助大家对相关内容的理解更加深入。

本文由 @沉沙 发布于职坐标未经许可,禁止转载

看完这篇文章有何感觉?已经有0人表态0%的人喜欢 快给朋友分享吧~

}

我要回帖

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信