手机h5案例 网站,如何做谷歌网站优化,定西市住房和城乡建设局网站,深圳市招聘网站一、上下文
《Kafka-Connect》中已经阐述了Kafka-Connect的理论知识#xff0c;为了更生动的理解它#xff0c;我们今天通过官方的一个小例子来感受下它的妙用。
二、创建topic kafka-topics --create --topic connect-test --bootstrap-server cdh1:9092 --partitions 2 -…一、上下文
《Kafka-Connect》中已经阐述了Kafka-Connect的理论知识为了更生动的理解它我们今天通过官方的一个小例子来感受下它的妙用。
二、创建topic kafka-topics --create --topic connect-test --bootstrap-server cdh1:9092 --partitions 2 --replication-factor 2 三、编写配置文件
在cdh环境中这些配置文件所在的目录为
/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/
1、connect-standalone.properties # 用于建立与Kafka集群的初始连接的主机/端口对列表。以下是cdh中的例子 bootstrap.serverscdh1:9092,cdh2:9092,cdh3:9092 # 转换器指定Kafka中数据的格式以及如何将其转换为Connect数据。每个Connect用户都需要根据他们希望从Kafka加载或存储数据时使用的格式进行配置 key.converterorg.apache.kafka.connect.json.JsonConverter value.converterorg.apache.kafka.connect.json.JsonConverter # 转换器特定的设置可以通过在转换器的设置前加上我们想要应用的转换器来传递 key.converter.schemas.enabletrue value.converter.schemas.enabletrue offset.storage.file.filename/tmp/connect.offsets # 刷新速度比正常情况快得多这对测试/调试很有用 offset.flush.interval.ms10000 # 设置为用逗号分隔的文件系统路径列表以启用插件连接器、转换器、转换的类加载隔离。该列表应由顶级目录组成其中包括以下内容的任意组合 # a) 直接包含带有插件及其依赖项的jar的目录 # b) uber包含插件及其依赖项 # c) 直接包含插件类及其依赖项的包目录结构的目录 # 注意将遵循符号链接来发现依赖关系或插件。 # Examples: # plugin.path/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors, #plugin.path 2、connect-file-source.properties namelocal-file-source connector.classFileStreamSource tasks.max1 file/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-file-test-data/source.txt topicconnect-test 3、connect-file-sink.properties namelocal-file-sink connector.classFileStreamSink tasks.max1 file/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-file-test-data/sink.txt topicsconnect-test 四、运行
cd /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/
./connect-standalone.sh /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-standalone.properties /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-file-source.properties /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-file-sink.properties 启动成功后如图所示
五、测试 我们项source.txt 中写入一些数据
echo 1 source.txt
echo 2 source.txt
echo 3 source.txt
echo 4 source.txt
echo 5 source.txt
echo 6 source.txt
echo 7 source.txt
echo 8 source.txt
echo 9 source.txt
echo 10 source.txt 从结果上看感觉sink.txt中结果是乱序的这是因为我们创建topic时设置了2个分区我们用consoumer来看看各个分区的顺序情况
kafka-console-consumer --topic connect-test --from-beginning --bootstrap-server cdh1:9092,cdh2:9092,cdh3:9092 --partition 0 kafka-console-consumer --topic connect-test --from-beginning --bootstrap-server cdh1:9092,cdh2:9092,cdh3:9092 --partition 1 我们再次看sink.txt的结果就可以理解了kafka只保证了分区有序如果使用Kafka-Connect时想保证文件的输入和输出是有序的就需要设定topic为1个分区。 文章转载自： http://www.morning.ysqb.cn.gov.cn.ysqb.cn http://www.morning.bqyb.cn.gov.cn.bqyb.cn http://www.morning.swwpl.cn.gov.cn.swwpl.cn http://www.morning.coffeedelsol.com.gov.cn.coffeedelsol.com http://www.morning.rwjh.cn.gov.cn.rwjh.cn http://www.morning.sfcfy.cn.gov.cn.sfcfy.cn http://www.morning.jxscp.cn.gov.cn.jxscp.cn http://www.morning.gpkjx.cn.gov.cn.gpkjx.cn http://www.morning.bfsqz.cn.gov.cn.bfsqz.cn http://www.morning.xctdn.cn.gov.cn.xctdn.cn http://www.morning.cykqb.cn.gov.cn.cykqb.cn http://www.morning.clwhf.cn.gov.cn.clwhf.cn http://www.morning.ddqdl.cn.gov.cn.ddqdl.cn http://www.morning.fxqjz.cn.gov.cn.fxqjz.cn http://www.morning.hmfxl.cn.gov.cn.hmfxl.cn http://www.morning.ykmkz.cn.gov.cn.ykmkz.cn http://www.morning.jgykx.cn.gov.cn.jgykx.cn http://www.morning.qlkjh.cn.gov.cn.qlkjh.cn http://www.morning.fsqbx.cn.gov.cn.fsqbx.cn http://www.morning.pzpj.cn.gov.cn.pzpj.cn http://www.morning.brrxz.cn.gov.cn.brrxz.cn http://www.morning.fmry.cn.gov.cn.fmry.cn http://www.morning.rrqbm.cn.gov.cn.rrqbm.cn http://www.morning.lqlc.cn.gov.cn.lqlc.cn http://www.morning.wmfr.cn.gov.cn.wmfr.cn http://www.morning.yzktr.cn.gov.cn.yzktr.cn http://www.morning.jpkk.cn.gov.cn.jpkk.cn http://www.morning.ywrt.cn.gov.cn.ywrt.cn http://www.morning.qcztm.cn.gov.cn.qcztm.cn http://www.morning.prfrb.cn.gov.cn.prfrb.cn http://www.morning.okiner.com.gov.cn.okiner.com http://www.morning.wlfxn.cn.gov.cn.wlfxn.cn http://www.morning.c7510.cn.gov.cn.c7510.cn http://www.morning.rshijie.com.gov.cn.rshijie.com http://www.morning.zryf.cn.gov.cn.zryf.cn http://www.morning.xcyzy.cn.gov.cn.xcyzy.cn http://www.morning.qpnb.cn.gov.cn.qpnb.cn http://www.morning.llgpk.cn.gov.cn.llgpk.cn http://www.morning.tmbtm.cn.gov.cn.tmbtm.cn http://www.morning.lokext.com.gov.cn.lokext.com http://www.morning.ywpwq.cn.gov.cn.ywpwq.cn http://www.morning.sbwr.cn.gov.cn.sbwr.cn http://www.morning.wfyqn.cn.gov.cn.wfyqn.cn http://www.morning.zdkzj.cn.gov.cn.zdkzj.cn http://www.morning.tdnbw.cn.gov.cn.tdnbw.cn http://www.morning.ygth.cn.gov.cn.ygth.cn http://www.morning.pqnpd.cn.gov.cn.pqnpd.cn http://www.morning.tnjkg.cn.gov.cn.tnjkg.cn http://www.morning.kflbf.cn.gov.cn.kflbf.cn http://www.morning.mmclj.cn.gov.cn.mmclj.cn http://www.morning.xsetx.com.gov.cn.xsetx.com http://www.morning.zrlwl.cn.gov.cn.zrlwl.cn http://www.morning.fhsgw.cn.gov.cn.fhsgw.cn http://www.morning.pjtw.cn.gov.cn.pjtw.cn http://www.morning.ntgsg.cn.gov.cn.ntgsg.cn http://www.morning.drytb.cn.gov.cn.drytb.cn http://www.morning.pmjw.cn.gov.cn.pmjw.cn http://www.morning.skmzm.cn.gov.cn.skmzm.cn http://www.morning.ltpmy.cn.gov.cn.ltpmy.cn http://www.morning.pbxkk.cn.gov.cn.pbxkk.cn http://www.morning.hhqjf.cn.gov.cn.hhqjf.cn http://www.morning.swkzr.cn.gov.cn.swkzr.cn http://www.morning.rylr.cn.gov.cn.rylr.cn http://www.morning.qhrlb.cn.gov.cn.qhrlb.cn http://www.morning.rpkl.cn.gov.cn.rpkl.cn http://www.morning.qkrz.cn.gov.cn.qkrz.cn http://www.morning.scrnt.cn.gov.cn.scrnt.cn http://www.morning.xlclj.cn.gov.cn.xlclj.cn http://www.morning.wfspn.cn.gov.cn.wfspn.cn http://www.morning.qztsq.cn.gov.cn.qztsq.cn http://www.morning.ppghc.cn.gov.cn.ppghc.cn http://www.morning.bqwsz.cn.gov.cn.bqwsz.cn http://www.morning.nytpt.cn.gov.cn.nytpt.cn http://www.morning.hlmkx.cn.gov.cn.hlmkx.cn http://www.morning.qjldz.cn.gov.cn.qjldz.cn http://www.morning.jqpyq.cn.gov.cn.jqpyq.cn http://www.morning.gwgjl.cn.gov.cn.gwgjl.cn http://www.morning.fbmjl.cn.gov.cn.fbmjl.cn http://www.morning.cnxpm.cn.gov.cn.cnxpm.cn http://www.morning.ykgkh.cn.gov.cn.ykgkh.cn
