当前位置: 首页 > news >正文

免费注册网站软件站长工具外链查询

免费注册网站软件,站长工具外链查询,昆明网站建站公司,徐州公司网站制作一、上下文 《Kafka-Connect》中已经阐述了Kafka-Connect的理论知识,为了更生动的理解它,我们今天通过官方的一个小例子来感受下它的妙用。 二、创建topic kafka-topics --create --topic connect-test --bootstrap-server cdh1:9092 --partitions 2 -…

一、上下文

《Kafka-Connect》中已经阐述了Kafka-Connect的理论知识,为了更生动的理解它,我们今天通过官方的一个小例子来感受下它的妙用。

二、创建topic

kafka-topics --create --topic connect-test --bootstrap-server cdh1:9092 --partitions 2 --replication-factor 2

三、编写配置文件

在cdh环境中,这些配置文件所在的目录为:

/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/

1、connect-standalone.properties

# 用于建立与Kafka集群的初始连接的主机/端口对列表。以下是cdh中的例子
bootstrap.servers=cdh1:9092,cdh2:9092,cdh3:9092

# 转换器指定Kafka中数据的格式以及如何将其转换为Connect数据。每个Connect用户都需要根据他们希望从Kafka加载或存储数据时使用的格式进行配置
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
# 转换器特定的设置可以通过在转换器的设置前加上我们想要应用的转换器来传递
key.converter.schemas.enable=true
value.converter.schemas.enable=true

offset.storage.file.filename=/tmp/connect.offsets
# 刷新速度比正常情况快得多,这对测试/调试很有用
offset.flush.interval.ms=10000

# 设置为用逗号(,)分隔的文件系统路径列表,以启用插件(连接器、转换器、转换)的类加载隔离。该列表应由顶级目录组成,其中包括以下内容的任意组合:
# a) 直接包含带有插件及其依赖项的jar的目录
# b) uber包含插件及其依赖项
# c) 直接包含插件类及其依赖项的包目录结构的目录
# 注意:将遵循符号链接来发现依赖关系或插件。
# Examples: 
# plugin.path=/usr/local/share/java,/usr/local/share/kafka/plugins,/opt/connectors,
#plugin.path=

2、connect-file-source.properties

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-file-test-data/source.txt
topic=connect-test

3、connect-file-sink.properties

name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-file-test-data/sink.txt
topics=connect-test

四、运行

cd /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/kafka/bin/
./connect-standalone.sh /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-standalone.properties /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-file-source.properties /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/etc/kafka/conf.dist/connect-file-sink.properties

 启动成功后如图所示:

五、测试

我们项source.txt 中写入一些数据

echo 1 >> source.txt
echo 2 >> source.txt
echo 3 >> source.txt
echo 4 >> source.txt
echo 5 >> source.txt
echo 6 >> source.txt
echo 7 >> source.txt
echo 8 >> source.txt
echo 9 >> source.txt
echo 10 >> source.txt

从结果上看感觉sink.txt中结果是乱序的,这是因为我们创建topic时设置了2个分区,我们用consoumer来看看各个分区的顺序情况:

kafka-console-consumer --topic connect-test --from-beginning --bootstrap-server cdh1:9092,cdh2:9092,cdh3:9092 --partition 0

kafka-console-consumer --topic connect-test --from-beginning --bootstrap-server cdh1:9092,cdh2:9092,cdh3:9092 --partition 1

 

我们再次看sink.txt的结果就可以理解了,kafka只保证了分区有序,如果使用Kafka-Connect时想保证文件的输入和输出是有序的,就需要设定topic为1个分区。

http://www.tj-hxxt.cn/news/9212.html

相关文章:

  • 新乡网站建设国外b站推广网站
  • 做网站有弹窗叫什么新出的app推广在哪找
  • 电子烟网站建设百度seo搜索引擎优化厂家
  • 网站全屏视频怎么做刘连康seo培训哪家强
  • 做视频赚钱的网站小程序怎么引流推广
  • 常用网站域名网站定制设计
  • 成全视频免费观看在线看第2季站优云seo优化
  • 电子商务网站建设的步骤百度收录提交工具
  • 用js做网站百度竞价推广收费标准
  • 石湾手机网站建设大型网站建设方案
  • 做房产网站哪个好建站小程序
  • 网站的建设适合小学生的新闻事件
  • 哪个网站有摄影作品seo相关ppt
  • 网站开发主机的选择怎么把平台推广出去
  • 国内购物网站案例分析网站免费搭建平台
  • 网站群cmsseo超级外链工具免费
  • 建设网站前期准备工作最近一周的国内新闻
  • 做微商能利用的网站有哪些问题河南省网站
  • 网站seo策划方案设计google网站登录入口
  • 长春网站建设方案优化设计三年级上册语文答案
  • 免费b2b网站大全在线南宁seo优势
  • 用php做的网站实例女生学市场营销好吗
  • 公路建设市场信用信息系统网站c盘优化大师
  • 福州网站建设信息网站搜索引擎优化技术
  • 品牌设计logo图片seo诊断分析在线工具
  • 东营港新闻最新消息seo推广效果
  • 税务网站怎样查询建设项目趣丁号友情链接
  • 网站流量少学做电商需要多少钱
  • DW如何做明星的个人网站外贸网站营销推广
  • 丹阳网站建设今日热搜前十名