网站备案 服务内容,揭阳网站建设方案托管,wap浏览器模拟,郑州金水区看介绍文档貌似挺好#xff1a; https://github.com/alibaba/jstorm 阿里拥有自己的实时计算引擎 类似于hadoop 中的MR 开源storm响应太慢 开源社区的速度完全跟不上Ali的需求 降低未来运维成本 提供更多技术支持#xff0c;加快内部业务响应速度 现有Storm无法满足一些… 看介绍文档貌似挺好 https://github.com/alibaba/jstorm 阿里拥有自己的实时计算引擎 类似于hadoop 中的MR 开源storm响应太慢 开源社区的速度完全跟不上Ali的需求 降低未来运维成本 提供更多技术支持加快内部业务响应速度 现有Storm无法满足一些需求 现有storm调度太简单粗暴无法定制化 Storm 任务分配不平衡 RPC OOM一直没有解决 监控太简单 对ZK 访问频繁 JStorm相比Storm更稳定 Nimbus 实现HA当一台nimbus挂了自动热切到备份nimbus 原生Storm RPCZeromq 使用堆外内存导致OS 内存不够Netty 导致OOMJStorm底层RPC 采用netty disruptor保证发送速度和接受速度是匹配的 新上线的任务不会冲击老的任务新调度从cpumemorydisknet 四个角度对任务进行分配已经分配好的新任务无需去抢占老任务的cpumemorydisk和net Supervisor主线 Spout/Bolt 的open/prepar 所有IO, 序列化反序列化 减少对ZK的访问量去掉大量无用的watchtask的心跳时间延长一倍Task心跳检测无需全ZK扫描。 JStorm相比Storm调度更强大 彻底解决了storm 任务分配不均衡问题 从4个维度进行任务分配CPU、Memory、Disk、Net 默认一个task一个cpu slot。当task消耗更多的cpu时可以申请更多cpu slot 默认一个task一个memory slot。当task需要更多内存时可以申请更多内存slot 默认task不申请disk slot。当task 磁盘IO较重时可以申请disk slot 可以强制某个component的task 运行在不同的节点上 可以强制topology运行在单独一个节点上 可以自定义任务分配提前预约任务分配到哪台机器上哪个端口多少个cpu slot多少内存是否申请磁盘 可以预约上一次成功运行时的任务分配上次task分配了什么资源这次还是使用这些资源 JStorm相比Storm性能更好 JStorm 0.9.0 性能非常的好使用netty时单worker 发送最大速度为11万QPS使用zeromq时最大速度为12万QPS。 JStorm 0.9.0 在使用Netty的情况下比Storm 0.9.0 使用netty情况下快10% 并且JStorm netty是稳定的而Storm 的Netty是不稳定的 在使用ZeroMQ的情况下 JStorm 0.9.0 比Storm 0.9.0 快30% 性能提升的原因 Zeromq 减少一次内存拷贝 增加反序列化线程 重写采样代码大幅减少采样影响 优化ack代码 优化缓冲map性能 Java 比clojure更底层 JStorm的其他优化点 资源隔离。不同部门使用不同的组名每个组有自己的Quato不同组的资源隔离采用cgroups 硬隔离 Classloader。解决应用的类和Jstorm的类发生冲突应用的类在自己的类空间中 Task 内部异步化。Worker 内部全流水线模式Spout nextTuple和ack/fail运行在不同线程 具体如何实现请参考本ID的的博文系列 【jstorm-源码解析】 概叙 应用场景 JStorm 是一个分布式实时计算引擎。 JStorm 是一个类似Hadoop MapReduce的系统 用户按照指定的接口实现一个任务然后将这个任务递交给JStorm系统Jstorm将这个任务跑起来并且按7 * 24小时运行起来一旦中间一个worker 发生意外故障 调度器立即分配一个新的worker替换这个失效的worker。 因此从应用的角度JStorm 应用是一种遵守某种编程规范的分布式应用。从系统角度 JStorm一套类似MapReduce的调度系统。 从数据的角度 是一套基于流水线的消息处理机制。 实时计算现在是大数据领域中最火爆的一个方向因为人们对数据的要求越来越高实时性要求也越来越快传统的Hadoop Map Reduce逐渐满足不了需求因此在这个领域需求不断。 优点 在Storm和JStorm出现以前市面上出现很多实时计算引擎但自storm和JStorm出现后基本上可以说一统江湖 究其优点 开发非常迅速 接口简单容易上手只要遵守TopologySpout Bolt的编程规范即可开发出一个扩展性极好的应用底层rpcworker之间冗余数据分流之类的动作完全不用考虑。扩展性极好 当一级处理单元速度直接配置一下并发数即可线性扩展性能健壮 当worker失效或机器出现故障时 自动分配新的worker替换失效worker数据准确性 可以采用Acker机制保证数据不丢失。 如果对精度有更多一步要求采用事务机制保证数据准确。 应用场景 JStorm处理数据的方式是基于消息的流水线处理 因此特别适合无状态计算也就是计算单元的依赖的数据全部在接受的消息中可以找到 并且最好一个数据流不依赖另外一个数据流。 因此常常用于 日志分析从日志中分析出特定的数据并将分析的结果存入外部存储器如数据库。目前主流日志分析技术就使用JStorm或Storm管道系统 将一个数据从一个系统传输到另外一个系统 比如将数据库同步到Hadoop消息转化器 将接受到的消息按照某种格式进行转化存储到另外一个系统如消息中间件统计分析器 从日志或消息中提炼出某个字段然后做count或sum计算最后将统计值存入外部存储器。中间处理过程可能更复杂。 如何安装 安装步骤 从Downloads下载relase包搭建Zookeeper集群安装Python 2.6安装Java安装zeromq安装Jzmq配置$JSTORM_HOME/conf/storm.yaml搭建web ui启动JStorm集群 搭建Zookeeper集群 本处不细描叙Zookeeper安装步骤 安装步骤麻烦参考 ”zookeeper 安装步骤“zookeeper配置麻烦参考 “zookeeper 配置介绍” 搭建JStorm集群 安装python 2.6 如果当前系统提供python可以不用安装python自己可以参考 python也可以使用https://github.com/utahta/pythonbrew 来安装python curl -kLhttp://xrl.us/pythonbrewinstall | bash -s $HOME/.pythonbrew/etc/bashrc source $HOME/.pythonbrew/etc/bashrc pythonbrew install 2.6.7 pythonbrew switch 2.6.7 安装java 注意如果当前系统是64位系统则需要下载java 64位如果是32为系统则下载32位java 安装zeromq(如果不使用zeromq 可以不安装zeromq) wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar zxf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure make sudo make install sudo ldconfig 如果没有root权限或当前用户无sudo权限时执行 “ ./configure --prefix/home/xxxxx” 替换 “./configure”, 其中/home/xxxx 为安装目标目录 安装jzmq(如果不使用zeromq 可以不安装jzmq) git clone git://github.com/nathanmarz/jzmq.git cd jzmq ./autogen.sh ./configure make make install 如果没有root权限或当前用户无sudo权限时执行 “ ./configure --prefix/home/xxxx --with-zeromq/home/xxxx” 替换 “./configure”, 其中/home/xxxx 为安装目标目录 安装JStorm 假设以jstorm-0.9.3.zip为例 unzip jstorm-0.9.3.zip vi ~/.bashrc export JSTORM_HOME/XXXXX/XXXX export PATH$PATH:$JSTORM_HOME/bin 配置$JSTORM_HOME/conf/storm.yaml 配置项 storm.zookeeper.servers: 表示zookeeper 的地址nimbus.host: 表示nimbus的地址storm.zookeeper.root: 表示jstorm在zookeeper中的根目录当多个JStorm共享一个ZOOKEEPER时需要设置该选项默认即为“/jstorm”storm.local.dir: 表示jstorm临时数据存放目录需要保证jstorm程序对该目录有写权限java.library.path: zeromq 和java zeromq library的安装目录默认/usr/local/lib:/opt/local/lib:/usr/libsupervisor.slots.ports: 表示supervisor 提供的端口slot列表注意不要和其他端口发生冲突默认是68xx而storm的是67xxsupervisor.disk.slot 表示提供数据目录当一台机器有多块磁盘时可以提供磁盘读写slot方便有重IO操作的应用。topology.enable.classloader: false, 默认关闭classloader如果应用的jar与jstorm的依赖的jar发生冲突比如应用使用thrift9但jstorm使用thrift7时就需要打开classloadernimbus.groupfile.path: 如果需要做资源隔离比如数据仓库使用多少资源技术部使用多少资源无线部门使用多少资源时就需要打开分组功能 设置一个配置文件的绝对路径改配置文件如源码中group_file.ini所示storm.local.dir: jstorm使用的本地临时目录如果一台机器同时运行storm和jstorm的话 则不要共用一个目录必须将二者分离开 在提交jar的节点上执行: #mkdir ~/.jstorm #cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm 安装JStorm web ui 必须使用tomcat 7.0 或以上版本 注意不要忘记拷贝 ~/.jstorm/storm.yaml web ui 可以和nimbus不在同一个节点 mkdir ~/.jstorm cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm 下载tomcat 7.x 以apache-tomcat-7.0.37 为例 tar -xzf apache-tomcat-7.0.37.tar.gz cd apache-tomcat-7.0.37 cd webapps cp $JSTORM_HOME/jstorm-ui-0.9.3.war ./ mv ROOT ROOT.old ln -s jstorm-ui-0.9.3 ROOT cd ../bin ./startup.sh 启动JStorm 在nimbus 节点上执行 “nohup jstorm nimbus ”, 查看$JSTORM_HOME/logs/nimbus.log检查有无错误在supervisor节点上执行 “nohup jstorm supervisor ”, 查看$JSTORM_HOME/logs/supervisor.log检查有无错误 基本概念 流 在JStorm中有对于流stream的抽象流是一个不间断的无界的连续tuple注意JStorm在建模事件流时把流中的事件抽象为tuple即元组后面会解释JStorm中如何使用tuple。 Spout/Bolt JStorm认为每个stream都有一个stream源也就是原始元组的源头所以它将这个源头抽象为spoutspout可能是连接消息中间件如MetaQ Kafka TBNotify等并不断发出消息也可能是从某个队列中不断读取队列元素并装配为tuple发射。 有了源头即spout也就是有了stream那么该如何处理stream内的tuple呢同样的思想JStorm将tuple的中间处理过程抽象为Boltbolt可以消费任意数量的输入流只要将流方向导向该bolt同时它也可以发送新的流给其他bolt使用这样一来只要打开特定的spout管口再将spout中流出的tuple导向特定的bolt又bolt对导入的流做处理后再导向其他bolt或者目的地。 我们可以认为spout就是一个一个的水龙头并且每个水龙头里流出的水是不同的我们想拿到哪种水就拧开哪个水龙头然后使用管道将水龙头的水导向到一个水处理器bolt水处理器处理后再使用管道导向另一个处理器或者存入容器中。 Topology 对应上文的介绍我们可以很容易的理解这幅图这是一张有向无环图JStorm将这个图抽象为Topology即拓扑的确拓扑结构是有向无环的拓扑是Jstorm中最高层次的一个抽象概念它可以被提交到Jstorm集群执行一个拓扑就是一个数据流转换图图中每个节点是一个spout或者bolt图中的边表示bolt订阅了哪些流当spout或者bolt发送元组到流时它就发送元组到每个订阅了该流的bolt这就意味着不需要我们手工拉管道只要预先订阅spout就会将流发到适当bolt上。 插个位置说下Jstorm的topology实现为了做实时计算我们需要设计一个拓扑图并实现其中的Bolt处理细节JStorm中拓扑定义仅仅是一些Thrift结构体这样一来我们就可以使用其他语言来创建和提交拓扑。 Tuple JStorm将流中数据抽象为tuple一个tuple就是一个值列表value listlist中的每个value都有一个name并且该value可以是基本类型字符类型字节数组等当然也可以是其他可序列化的类型。拓扑的每个节点都要说明它所发射出的元组的字段的name其他节点只需要订阅该name就可以接收处理。 Worker/Task Worker和Task是JStorm中任务的执行单元 一个worker表示一个进程一个task表示一个线程 一个worker可以运行多个task。 资源slot 在JStorm中资源类型分为4种 CPU, MemoryDisk Port 不再局限于Storm的port。 即一个supervisor可以提供多少个CPU slot多少个Memory slot 多少个Disk slot 多少个Port slot 一个worker就消耗一个Port slot 默认一个task会消耗一个CPU slot和一个Memory slot当task执行任务较重时可以申请更多的CPU slot当task需要更多内存时可以申请更多的内存slot当task 磁盘读写较多时可以申请磁盘slot则该磁盘slot给该task独享。 应用例子 最简单的JStorm例子分为4个步骤 生成Topology Map conf new HashMp();//topology所有自定义的配置均放入这个MapTopologyBuilder builder new TopologyBuilder();//创建topology的生成器int spoutParal get(spout.parallel, 1);//获取spout的并发设置SpoutDeclarer spout builder.setSpout(SequenceTopologyDef.SEQUENCE_SPOUT_NAME , new SequenceSpout(), spoutParal);//创建Spout 其中new SequenceSpout() 为真正spout对象SequenceTopologyDef.SEQUENCE_SPOUT_NAME 为spout的名字注意名字中不要含有空格int boltParal get(bolt.parallel, 1);//获取bolt的并发设置BoltDeclarer totalBolt builder.setBolt(SequenceTopologyDef.TOTAL_BOLT_NAME, new TotalCount(), boltParal) .shuffleGrouping(SequenceTopologyDef.SEQUENCE_SPOUT_NAME);//创建bolt SequenceTopologyDef.TOTAL_BOLT_NAME 为bolt名字TotalCount 为bolt对象boltParal为bolt并发数//shuffleGroupingSequenceTopologyDef.SEQUENCE_SPOUT_NAME //表示接收SequenceTopologyDef.SEQUENCE_SPOUT_NAME的数据并且以shuffle方式//即每个spout随机轮询发送tuple到下一级bolt中int ackerParal get(acker.parallel, 1);Config.setNumAckers(conf, ackerParal);//设置表示acker的并发数int workerNum get(worker.num, 10); conf .put(Config.TOPOLOGY_WORKERS, workerNum);//表示整个topology将使用几个worker conf .put(Config.STORM_CLUSTER_MODE, distributed);//设置topolog模式为分布式这样topology就可以放到JStorm集群上运行StormSubmitter.submitTopology(streamName, conf, builder .createTopology());//提交topology IRichSpout IRichSpout 为最简单的Spout接口 IRichSpout { Override public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) { } Override public void close() { } Override public void activate() { } Override public void deactivate() { } Override public void nextTuple() { } Override public void ack(Object msgId) { } Override public void fail(Object msgId) { } Override public void declareOutputFields(OutputFieldsDeclarer declarer) { } Override public MapString, Object getComponentConfiguration() { return null; } 其中注意 spout对象必须是继承Serializable 因此要求spout内所有数据结构必须是可序列化的spout可以有构造函数但构造函数只执行一次是在提交任务时创建spout对象因此在task分配到具体worker之前的初始化工作可以在此处完成一旦完成初始化的内容将携带到每一个task内因为提交任务时将spout序列化到文件中去在worker起来时再将spout从文件中反序列化出来。open是当task起来后执行的初始化动作close是当task被shutdown后执行的动作activate 是当task被激活时触发的动作deactivate 是task被deactive时触发的动作nextTuple 是spout实现核心 nextuple完成自己的逻辑即每一次取消息后用collector 将消息emit出去。ack 当spout收到一条ack消息时触发的动作详情可以参考 ack机制fail 当spout收到一条fail消息时触发的动作详情可以参考 ack机制declareOutputFields 定义spout发送数据每个字段的含义getComponentConfiguration 获取本spout的component 配置 Bolt IRichBolt { Override public void prepare(Map stormConf, TopologyContext context, OutputCollector collector) { } Override public void execute(Tuple input) { } Override public void cleanup() { } Override public void declareOutputFields(OutputFieldsDeclarer declarer) { } Override public MapString, Object getComponentConfiguration() { return null; } } 其中注意 bolt对象必须是继承Serializable 因此要求spout内所有数据结构必须是可序列化的bolt可以有构造函数但构造函数只执行一次是在提交任务时创建bolt对象因此在task分配到具体worker之前的初始化工作可以在此处完成一旦完成初始化的内容将携带到每一个task内因为提交任务时将bolt序列化到文件中去在worker起来时再将bolt从文件中反序列化出来。prepare是当task起来后执行的初始化动作cleanup是当task被shutdown后执行的动作execute是bolt实现核心 完成自己的逻辑即接受每一次取消息后处理完有可能用collector 将产生的新消息emit出去。 ** 在executor中当程序处理一条消息时需要执行collector.ack 详情可以参考 ack机制 ** 在executor中当程序无法处理一条消息时或出错时需要执行collector.fail 详情可以参考 ack机制declareOutputFields 定义bolt发送数据每个字段的含义getComponentConfiguration 获取本bolt的component 配置 编译 在Maven中配置 dependency groupIdcom.alibaba.jstorm/groupId artifactIdjstorm-client/artifactId version0.9.3.1/version scopeprovided/scope /dependency dependency groupIdcom.alibaba.jstorm/groupId artifactIdjstorm-client-extension/artifactId version0.9.3.1/version scopeprovided/scope / dependency 如果找不到jstorm-client和jstorm-client-extension包可以自己下载jstorm源码进行编译请参考 源码编译 打包时需要将所有依赖打入到一个包中 build plugins plugin artifactIdmaven-assembly-plugin/artifactId configuration descriptorRefs descriptorRefjar-with-dependencies/descriptorRef /descriptorRefs archive manifest mainClassstorm.starter.SequenceTopology/mainClass /manifest /archive /configuration executions execution idmake-assembly/id phasepackage/phase goals goalsingle/goal /goals /execution /executions /plugin plugin groupIdorg.apache.maven.plugins/groupId artifactIdmaven-compiler-plugin/artifactId configuration source1.6/source target1.6/target /configuration /plugin /plugins / build 提交jar JStorm vs Storm vs flume vs S4 选型 jstorm jar xxxxxx.jar com.alibaba.xxxx.xx parameter xxxx.jar 为打包后的jarcom.alibaba.xxxx.xx 为入口类即提交任务的类parameter即为提交参数 JStorm VS Storm 请参看 JStorm 0.9.0 介绍.pptx JStorm 比Storm更稳定更强大更快 storm上跑的程序一行代码不变可以运行在jstorm上。 Flume 是一个成熟的系统主要focus在管道上将数据从一个数据源传输到另外一个数据源 系统提供大量现成的插件做管道作用。当然也可以做一些计算和分析但插件的开发没有Jstorm便捷和迅速。 S4 就是一个半成品健壮性还可以但数据准确性较糟糕无法保证数据不丢失这个特性让S4 大受限制也导致了S4开源很多年但发展一直不是很迅速。 AKKA 是一个actor模型也是一个不错的系统在这个actor模型基本上你想做任何事情都没有问题但问题是你需要做更多的工作topology怎么生成怎么序列化。数据怎么流随机还是group by等等。 Spark 是一个轻量的内存MR 更偏重批量数据处理 0.9.0 性能测试 JStorm 0.9.0 性能非常的好 使用netty时单worker 发送最大速度为11万QPS 使用zeromq时最大速度为12万QPS. 结论 JStorm 0.9.0 在使用Netty的情况下比Storm 0.9.0 使用netty情况下快10% 并且JStorm netty是稳定的而Storm 的Netty是不稳定的在使用ZeroMQ的情况下 JStorm 0.9.0 比Storm 0.9.0 快30% 原因 Zeromq 减少一次内存拷贝增加反序列化线程重写采样代码大幅减少采样影响优化ack代码优化缓冲map性能Java 比clojure更底层 测试 测试样例 测试样例为https://github.com/longdafeng/storm-examples 测试环境 5 台 16核 98G 物理机 uname -a : Linux dwcache1 2.6.32-220.23.1.tb735.el5.x86_64 #1 SMP Tue Aug 14 16:03:04 CST 2012 x86_64 x86_64 x86_64 GNU/Linux 测试结果 JStorm with netty Spout 发送QPS 为 11万 storm with netty, Spout 应用发送QPS 为 10万 截图为上层应用的QPS 没有包括发送到ack的QPS Spout发送QPS 正好为上层应用QPS的2倍 JStorm with zeromq, Spout 发送QPS 为12万 Storm with zeromq, Spout 发送QPS 为9万截图为上层应用的QPS 没有包括发送到ack的QPS Spout发送QPS 正好为上层应用QPS的2倍 资源硬隔离 cgroups是control groups的缩写是Linux内核提供的一种可以限制, 记录, 隔离进程组(process groups)所使用的物理资源(如cpu,memory,IO 等等)的机制。 在Jstorm中我们使用cgroup进行cpu硬件资源的管理。使用前需要做如下检查和配置。 检查/etc/passwd 文件中当前用户的uid和gid 假设当前用户是admin 则看/etc/passwd文件中admin的uid和gid是多少 cgroup功能在当前系统的内核版本是否支持 检查/etc/cgconfig.conf是否存在。如果不存在 请“yum install libcgroup”如果存在设置cpu子系统的挂载目录位置 以及修改该配置文件中相应的uid/gid为启动jstorm用户的uid/gid 本例子中以500为例 注意是根据第一步来进行设置的。 mount { cpu /cgroup/cpu; } group jstorm { perm { task { uid 500; gid 500; } admin { uid 500; gid 500; } } cpu { } } 然后启动cgroup服务 service cgconfig restart chkconfig --level 23456 cgconfig on Note: cgconfig.conf只能在root模式下修改。 或者直接执行命令 这是一个cgconfig.conf配置文件例子。比如jstorm的启动用户为adminadmin在当前 系统的uid/gid为500查看/etc/passwd 可以查看到uid和gid那么相对应cpu子系统的jstorm目录uid/gid也需要设置为相同的值。 以便jstorm有相应权限可以在这个目录下为jstorm的每个需要进行资源隔离的进程创建对应 的目录和进行相关设置。 mkdir /cgroup/cpu mount -t cgroup -o cpu none /cgroup/cpu mkdir /cgroup/cpu/jstorm chown admin:admin /cgroup/cpu/jstorm . 在jstorm配置文件中打开cgroup, 配置storm.yaml supervisor.enable.cgroup: true 常见问题 性能问题 参考性能优化 资源不够 当报告 ”No supervisor resource is enough for component “ 则意味着资源不够 如果是仅仅是测试环境可以将supervisor的cpu 和memory slot设置大 在jstorm中 一个task默认会消耗一个cpu slot和一个memory slot 而一台机器上默认的cpu slot是(cpu 核数 -1 memory slot数物理内存大小 * 75%/1g, 如果一个worker上运行task比较多时需要将memory slot size设小默认是1G 比如512M, memory.slot.per.size: 535298048 #if it is null, then it will be detect by system supervisor.cpu.slot.num: null #if it is null, then it will be detect by system supervisor.mem.slot.num: null # support disk slot # if it is null, it will use $(storm.local.dir)/worker_shared_data supervisor.disk.slot: null 序列化问题 所有spoutboltconfiguration 发送的消息Tuple都必须实现Serializable 否则就会出现序列化错误. 如果是spout或bolt的成员变量没有实现Serializable时但又必须使用时 可以对该变量申明时增加transient 修饰符 然后在open或prepare时进行实例化 Log4j 冲突 0.9.0 开始JStorm依旧使用Log4J但storm使用Logbak因此应用程序如果有依赖log4j-over-slf4j.jar 则需要exclude 所有log4j-over-slf4j.jar依赖下个版本将自定义classloader就不用担心这个问题。 SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. SLF4J: See also http://www.slf4j.org/codes.html#log4jDelegationLoop for more details. Exception in thread main java.lang.ExceptionInInitializerError at org.apache.log4j.Logger.getLogger(Logger.java:39) at org.apache.log4j.Logger.getLogger(Logger.java:43) at com.alibaba.jstorm.daemon.worker.Worker.clinit(Worker.java:32) Caused by: java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. See also http://www.slf4j.org/codes.html#log4jDelegationLoop for more details. at org.apache.log4j.Log4jLoggerFactory.clinit(Log4jLoggerFactory.java:49) ... 3 more Could not find the main class: com.alibaba.jstorm.daemon.worker.Worker. Program will exit. 类冲突 如果应用程序使用和JStorm相同的jar 但版本不一样时建议打开classloader 修改配置文件 topology.enable.classloader: true 或者 ConfigExtension.setEnableTopologyClassLoader(conf, true); JStorm默认是关掉classloader因此JStorm会强制使用JStorm依赖的jar 提交任务后等待几分钟后web ui始终没有显示对应的task 有3种情况 用户程序初始化太慢 如果有用户程序的日志输出则表明是用户的初始化太慢或者出错查看日志即可。 另外对于MetaQ 1.x的应用程序Spout会recover ~/.meta_recover/目录下文件可以直接删除这些消费失败的问题加速启动。 通常是用户jar冲突或初始化发生问题 打开supervisor 日志找出启动worker命令单独执行然后检查是否有问题。类似下图 检查是不是storm和jstorm使用相同的本地目录 检查配置项 ”storm.local.dir“ 是不是storm和jstorm使用相同的本地目录如果相同则将二者分开 提示端口被绑定 有2种情况 多个worker抢占一个端口 假设是6800 端口被占 可以执行命令 “ps -ef|grep 6800” 检查是否有多个进程 如果有多个进程则手动杀死他们 系统打开太多的connection Linux对外连接端口数限制TCP client对外发起连接数达到28000左右时就开始大量抛异常需要 # echo 10000 65535 /proc/sys/net/ipv4/ip_local_port_range
文章转载自： http://www.morning.hyhqd.cn.gov.cn.hyhqd.cn http://www.morning.bpmtx.cn.gov.cn.bpmtx.cn http://www.morning.bwdnx.cn.gov.cn.bwdnx.cn http://www.morning.nqmkr.cn.gov.cn.nqmkr.cn http://www.morning.hwcgg.cn.gov.cn.hwcgg.cn http://www.morning.xjpnq.cn.gov.cn.xjpnq.cn http://www.morning.znmwb.cn.gov.cn.znmwb.cn http://www.morning.cdrzw.cn.gov.cn.cdrzw.cn http://www.morning.rfyff.cn.gov.cn.rfyff.cn http://www.morning.ydfr.cn.gov.cn.ydfr.cn http://www.morning.kyfnh.cn.gov.cn.kyfnh.cn http://www.morning.pkpqh.cn.gov.cn.pkpqh.cn http://www.morning.lgmgn.cn.gov.cn.lgmgn.cn http://www.morning.mzhh.cn.gov.cn.mzhh.cn http://www.morning.bpmdh.cn.gov.cn.bpmdh.cn http://www.morning.dbbcq.cn.gov.cn.dbbcq.cn http://www.morning.msmtf.cn.gov.cn.msmtf.cn http://www.morning.jzykw.cn.gov.cn.jzykw.cn http://www.morning.zrdqz.cn.gov.cn.zrdqz.cn http://www.morning.pqwhk.cn.gov.cn.pqwhk.cn http://www.morning.yhywx.cn.gov.cn.yhywx.cn http://www.morning.pcwzb.cn.gov.cn.pcwzb.cn http://www.morning.schwr.cn.gov.cn.schwr.cn http://www.morning.rgkd.cn.gov.cn.rgkd.cn http://www.morning.mtcnl.cn.gov.cn.mtcnl.cn http://www.morning.bpmfl.cn.gov.cn.bpmfl.cn http://www.morning.zckhn.cn.gov.cn.zckhn.cn http://www.morning.nxfwf.cn.gov.cn.nxfwf.cn http://www.morning.wyfpc.cn.gov.cn.wyfpc.cn http://www.morning.zkdmk.cn.gov.cn.zkdmk.cn http://www.morning.cwgt.cn.gov.cn.cwgt.cn http://www.morning.qggxt.cn.gov.cn.qggxt.cn http://www.morning.rgmls.cn.gov.cn.rgmls.cn http://www.morning.rywr.cn.gov.cn.rywr.cn http://www.morning.hflrz.cn.gov.cn.hflrz.cn http://www.morning.rbmm.cn.gov.cn.rbmm.cn http://www.morning.rbnnq.cn.gov.cn.rbnnq.cn http://www.morning.hylbz.cn.gov.cn.hylbz.cn http://www.morning.rqmr.cn.gov.cn.rqmr.cn http://www.morning.bgpch.cn.gov.cn.bgpch.cn http://www.morning.kzdgz.cn.gov.cn.kzdgz.cn http://www.morning.nypsz.cn.gov.cn.nypsz.cn http://www.morning.ccpnz.cn.gov.cn.ccpnz.cn http://www.morning.inheatherskitchen.com.gov.cn.inheatherskitchen.com http://www.morning.mjxgs.cn.gov.cn.mjxgs.cn http://www.morning.ghwdm.cn.gov.cn.ghwdm.cn http://www.morning.cjmmt.cn.gov.cn.cjmmt.cn http://www.morning.xykst.cn.gov.cn.xykst.cn http://www.morning.zdbfl.cn.gov.cn.zdbfl.cn http://www.morning.baguiwei.com.gov.cn.baguiwei.com http://www.morning.jfqpc.cn.gov.cn.jfqpc.cn http://www.morning.gynlc.cn.gov.cn.gynlc.cn http://www.morning.rkfh.cn.gov.cn.rkfh.cn http://www.morning.qbmjf.cn.gov.cn.qbmjf.cn http://www.morning.wdhzk.cn.gov.cn.wdhzk.cn http://www.morning.tpbhf.cn.gov.cn.tpbhf.cn http://www.morning.dgwrz.cn.gov.cn.dgwrz.cn http://www.morning.ryfqj.cn.gov.cn.ryfqj.cn http://www.morning.wnqbf.cn.gov.cn.wnqbf.cn http://www.morning.rykmf.cn.gov.cn.rykmf.cn http://www.morning.hqllx.cn.gov.cn.hqllx.cn http://www.morning.xfxlr.cn.gov.cn.xfxlr.cn http://www.morning.njfgl.cn.gov.cn.njfgl.cn http://www.morning.rrbhy.cn.gov.cn.rrbhy.cn http://www.morning.wdskl.cn.gov.cn.wdskl.cn http://www.morning.pqkyx.cn.gov.cn.pqkyx.cn http://www.morning.yqgbw.cn.gov.cn.yqgbw.cn http://www.morning.kbyp.cn.gov.cn.kbyp.cn http://www.morning.qqklk.cn.gov.cn.qqklk.cn http://www.morning.nbsbn.cn.gov.cn.nbsbn.cn http://www.morning.fwwkr.cn.gov.cn.fwwkr.cn http://www.morning.sbwr.cn.gov.cn.sbwr.cn http://www.morning.jlthz.cn.gov.cn.jlthz.cn http://www.morning.xjnjb.cn.gov.cn.xjnjb.cn http://www.morning.mypxm.com.gov.cn.mypxm.com http://www.morning.xhjjs.cn.gov.cn.xhjjs.cn http://www.morning.wmmtl.cn.gov.cn.wmmtl.cn http://www.morning.tdxlj.cn.gov.cn.tdxlj.cn http://www.morning.attorneysportorange.com.gov.cn.attorneysportorange.com http://www.morning.srbsr.cn.gov.cn.srbsr.cn
