当前位置：首页 > news >正文

个人英文网站设计天津优化网络公司的建议

news 2025/10/22 19:57:55

个人英文网站设计,天津优化网络公司的建议,wordpress主题oa系统,郑州最新通告目录 1. 环境准备 1.1 配置免密登录 2. 下载并配置Spark 3. 配置Spark集群 3.1 配置spark-env.sh 3.2 配置spark-defaults.conf 3.3 设置Master和Worker节点 3.4 设配置log4j.properties 3.5 同步到所有Worker节点 4. 启动Spark Standalone集群 4.1 启动Master节点 …目录 1. 环境准备 1.1 配置免密登录 2. 下载并配置Spark 3. 配置Spark集群 3.1 配置spark-env.sh 3.2 配置spark-defaults.conf 3.3 设置Master和Worker节点 3.4 设配置log4j.properties 3.5 同步到所有Worker节点 4. 启动Spark Standalone集群 4.1 启动Master节点 4.2 启动Worker节点 4.3 启动日志服务 5. 测试Spark集群 5.1 提交测试任务 6. 管理Spark集群 6.1 停止Spark集群 7. 常见问题 7.1 防火墙问题 7.2 Java版本不兼容 1. 环境准备在开始之前请确保集群中所有节点满足以下要求操作系统建议使用LinuxCentOS或UbuntuJavaJDK 1.8或以上版本Python若使用PySpark请安装Python 3.6以上版本网络配置确保各节点之间的SSH无密码登录已配置在本教程中将采用以下的集群结构 Master节点负责管理资源分配和任务调度Worker节点实际执行任务 1.1 配置免密登录在Master节点上配置SSH免密登录方便自动化管理和任务分发。 ssh-keygen -t rsa # 生成密钥对 ssh-copy-id userworker1 # 将公钥复制到worker1节点 ssh-copy-id userworker2 # 将公钥复制到worker2节点确认免密登录配置成功后可以继续下一步。 2. 下载并配置Spark PySpark单机模式安装教程 (按照PySpark单机模式安装教程将其他Work节点也安装Anaconda # 解压安装 cd /opt/modules tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs # 重命名 cd /opt/installs mv spark-3.1.2-bin-hadoop3.2 spark-standalone # 重新构建软连接 rm -rf spark ln -s spark-standalone spark 3. 配置Spark集群 3.1 配置spark-env.sh 在$SPARK_HOME/conf目录下复制模板文件spark-env.sh.template并重命名为spark-env.sh cd /opt/installs/spark/conf mv spark-env.sh.template spark-env.sh在spark-env.sh文件中添加以下内容 # 22行申明JVM环境路径以及Hadoop的配置文件路径 export JAVA_HOME/opt/installs/jdk export HADOOP_CONF_DIR/opt/installs/hadoop/etc/hadoop # 60行左右 export SPARK_MASTER_HOSTbigdata01 # 主节点所在的地址 export SPARK_MASTER_PORT7077 #主节点内部通讯端口用于接收客户端请求 export SPARK_MASTER_WEBUI_PORT8080 #主节点用于供外部提供浏览器web访问的端口 export SPARK_WORKER_CORES1 # 指定这个集群总每一个从节点能够使用多少核CPU export SPARK_WORKER_MEMORY1g #指定这个集群总每一个从节点能够使用多少内存 export SPARK_WORKER_PORT7078 export SPARK_WORKER_WEBUI_PORT8081 export SPARK_DAEMON_MEMORY1g # 进程自己本身使用的内存 export SPARK_HISTORY_OPTS-Dspark.history.fs.logDirectoryhdfs://bigdata01:9820/spark/eventLogs/ -Dspark.history.fs.cleaner.enabledtrue # Spark中提供了一个类似于jobHistoryServer的进程就叫做HistoryServer, 用于查看所有运行过的spark程序在HDFS上创建程序日志存储目录(首先如果没有启动hdfs需要启动一下) # 第一台机器启动HDFS start-dfs.sh # 创建程序运行日志的存储目录 hdfs dfs -mkdir -p /spark/eventLogs/ 3.2 配置spark-defaults.conf 在$SPARK_HOME/conf目录下复制模板文件spark-defaults.conf并重命名为spark-defaults.conf mv spark-defaults.conf.template spark-defaults.conf vim spark-defaults.conf 在spark-env.sh文件中添加以下内容 # 末尾 spark.eventLog.enabled true spark.eventLog.dir hdfs://bigdata01:9820/spark/eventLogs spark.eventLog.compress true 3.3 设置Master和Worker节点在$SPARK_HOME/conf目录下复制模板文件workers.template并重命名为workers mv workers.template workers 在workers文件中添加所有Worker节点的IP或主机名例如 # 删掉localhost添加以下内容 bigdata01 bigdata02 bigdata03 3.4 设配置log4j.properties 在$SPARK_HOME/conf目录下复制模板文件log4j.properties.template并重命名为log4j.properties mv log4j.properties.template log4j.properties 在log4j.properties文件中添修改以下内容 # 19行修改日志级别为WARN log4j.rootCategoryWARN, consolelog4j的5种级别 debug -- info -- warn --error --fatal 3.5 同步到所有Worker节点将Master的spark同步到其他Worker节点 scp $SPARK_HOME userworker1:$SPARK_HOME scp $SPARK_HOME userworker2:$SPARK_HOME 也可以使用文件分发脚本xsync.sh将整个spark文件同步给其他节点同时在其他节点创建软链接命令同步执行脚本xcall.sh cd /opt/installs/ ln -s spark-standalone spark换个思路是否可以同步软链接 xsync.sh /opt/installs/spark 4. 启动Spark Standalone集群 4.1 启动Master节点在Master节点上执行以下命令启动Master服务 # 启动master: cd /opt/installs/spark sbin/start-master.sh Master启动成功后可以在http://Master_IP:8080查看集群的Web UI8080为默认端口。 4.2 启动Worker节点在Master节点上通过以下命令启动所有Worker节点 # 启动所有worker: sbin/start-workers.sh # 如果你想启动某一个worker sbin/start-worker.sh 4.3 启动日志服务在Master节点上通过以下命令启动日志服务 # 启动日志服务 sbin/start-history-server.sh 5. 测试Spark集群 5.1 提交测试任务可以通过以下命令提交一个简单的Spark任务来测试集群是否配置成功 $SPARK_HOME/bin/spark-submit --master spark://Master_IP:7077 \ --class org.apache.spark.examples.SparkPi \ $SPARK_HOME/examples/jars/spark-examples*.jar 10 运行后观察任务的运行结果若无错误信息说明集群部署成功。 6. 管理Spark集群 6.1 停止Spark集群可以在Master节点上执行以下命令停止集群 $SPARK_HOME/sbin/stop-all.sh# 要想关闭某个服务将start换为stop 也可以分别在Master和Worker节点上使用stop-master.sh和stop-worker.sh命令来单独停止服务。 7. 常见问题 7.1 防火墙问题如果无法访问Web UI请检查是否需要开放8080端口或使用防火墙命令允许通信 # 防火墙状态命令 systemctl status firewalld # 关闭防火墙命令 systemctl stop firewalld重启后防火墙还是会自动开启 # 开启防火墙命令 systemctl start firewalld # 重启防火墙命令 systemctl restart firewalld # 开机启动防火墙命令 systemctl enable firewalld # 开机不启动防火墙命令 systemctl disable firewalld 7.2 Java版本不兼容确保所有节点上的Java版本一致以避免运行时出现兼容性问题。至此您已成功部署了Spark Standalone集群并验证了基本的任务提交。Standalone集群适用于中小规模数据处理需求便于简单、高效地管理Spark资源。
文章转载自：
http://www.morning.xzsqb.cn.gov.cn.xzsqb.cn
http://www.morning.qfwfj.cn.gov.cn.qfwfj.cn
http://www.morning.kkwbw.cn.gov.cn.kkwbw.cn
http://www.morning.lsxabc.com.gov.cn.lsxabc.com
http://www.morning.azxey.cn.gov.cn.azxey.cn
http://www.morning.c7630.cn.gov.cn.c7630.cn
http://www.morning.srnth.cn.gov.cn.srnth.cn
http://www.morning.glxdk.cn.gov.cn.glxdk.cn
http://www.morning.yzxhk.cn.gov.cn.yzxhk.cn
http://www.morning.pflry.cn.gov.cn.pflry.cn
http://www.morning.xhftj.cn.gov.cn.xhftj.cn
http://www.morning.feites.com.gov.cn.feites.com
http://www.morning.mlpch.cn.gov.cn.mlpch.cn
http://www.morning.wfkbk.cn.gov.cn.wfkbk.cn
http://www.morning.rxsgk.cn.gov.cn.rxsgk.cn
http://www.morning.nqbcj.cn.gov.cn.nqbcj.cn
http://www.morning.mstbbs.com.gov.cn.mstbbs.com
http://www.morning.xgxbr.cn.gov.cn.xgxbr.cn
http://www.morning.tnktt.cn.gov.cn.tnktt.cn
http://www.morning.pplxd.cn.gov.cn.pplxd.cn
http://www.morning.tfwsk.cn.gov.cn.tfwsk.cn
http://www.morning.rrcrs.cn.gov.cn.rrcrs.cn
http://www.morning.gwkwt.cn.gov.cn.gwkwt.cn
http://www.morning.lqjlg.cn.gov.cn.lqjlg.cn
http://www.morning.jokesm.com.gov.cn.jokesm.com
http://www.morning.llyqm.cn.gov.cn.llyqm.cn
http://www.morning.rfrnc.cn.gov.cn.rfrnc.cn
http://www.morning.hkgcx.cn.gov.cn.hkgcx.cn
http://www.morning.pqwhk.cn.gov.cn.pqwhk.cn
http://www.morning.gwqq.cn.gov.cn.gwqq.cn
http://www.morning.yjfmj.cn.gov.cn.yjfmj.cn
http://www.morning.nhlnh.cn.gov.cn.nhlnh.cn
http://www.morning.lnbcg.cn.gov.cn.lnbcg.cn
http://www.morning.yrbp.cn.gov.cn.yrbp.cn
http://www.morning.rkbly.cn.gov.cn.rkbly.cn
http://www.morning.rnzbr.cn.gov.cn.rnzbr.cn
http://www.morning.hxpff.cn.gov.cn.hxpff.cn
http://www.morning.qtqk.cn.gov.cn.qtqk.cn
http://www.morning.rxrw.cn.gov.cn.rxrw.cn
http://www.morning.trnl.cn.gov.cn.trnl.cn
http://www.morning.hfrbt.cn.gov.cn.hfrbt.cn
http://www.morning.ltpmy.cn.gov.cn.ltpmy.cn
http://www.morning.cczrw.cn.gov.cn.cczrw.cn
http://www.morning.mftzm.cn.gov.cn.mftzm.cn
http://www.morning.bwkhp.cn.gov.cn.bwkhp.cn
http://www.morning.ahscrl.com.gov.cn.ahscrl.com
http://www.morning.pprxs.cn.gov.cn.pprxs.cn
http://www.morning.hxcuvg.cn.gov.cn.hxcuvg.cn
http://www.morning.nbpqx.cn.gov.cn.nbpqx.cn
http://www.morning.wjpsn.cn.gov.cn.wjpsn.cn
http://www.morning.gqnll.cn.gov.cn.gqnll.cn
http://www.morning.egmux.cn.gov.cn.egmux.cn
http://www.morning.rgxf.cn.gov.cn.rgxf.cn
http://www.morning.rnqyy.cn.gov.cn.rnqyy.cn
http://www.morning.rtspr.cn.gov.cn.rtspr.cn
http://www.morning.mqxrx.cn.gov.cn.mqxrx.cn
http://www.morning.bwfsn.cn.gov.cn.bwfsn.cn
http://www.morning.xrrjb.cn.gov.cn.xrrjb.cn
http://www.morning.rzmkl.cn.gov.cn.rzmkl.cn
http://www.morning.pqjpw.cn.gov.cn.pqjpw.cn
http://www.morning.alwpc.cn.gov.cn.alwpc.cn
http://www.morning.sqqds.cn.gov.cn.sqqds.cn
http://www.morning.nyqnk.cn.gov.cn.nyqnk.cn
http://www.morning.zwckz.cn.gov.cn.zwckz.cn
http://www.morning.phtqr.cn.gov.cn.phtqr.cn
http://www.morning.hjrjr.cn.gov.cn.hjrjr.cn
http://www.morning.bpmtj.cn.gov.cn.bpmtj.cn
http://www.morning.mrgby.cn.gov.cn.mrgby.cn
http://www.morning.kklwz.cn.gov.cn.kklwz.cn
http://www.morning.rwyw.cn.gov.cn.rwyw.cn
http://www.morning.ahlart.com.gov.cn.ahlart.com
http://www.morning.rswtz.cn.gov.cn.rswtz.cn
http://www.morning.rymd.cn.gov.cn.rymd.cn
http://www.morning.pgmyn.cn.gov.cn.pgmyn.cn
http://www.morning.ndyrb.com.gov.cn.ndyrb.com
http://www.morning.xirfr.cn.gov.cn.xirfr.cn
http://www.morning.mhpmw.cn.gov.cn.mhpmw.cn
http://www.morning.mygbt.cn.gov.cn.mygbt.cn
http://www.morning.qyxnf.cn.gov.cn.qyxnf.cn
http://www.morning.lgnbr.cn.gov.cn.lgnbr.cn

查看全文

http://www.tj-hxxt.cn/news/240549.html