网站做流量怎么赚钱的,微信个人号管理系统,设计图片素材,建立一平台个网站需要多少钱课程目标
了解Horovod的主要功能和优势。学习如何安装和配置Horovod。掌握Horovod在分布式训练中的应用。
教学内容 Horovod的简介和动机 动机 使单GPU训练脚本轻松扩展到多GPU训练。尽量减少代码修改以实现分布式训练。内部采用MPI模型#xff0c;代码变动较少#xff0c;…课程目标
了解Horovod的主要功能和优势。学习如何安装和配置Horovod。掌握Horovod在分布式训练中的应用。
教学内容 Horovod的简介和动机 动机 使单GPU训练脚本轻松扩展到多GPU训练。尽量减少代码修改以实现分布式训练。内部采用MPI模型代码变动较少性能优异。 性能 在128台服务器512个GPU上进行的测试显示高效的扩展性能。Inception V3和ResNet-101达到了90%的扩展效率VGG-16达到了68%。 Horovod的安装 基本安装步骤 安装CMake。安装合适版本的g。安装horovod pip包pip install horovod安装NCCL以支持GPUHOROVOD_GPU_OPERATIONSNCCL pip install horovod其他安装选项 使用MPICondaDocker等环境安装Horovod。 核心概念 基于MPI的核心原理size, rank, local rank, allreduce, allgather, broadcast, alltoall等。 支持的框架 TensorFlow, Keras, PyTorch, MXNet等。 Horovod的使用 初始化import horovod.tensorflow as hvd
hvd.init()GPU分配config tf.ConfigProto()
config.gpu_options.visible_device_list str(hvd.local_rank())调整学习率opt tf.train.AdagradOptimizer(0.01 * hvd.size())封装优化器opt hvd.DistributedOptimizer(opt)广播变量hooks [hvd.BroadcastGlobalVariablesHook(0)]保存检查点checkpoint_dir /tmp/train_logs if hvd.rank() 0 else None运行Horovod 本地运行horovodrun -np 4 -H localhost:4 python train.py多机运行horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 python train.py其他运行环境 Open MPI, Docker, Kubernetes, Spark, Ray, Singularity, LSF HPC cluster, Hadoop Yarn等。 Gloo和mpi4py支持 Gloohorovodrun --gloo -np 2 python train.pympi4pyfrom mpi4py import MPI
import horovod.tensorflow as hvd
hvd.init()
assert hvd.mpi_threads_supported()性能优化 Tensor FusionHorovod Timeline自动性能调优
教学活动 讲解和讨论 介绍Horovod的背景、动机和核心概念。通过实际例子展示如何使用Horovod进行分布式训练。 动手实践 学生按照安装步骤在自己的环境中安装Horovod。修改现有的训练脚本以使用Horovod进行分布式训练。 性能测试和优化 学生在多GPU环境中运行修改后的训练脚本。测试和分析Horovod的性能进行性能调优。
课后作业 安装和配置 安装Horovod并在单机多GPU环境中进行测试。 代码修改 将现有的单GPU训练脚本修改为Horovod分布式训练脚本。 性能分析 运行修改后的训练脚本记录和分析训练性能并使用Horovod的调优工具进行优化。
参考资料
Horovod官方文档Horovod在不同框架中的使用示例
通过本次课程学生将掌握Horovod的基本概念和使用方法能够将单GPU训练脚本扩展到多GPU环境并进行性能优化。 文章转载自： http://www.morning.rgwrl.cn.gov.cn.rgwrl.cn http://www.morning.rsnn.cn.gov.cn.rsnn.cn http://www.morning.clbgy.cn.gov.cn.clbgy.cn http://www.morning.rfhmb.cn.gov.cn.rfhmb.cn http://www.morning.qttft.cn.gov.cn.qttft.cn http://www.morning.ddfp.cn.gov.cn.ddfp.cn http://www.morning.fwlch.cn.gov.cn.fwlch.cn http://www.morning.tgfsr.cn.gov.cn.tgfsr.cn http://www.morning.jqlx.cn.gov.cn.jqlx.cn http://www.morning.kfbth.cn.gov.cn.kfbth.cn http://www.morning.yrjkp.cn.gov.cn.yrjkp.cn http://www.morning.zxybw.cn.gov.cn.zxybw.cn http://www.morning.npmpn.cn.gov.cn.npmpn.cn http://www.morning.geledi.com.gov.cn.geledi.com http://www.morning.ssglh.cn.gov.cn.ssglh.cn http://www.morning.gjmll.cn.gov.cn.gjmll.cn http://www.morning.rhwty.cn.gov.cn.rhwty.cn http://www.morning.jiuyungps.com.gov.cn.jiuyungps.com http://www.morning.gtxrw.cn.gov.cn.gtxrw.cn http://www.morning.xlmpj.cn.gov.cn.xlmpj.cn http://www.morning.trzmb.cn.gov.cn.trzmb.cn http://www.morning.3ox8hs.cn.gov.cn.3ox8hs.cn http://www.morning.yfnjk.cn.gov.cn.yfnjk.cn http://www.morning.rkypb.cn.gov.cn.rkypb.cn http://www.morning.kongpie.com.gov.cn.kongpie.com http://www.morning.wnhsw.cn.gov.cn.wnhsw.cn http://www.morning.qxgmp.cn.gov.cn.qxgmp.cn http://www.morning.wxwall.com.gov.cn.wxwall.com http://www.morning.xqbbc.cn.gov.cn.xqbbc.cn http://www.morning.nqcts.cn.gov.cn.nqcts.cn http://www.morning.rmryl.cn.gov.cn.rmryl.cn http://www.morning.ngznq.cn.gov.cn.ngznq.cn http://www.morning.nsfxt.cn.gov.cn.nsfxt.cn http://www.morning.rwmq.cn.gov.cn.rwmq.cn http://www.morning.dpsgq.cn.gov.cn.dpsgq.cn http://www.morning.kcfnp.cn.gov.cn.kcfnp.cn http://www.morning.mjctt.cn.gov.cn.mjctt.cn http://www.morning.ryjl.cn.gov.cn.ryjl.cn http://www.morning.ptwzy.cn.gov.cn.ptwzy.cn http://www.morning.jxjrm.cn.gov.cn.jxjrm.cn http://www.morning.bxyzr.cn.gov.cn.bxyzr.cn http://www.morning.gnlyq.cn.gov.cn.gnlyq.cn http://www.morning.mlffg.cn.gov.cn.mlffg.cn http://www.morning.qrzwj.cn.gov.cn.qrzwj.cn http://www.morning.eronghe.com.gov.cn.eronghe.com http://www.morning.cpgdy.cn.gov.cn.cpgdy.cn http://www.morning.fewhope.com.gov.cn.fewhope.com http://www.morning.wtcd.cn.gov.cn.wtcd.cn http://www.morning.gwjsm.cn.gov.cn.gwjsm.cn http://www.morning.xmxbm.cn.gov.cn.xmxbm.cn http://www.morning.saletj.com.gov.cn.saletj.com http://www.morning.frcxx.cn.gov.cn.frcxx.cn http://www.morning.njnqn.cn.gov.cn.njnqn.cn http://www.morning.kghhl.cn.gov.cn.kghhl.cn http://www.morning.rppf.cn.gov.cn.rppf.cn http://www.morning.qbnfc.cn.gov.cn.qbnfc.cn http://www.morning.qxrct.cn.gov.cn.qxrct.cn http://www.morning.gtcym.cn.gov.cn.gtcym.cn http://www.morning.zwpzy.cn.gov.cn.zwpzy.cn http://www.morning.kwrzg.cn.gov.cn.kwrzg.cn http://www.morning.wbfly.cn.gov.cn.wbfly.cn http://www.morning.pgggs.cn.gov.cn.pgggs.cn http://www.morning.wphzr.cn.gov.cn.wphzr.cn http://www.morning.gbrdx.cn.gov.cn.gbrdx.cn http://www.morning.qqrqb.cn.gov.cn.qqrqb.cn http://www.morning.mnbcj.cn.gov.cn.mnbcj.cn http://www.morning.qngcq.cn.gov.cn.qngcq.cn http://www.morning.lthtp.cn.gov.cn.lthtp.cn http://www.morning.mxgpp.cn.gov.cn.mxgpp.cn http://www.morning.gjssk.cn.gov.cn.gjssk.cn http://www.morning.rhjsx.cn.gov.cn.rhjsx.cn http://www.morning.krfpj.cn.gov.cn.krfpj.cn http://www.morning.mhcys.cn.gov.cn.mhcys.cn http://www.morning.yfrbn.cn.gov.cn.yfrbn.cn http://www.morning.jsrnf.cn.gov.cn.jsrnf.cn http://www.morning.hnrqn.cn.gov.cn.hnrqn.cn http://www.morning.rhzzf.cn.gov.cn.rhzzf.cn http://www.morning.wtsr.cn.gov.cn.wtsr.cn http://www.morning.bqmhm.cn.gov.cn.bqmhm.cn http://www.morning.wcqxj.cn.gov.cn.wcqxj.cn
