网站建设项目结构分析,建筑公司网址,vs怎么添加做网站,网站上线的步骤使用 AWSCLI 启动、运行和关闭 AWS 服务器 添加图片注释#xff0c;不超过 140 字#xff08;可选#xff09;
欢迎来到雲闪世界。我们开发了两个 Python 脚本#xff1b;一个用于为我们获取数据#xff0c;另一个用于使用 sklearn 的决策树分类器处理数据。然后#xf…使用 AWSCLI 启动、运行和关闭 AWS 服务器 添加图片注释不超过 140 字可选
欢迎来到雲闪世界。我们开发了两个 Python 脚本一个用于为我们获取数据另一个用于使用 sklearn 的决策树分类器处理数据。然后我们将它们上传到 AWS 上的 S3 存储桶以便妥善保管并方便从其他 AWS 服务访问。
在这篇文章中我们将探讨如何设置一个工作流该工作流为我们创建一个处理服务器在该服务器中对我们的数据进行模型训练然后在完成后删除该服务器。
在 Amazon Web Service (AWS) 上运行一组模型
AWS 的定价模式是“按使用量付费”这意味着我们可以创建一个服务器在其上进行一些数据处理然后将其拆除我们只需为服务器运行的时间付费。此外我们将使用一个客户端库来启动服务器创建服务器的花哨术语和拆除服务器称为 AWSCLIAWS 客户端。 配置我们的客户端应用程序
首先我们将安装并配置 AWSCLI。我将使用 AWS CLI v2。安装后我们可以测试它是否正常工作
aws2 --version aws-cli/2.0.0dev2 Python/3.7.5 Windows/10 botocore/2.0.0dev1
然后我们进行配置。在配置 AWSCLI 时此页面可能对默认区域选择有用。
我们还应该通过运行来创建默认角色
aws2 emr 创建默认角色
创建引导文件
配置完成后我们可以使用 AWSCLI 启动服务器。如何创建一个引导文件来为我们初始化服务器。您会注意到我们需要在服务器中安装 pandas 和 matplotlib 等软件包因为它附带了一些最低限度的 python 软件包。
这将是我们的引导文件
#!/bin/bash
sudo update-alternatives --set python /usr/bin/python3.6
sudo python3 -m pip install pandas requests numpy matplotlib s3fs
aws s3 sync s3://workflow-scripts/ /home/hadoop/
sudo python3 /home/hadoop/obtain_data.py AAPL --output_directory s3://data-files 第一行将python命令设置为指向 Python 3当前为 3.6而不是默认的 2.7为什么默认仍然是 2.7Bezos自宣布弃用以来已经 6 年了。这样我们漂亮的脚本将由 Python 3.x 运行 第二条命令使用 python 安装我们所需的库。您可以随意在此处添加对您有用的任何其他库。 第三个命令将存储桶的内容复制workflow-scripts到集群中。您必须将其替换workflow-scripts为您的存储桶名称。 第四行运行脚本您可以在此处获取该脚本将为我们获取数据并将该数据存储在适当的 S3 存储桶中。您必须将 替换data-files为您的存储桶名称。
这个引导脚本将是我们服务器设置时运行的第一个项目。 配置 S3 的读/写权限
我们现在有了设置脚本和基本数据处理脚本。我们几乎可以运行代码了。我们需要确保脚本可以读取和写入 S3 存储桶。
我们将向默认角色添加允许该操作的策略。 这是什么意思好吧当我们创建一个 EMR 集群一组为我们进行处理的计算机时我们会为该集群分配一个角色这意味着我们赋予它一些权限来执行诸如在集群中安装库之类的操作。它就像我们的集群能够执行的操作的集合。希望我们按照指示创建了默认角色。但是这些角色不包括与私有的 S3 存储桶交互的权限。有两种方法可以解决这个问题 将存储桶中的文件完全公开这真是一个糟糕的想法 投入更多时间进行 AWS 配置并赋予某些角色与我们拥有的 S3 存储桶进行交互的能力效果要好得多
导航到 AWS 中的 IAM 控制台我们将找到所有可用角色的列表 添加图片注释不超过 140 字可选
然后点击每个默认角色并选择添加内联策略 添加图片注释 然后我们将为我们的角色添加完整的读写策略如下所示 添加图片注释不超过 140 字可选
实际上我们可以更加具体地制定我们的策略以及我们的角色如何与 S3 存储桶进行交互。现在我们将为所有四个资源组访问点、存储桶、作业和对象选择“任意”然后我们可以审查策略并批准它。
如果有需要应该选择更严格的条件。
YARN 的配置文件
我们在本演示中要做的事情将需要机器上大量的 RAM超过默认值允许的量。因此我们必须创建一个配置文件来帮助我们解决这个问题。
一般情况下大数据不会全部加载到 RAM 中而是使用 HIVE 或 Spark 进行交互。然而为了将 Spark 与我们的经典机器学习方法进行比较我们将反其道而行之将大量数据加载到 RAM 中。
让我们在本地机器上创建一个名为 config.json 的配置文件。配置文件如下所示
[{Classification: yarn-site,Properties: {yarn.scheduler.minimum-allocation-mb: 1024,yarn.scheduler.maximum-allocation-mb: 30384,yarn.nodemanager.resource.memory-mb: 30384,yarn.nodemanager.vmem-check-enabled: false,yarn.nodemanager.pmem-check-enabled: false}}
]
它与我们的资源管理器 YARN又一个资源协商器打交道并告诉我们可以为整个应用程序分配多少内存以及告诉 YARN 不要检查内存违规整个内存中只有一小部分会分配给我们的 Python 脚本因此我们需要停止检查那小块之外的违规行为。
再次强调这样做是为了比较我们的基础sklearn决策树而不是处理大数据的方式。
为我们的集群设置身份验证
我们必须从 EC2 仪表板创建一个密钥对并将其下载到我们的计算机 添加图片注释不超过 140 字可选
下载密钥对后你必须通过运行以下命令使其可读
chmod 400 我的密钥对.pem
使用终端 (Mac) 或 Git-Bash (Windows) 在文件上。这样您以后就可以连接到您启动的实例如果它正在运行。
通过 AWS CLI 启动 EMR 集群
终于我们期待已久的时刻到了。使用 AWSCLI我们可以舒舒服服地在家里启动一个集群来为我们做一些工作。为此我们将运行以下命令
aws2 emr create-cluster \
--name 带步骤的 Spark 集群 \
--release-label emr-5.29.0 \
--applications NameSpark \
--log-uri s3://log-bucket/logs/ \
--ec2-attributes KeyName my-key-pair \
--instance-type m5.2xlarge \
--instance-count 1 \
--bootstrap-actions Path s3://scripts-and-setup/bootstrap_file.sh \
--configuration file://config.json \
--steps NameCommand Runner,Jarcommand-runner.jar,Args[spark-submit,--deploy-modecluster,--executor-memory,20G, s3://workflow-script/process_data.py , s3://data-files/ AAPL.csv”] \
--use-default-roles \
--auto-terminate
这个命令有很多内容所以让我们来解析一下重要内容 aws2 emr create-cluster— 希望这是不言自明的 --name Spark cluster with step— 将此名称替换为您喜欢的任何名称但这将是集群的名称 --release-label emr-5.29.0— 要使用的集群的版本。不同版本的集群包含各种其他应用程序的不同版本例如 Hadoop、Spark、Hive 等。 --applications NameSpark— 我们将推出一款 Spark 应用程序 --log-uri s3://log-bucket/logs/—这是我们将日志发送到的地方。您需要一个日志存储桶以防您的集群发生故障您可以查看出错的日志。您必须用您的存储桶替换它。 --ec2-attributes KeyNamemy-key-pair—这是您稍后可以使用的密钥对以便建立与集群的 ssh 连接如果需要 --instance-type m5.2xlarge— 这是我们将使用的实例类型和大小。AWSCLI 不支持小于 xlarge 的实例 --instance-count 1— 我们将仅启动 1 个实例实际上并不像集群那样但我们将在下一篇文章中介绍它 --bootstrap-actions Paths3://scripts-and-setup/bootstrap_file.sh— 这是命令的一部分告诉集群使用哪个脚本来启动集群。您必须将其替换为您的脚本文件位置 --configuration file://config.json— 这告诉 AWSCLI 使用我们创建的 config.json 文件前缀file://告诉 AWSCLI 这是我们机器的本地文件尽管我们也可以将其存储在 AWS S3 上 --steps NameCommand Runner,Jarcommand-runner.jar,Args[spark-submit,--deploy-modecluster,--executor-memory,20G,s3://workflow-scripts/process_data.py, s3://data-files/AAPL.csv]— 这个相当复杂所以我们将其进一步分解。首先我们将使用command-runner.jarJar 文件运行我们的 python 脚本。这是一个 Java 可执行文件它将运行我们的 python 脚本并管理所有与 Spark 相关的工作。 我们向该 .jar 文件发送一些参数Args。它们是spark-submit表示这项作业已提交给 Spark 框架--deploy-modecluster表示我们正在集群内部启动我们的可执行文件而不是从我们的家用非 AWS 机器启动我们要求 Spark 框架在运行我们的脚本及其其他步骤时使用 20GB 内存实际上由于 Spark 和 YARN 之间的内存分配方式我们的脚本会少一些命令--executor-memory和20G最后是最后一个参数它神奇地通过 AWS 魔法被解析成注意逗号被空格替换以形成完整的命令。这是 Spark 环境将运行的完整命令即我们的 Python 脚本在此处下载及其所有参数。对于这一步您必须将存储桶名称替换为您自己的适当名称。 s3://workflow-scripts/process_data.py, s3://data-files/AAPL.csv s3://workflow-scripts/process_data.py s3://data-files/AAPL.csv --use-default-roles— 告诉 AWS 使用我们之前设置的默认角色 --auto-terminate— 这是一个非常漂亮的参数。它告诉集群在完成所有处理后终止这样我们就不必让集群闲置在那里不做任何事情就从我们的信用卡中扣款。如果您想让集群保持运行以进行调试您可以忽略此参数或使用显式版本--no-auto-terminate。但是请确保您手动终止它。
我们的运行结果
在我的计算机上输入命令后集群大约需要 2 秒钟才能启动又需要 12 分钟才能完成我要求的所有操作并终止。检查 S3 存储桶上的日志时决策树分类器报告已运行 8 分钟进行拟合和预测。
到目前为止我们已经启动了一个节点来为我们进行一些处理请注意我们使用比家用笔记本电脑更强大的机器获得了好处。我们使用 sklearn 进行分析的代码现在在一台功能强大的计算机上运行了约 12 分钟。 虽然这个集群在分布式计算领域还没有做太多事情但我们已经为 Spark 的运行奠定了基础。我在这里提到过几次 Spark在下一篇文章中我将最终展示这个框架在我们用决策树探索的相同数据上的实际运行情况。
迄今总成本
我想在这里停下来谈谈成本问题。练习和磨练 AWS 技能的最大障碍之一是在大多数数据科学信息和技能都是免费的Kaggle 的免费数据集、Python 和 R 等免费编程工具的情况下AWS 需要花钱而且直到第二天收到账单后才完全清楚要花多少钱。 在学习和试验如何正确设置此设置的过程中我已经启动设置和拆除了 100 多个集群到目前为止我注册 AWS 的总费用约为 1 美元加上所有这些集群的费用不到 5 美元。到目前为止我的账单很便宜主要是因为我的每个“集群”中只有一个实例--instance-count 1而且我使用类型集群练习了大多数启动和拆除m5.xlarge。我将数据框的大小缩小到原型并最终在 上进行了原型设计m5.2xlarge。
感谢关注雲闪世界。Aws解决方案架构师vs开发人员GCP解决方案架构师vs开发人员
订阅频道(https://t.me/awsgoogvps_Host) TG交流群(t.me/awsgoogvpsHost)
#aws CLI cheat sheet #aws cli Debug #aws cli get S3 object #aws cli login with access key #aws cli to download from s3 #aws command line download from s3 #homebrew install aws cli#aws sdk get caller identity #aws s3 cli get object #aws s3 put object#aws s3 headobject#aws s3 put-object #aws s3 sync vs cp 文章转载自： http://www.morning.ljyqn.cn.gov.cn.ljyqn.cn http://www.morning.rlbg.cn.gov.cn.rlbg.cn http://www.morning.tbjb.cn.gov.cn.tbjb.cn http://www.morning.fhlfp.cn.gov.cn.fhlfp.cn http://www.morning.bhpjc.cn.gov.cn.bhpjc.cn http://www.morning.jwefry.cn.gov.cn.jwefry.cn http://www.morning.klpwl.cn.gov.cn.klpwl.cn http://www.morning.pljxz.cn.gov.cn.pljxz.cn http://www.morning.gwqcr.cn.gov.cn.gwqcr.cn http://www.morning.nzkkh.cn.gov.cn.nzkkh.cn http://www.morning.mzpd.cn.gov.cn.mzpd.cn http://www.morning.thzgd.cn.gov.cn.thzgd.cn http://www.morning.jkcnq.cn.gov.cn.jkcnq.cn http://www.morning.rcqyk.cn.gov.cn.rcqyk.cn http://www.morning.nqpy.cn.gov.cn.nqpy.cn http://www.morning.tmpsc.cn.gov.cn.tmpsc.cn http://www.morning.ffptd.cn.gov.cn.ffptd.cn http://www.morning.rxfgh.cn.gov.cn.rxfgh.cn http://www.morning.gcbhh.cn.gov.cn.gcbhh.cn http://www.morning.tdhxp.cn.gov.cn.tdhxp.cn http://www.morning.qnbgk.cn.gov.cn.qnbgk.cn http://www.morning.fstdf.cn.gov.cn.fstdf.cn http://www.morning.xnbd.cn.gov.cn.xnbd.cn http://www.morning.bpmnl.cn.gov.cn.bpmnl.cn http://www.morning.yuanshenglan.com.gov.cn.yuanshenglan.com http://www.morning.rpgdd.cn.gov.cn.rpgdd.cn http://www.morning.mdxwz.cn.gov.cn.mdxwz.cn http://www.morning.crxdn.cn.gov.cn.crxdn.cn http://www.morning.bpmdx.cn.gov.cn.bpmdx.cn http://www.morning.snnkt.cn.gov.cn.snnkt.cn http://www.morning.tsmxh.cn.gov.cn.tsmxh.cn http://www.morning.qhjkz.cn.gov.cn.qhjkz.cn http://www.morning.rkck.cn.gov.cn.rkck.cn http://www.morning.nxfwf.cn.gov.cn.nxfwf.cn http://www.morning.gyqnp.cn.gov.cn.gyqnp.cn http://www.morning.mzwfw.cn.gov.cn.mzwfw.cn http://www.morning.qxnns.cn.gov.cn.qxnns.cn http://www.morning.fjgwg.cn.gov.cn.fjgwg.cn http://www.morning.nwllb.cn.gov.cn.nwllb.cn http://www.morning.srxhd.cn.gov.cn.srxhd.cn http://www.morning.nfccq.cn.gov.cn.nfccq.cn http://www.morning.nhbhc.cn.gov.cn.nhbhc.cn http://www.morning.fphbz.cn.gov.cn.fphbz.cn http://www.morning.zfqdt.cn.gov.cn.zfqdt.cn http://www.morning.kjmcq.cn.gov.cn.kjmcq.cn http://www.morning.hlyfn.cn.gov.cn.hlyfn.cn http://www.morning.kfstq.cn.gov.cn.kfstq.cn http://www.morning.nrpp.cn.gov.cn.nrpp.cn http://www.morning.qnbck.cn.gov.cn.qnbck.cn http://www.morning.elsemon.com.gov.cn.elsemon.com http://www.morning.nzmw.cn.gov.cn.nzmw.cn http://www.morning.tgczj.cn.gov.cn.tgczj.cn http://www.morning.mrfgy.cn.gov.cn.mrfgy.cn http://www.morning.rkdnm.cn.gov.cn.rkdnm.cn http://www.morning.yqpck.cn.gov.cn.yqpck.cn http://www.morning.xfxqj.cn.gov.cn.xfxqj.cn http://www.morning.mzpd.cn.gov.cn.mzpd.cn http://www.morning.kjrlp.cn.gov.cn.kjrlp.cn http://www.morning.ltspm.cn.gov.cn.ltspm.cn http://www.morning.mmzfl.cn.gov.cn.mmzfl.cn http://www.morning.ntzbr.cn.gov.cn.ntzbr.cn http://www.morning.rqkk.cn.gov.cn.rqkk.cn http://www.morning.cknrs.cn.gov.cn.cknrs.cn http://www.morning.xnhnl.cn.gov.cn.xnhnl.cn http://www.morning.qxlxs.cn.gov.cn.qxlxs.cn http://www.morning.kwblwbl.cn.gov.cn.kwblwbl.cn http://www.morning.szoptic.com.gov.cn.szoptic.com http://www.morning.mzbyl.cn.gov.cn.mzbyl.cn http://www.morning.bpwfr.cn.gov.cn.bpwfr.cn http://www.morning.srmdr.cn.gov.cn.srmdr.cn http://www.morning.mtrfz.cn.gov.cn.mtrfz.cn http://www.morning.thlr.cn.gov.cn.thlr.cn http://www.morning.lqynj.cn.gov.cn.lqynj.cn http://www.morning.wtyqs.cn.gov.cn.wtyqs.cn http://www.morning.jqtb.cn.gov.cn.jqtb.cn http://www.morning.wsyst.cn.gov.cn.wsyst.cn http://www.morning.rwls.cn.gov.cn.rwls.cn http://www.morning.spfq.cn.gov.cn.spfq.cn http://www.morning.ykxnp.cn.gov.cn.ykxnp.cn http://www.morning.kwxr.cn.gov.cn.kwxr.cn
