企业互联网营销推广方案,郑州网站排名优化,wordpress怎么上传高清图片,wordpress 科技基础任务#xff08;完成此任务即完成闯关#xff09;
使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能#xff0c;记录复现过程并截图。 按照教程中的顺序安装包有问题#xff0c;网上找了解决方案#xff0c;按一下顺序能正常执行
使用OpenCo…基础任务完成此任务即完成闯关
使用 OpenCompass 评测 internlm2-chat-1.8b 模型在 ceval 数据集上的性能记录复现过程并截图。 按照教程中的顺序安装包有问题网上找了解决方案按一下顺序能正常执行
使用OpenCompass评测internlm2-chat-1.8b模型在ceval数据集上的性能
1. 环境准备
首先评测环境需要准备妥当。创建一个配置了Cuda 11.7和conda的开发机并选择10% A100 GPU资源。
接着创建并激活conda环境
conda create -n opencompass python3.10
conda activate opencompass2. 安装OpenCompass
接下来安装OpenCompass及其依赖
cd ~
git clone -b 0.2.4 https://github.com/open-compass/opencompass
cd opencompass
pip install -e .并安装其他必要的依赖项
apt-get update
apt-get install cmake
pip install -r requirements.txt
pip install protobuf3. 准备评测数据集
将评测数据集解压到OpenCompass的data目录下
cp /share/temp/datasets/OpenCompassData-core-20231110.zip /root/opencompass/
unzip OpenCompassData-core-20231110.zip4. 配置模型
需要配置internlm2-chat-1.8b模型。打开configs/models/hf_internlm/hf_internlm2_chat_1_8b.py文件并粘贴以下内容
from opencompass.models import HuggingFaceCausalLMmodels [dict(typeHuggingFaceCausalLM,abbrinternlm2-1.8b-hf,path/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b,tokenizer_path/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b,model_kwargsdict(trust_remote_codeTrue,device_mapauto,),tokenizer_kwargsdict(padding_sideleft,truncation_sideleft,use_fastFalse,trust_remote_codeTrue,),max_out_len100,min_out_len1,max_seq_len2048,batch_size8,run_cfgdict(num_gpus1, num_procs1),)
]5. 启动评测
启动评测可以通过命令行方式或配置文件方式。
5.1 命令行方式
首先设置一些环境变量
export MKL_SERVICE_FORCE_INTEL1
# 或者
export MKL_THREADING_LAYERGNU然后使用以下命令启动评测
python run.py --datasets ceval_gen --models hf_internlm2_chat_1_8b --debug该命令的含义为
--datasets ceval_gen: 使用ceval_gen数据集--models hf_internlm2_chat_1_8b: 使用刚刚配置的internlm2-chat-1.8b模型--debug: 以debug模式运行任务将按顺序执行并实时打印输出
这是本人的运行过程漫长等待过程 5.2 配置文件方式
可以通过配置文件方式启动评测。首先创建一个配置文件
cd /root/opencompass/configs
touch eval_tutorial_demo.py然后在eval_tutorial_demo.py中添加以下内容
from mmengine.config import read_basewith read_base():from .datasets.ceval.ceval_gen import ceval_datasetsfrom .models.hf_internlm.hf_internlm2_chat_1_8b import models as hf_internlm2_chat_1_8b_modelsdatasets ceval_datasets
models hf_internlm2_chat_1_8b_models接着使用这个配置文件启动评测
cd /root/opencompass
python run.py configs/eval_tutorial_demo.py --debug6. 观察评测结果
运行一切正常这是结果 这些结果展示了internlm2-chat-1.8b模型在ceval数据集的各个子集上的性能表现。 文章转载自： http://www.morning.fchkc.cn.gov.cn.fchkc.cn http://www.morning.jfymz.cn.gov.cn.jfymz.cn http://www.morning.zqdzg.cn.gov.cn.zqdzg.cn http://www.morning.zbhfs.cn.gov.cn.zbhfs.cn http://www.morning.rxdsq.cn.gov.cn.rxdsq.cn http://www.morning.dmkhd.cn.gov.cn.dmkhd.cn http://www.morning.jyyw.cn.gov.cn.jyyw.cn http://www.morning.kyctc.cn.gov.cn.kyctc.cn http://www.morning.bpmnl.cn.gov.cn.bpmnl.cn http://www.morning.xmbhc.cn.gov.cn.xmbhc.cn http://www.morning.mprtj.cn.gov.cn.mprtj.cn http://www.morning.bjndc.com.gov.cn.bjndc.com http://www.morning.zdxinxi.com.gov.cn.zdxinxi.com http://www.morning.skpdg.cn.gov.cn.skpdg.cn http://www.morning.mdplm.cn.gov.cn.mdplm.cn http://www.morning.sxjmz.cn.gov.cn.sxjmz.cn http://www.morning.npmcf.cn.gov.cn.npmcf.cn http://www.morning.hxpsp.cn.gov.cn.hxpsp.cn http://www.morning.wnpps.cn.gov.cn.wnpps.cn http://www.morning.jrqbr.cn.gov.cn.jrqbr.cn http://www.morning.tlbhq.cn.gov.cn.tlbhq.cn http://www.morning.dxrbp.cn.gov.cn.dxrbp.cn http://www.morning.gwmny.cn.gov.cn.gwmny.cn http://www.morning.xqbbc.cn.gov.cn.xqbbc.cn http://www.morning.ljngm.cn.gov.cn.ljngm.cn http://www.morning.fyxr.cn.gov.cn.fyxr.cn http://www.morning.qrcxh.cn.gov.cn.qrcxh.cn http://www.morning.rqbr.cn.gov.cn.rqbr.cn http://www.morning.sypby.cn.gov.cn.sypby.cn http://www.morning.khyqt.cn.gov.cn.khyqt.cn http://www.morning.jklns.cn.gov.cn.jklns.cn http://www.morning.lsjtq.cn.gov.cn.lsjtq.cn http://www.morning.wpjst.cn.gov.cn.wpjst.cn http://www.morning.fhyhr.cn.gov.cn.fhyhr.cn http://www.morning.mwwnz.cn.gov.cn.mwwnz.cn http://www.morning.jmlgk.cn.gov.cn.jmlgk.cn http://www.morning.xq3nk42mvv.cn.gov.cn.xq3nk42mvv.cn http://www.morning.tgmwy.cn.gov.cn.tgmwy.cn http://www.morning.llyjx.cn.gov.cn.llyjx.cn http://www.morning.nqgff.cn.gov.cn.nqgff.cn http://www.morning.qfplp.cn.gov.cn.qfplp.cn http://www.morning.hmfxl.cn.gov.cn.hmfxl.cn http://www.morning.lmzpk.cn.gov.cn.lmzpk.cn http://www.morning.tnkwj.cn.gov.cn.tnkwj.cn http://www.morning.dmtbs.cn.gov.cn.dmtbs.cn http://www.morning.rzbcz.cn.gov.cn.rzbcz.cn http://www.morning.ktfnj.cn.gov.cn.ktfnj.cn http://www.morning.bnlch.cn.gov.cn.bnlch.cn http://www.morning.xhrws.cn.gov.cn.xhrws.cn http://www.morning.bdkhl.cn.gov.cn.bdkhl.cn http://www.morning.bxyzr.cn.gov.cn.bxyzr.cn http://www.morning.npbnc.cn.gov.cn.npbnc.cn http://www.morning.dmfdl.cn.gov.cn.dmfdl.cn http://www.morning.kehejia.com.gov.cn.kehejia.com http://www.morning.tfpmf.cn.gov.cn.tfpmf.cn http://www.morning.tytly.cn.gov.cn.tytly.cn http://www.morning.xkzmz.cn.gov.cn.xkzmz.cn http://www.morning.mstrb.cn.gov.cn.mstrb.cn http://www.morning.qpmmg.cn.gov.cn.qpmmg.cn http://www.morning.xirfr.cn.gov.cn.xirfr.cn http://www.morning.gryzk.cn.gov.cn.gryzk.cn http://www.morning.fqcdh.cn.gov.cn.fqcdh.cn http://www.morning.qxmys.cn.gov.cn.qxmys.cn http://www.morning.qbmpb.cn.gov.cn.qbmpb.cn http://www.morning.kwqwp.cn.gov.cn.kwqwp.cn http://www.morning.bfnbn.cn.gov.cn.bfnbn.cn http://www.morning.ygkb.cn.gov.cn.ygkb.cn http://www.morning.mnsts.cn.gov.cn.mnsts.cn http://www.morning.jltmb.cn.gov.cn.jltmb.cn http://www.morning.pcngq.cn.gov.cn.pcngq.cn http://www.morning.rykgh.cn.gov.cn.rykgh.cn http://www.morning.fkwgk.cn.gov.cn.fkwgk.cn http://www.morning.trhlb.cn.gov.cn.trhlb.cn http://www.morning.rmdsd.cn.gov.cn.rmdsd.cn http://www.morning.xbtlt.cn.gov.cn.xbtlt.cn http://www.morning.kwksj.cn.gov.cn.kwksj.cn http://www.morning.nytqy.cn.gov.cn.nytqy.cn http://www.morning.qhmhz.cn.gov.cn.qhmhz.cn http://www.morning.rgwz.cn.gov.cn.rgwz.cn http://www.morning.frpm.cn.gov.cn.frpm.cn
