国外开源代码网站,戴尔公司网站建设的特点是什么,品牌网站建设解决方,绚丽网站行人摔倒检测 — 基于 OpenVINO C# API 部署PP-Human 4. 配置 PP-Human_Fall_Detection 项目4.1 环境配置4.2 创建 AlxBoard_deploy_yolov8 项目4.3 添加项目源码4.4 添加 OpenVINO C# API4.5 添加 OpenCvSharp 5. 测试 PP-Human_Fall_Detection 项目5.1 创建视频读取器5.2 行人… 行人摔倒检测 — 基于 OpenVINO C# API 部署PP-Human 4. 配置 PP-Human_Fall_Detection 项目4.1 环境配置4.2 创建 AlxBoard_deploy_yolov8 项目4.3 添加项目源码4.4 添加 OpenVINO C# API4.5 添加 OpenCvSharp 5. 测试 PP-Human_Fall_Detection 项目5.1 创建视频读取器5.2 行人识别5.3 关键点识别5.4 摔倒识别5.5 模型联合部署实现行人摔倒识别6. 总结 随着人口老龄化问题的加重独居老人、空巢老人数量在不断上升因此如何保障独居老人、空巢老人健康生活和人身安全至关重要。而对于独居老人、空巢老人如果出现摔倒等情况而不会及时发现将会对其健康安全造成重大影响。本项目主要研究为开发一套摔倒自动识别报警平台使用视频监控其采集多路视频流数据使用行人检测算法、关键点检测算法以及摔倒检测算法实现对行人摔倒自动识别并根据检测情况对相关人员发送警报实现对老人的及时看护。该装置可以布置在养老院等场所通过算法自动判别可以大大降低人力成本以及保护老人的隐私。该项目应用场景不知可以用到空巢老人还可以用到家庭中的孕妇儿童、幼儿园等场景实现对儿童的摔倒检测。 项目中采用OpenVINO部署行人检测算法、关键点检测算法以及摔倒检测算法实现对行人摔倒自动识别算法并在AIxBoard 开发板上使用 OpenVINO C# API 结合应用场景部署多模型。 项目中所使用的代码全部在GitHub上开源项目链接为PP-Human_Fall_Detection 项目首发网址行人摔倒检测 - 在英特尔开发套件上基于 OpenVINO™ C# API 部署 PP-Human | 开发者实战 在上一篇文章中我们讲述项目中所使用的开发套件以及模型获取方式【OpenVINO】行人摔倒检测 — 基于 OpenVINO C# API 部署PP-Human-上篇在本文中我们将基于模型部署流程实现PP-Human模型的部署。
4. 配置 PP-Human_Fall_Detection 项目 项目中所使用的代码已经放在GitHub仓库PP-Human_Fall_Detection大家可以根据情况自行下载和使用下面我将会从头开始一步步构建PP-Human_Fall_Detection项目。
4.1 环境配置 在该项目中主要需要配置.NET编译运行环境、OpenVINO Runtime、OpenCvSharp环境其配置流程可以参考上一篇文章【2023 Intel有奖征文】爱克斯开发板使用OpenVINO C# API部署Yolov8模型 。
4.2 创建 AlxBoard_deploy_yolov8 项目 在该项目中我们需要使用OpenCvSharp该依赖目前在Ubutun平台最高可以支持.NET Core 3.1因此我们此处创建一个.NET Core 3.1的项目使用Terminal输入以下指令创建并打开项目文件
dotnet new console --framework netcoreapp3.1 -o PP-Human_Fall_Detection
cd PP-Human_Fall_Detection4.3 添加项目源码 前文中我们已经提供了项目源码链接大家可以直接再在源码使用此处由于篇幅限制因此此处不对源码做太多的讲解只演示如何使用项目源码配置当前项目。将项目源码中的PP-Human文件夹和HumanFallDown.cs、Program.cs文件复制到当前项目中最后项目的路径关系如下所示
PP-Human_Fall_Detection├──── PP-Human| ├──── Common.cs| ├──── PP-TinyPose.cs| ├──── PP-YOLOE.cs| └──── STGCN.cs├──── HumanFallDown.cs├──── PP-Human_Fall_Detection.csproj└──── Program.cs4.4 添加 OpenVINO C# API OpenVINO C# API 目前只支持克隆源码的方式实现首先使用Git克隆以下源码只需要在Terminal输入以下命令
git clone https://github.com/guojin-yan/OpenVINO-CSharp-API.git然后将该项目文件夹下的除了src文件夹之外的文件都删除掉然后项目的文件路径入下所示
PP-Human_Fall_Detection├──── OpenVINO-CSharp-API| ├──── src| └──── CSharpAPI├──── PP-Human| ├──── Common.cs| ├──── PP-TinyPose.cs| ├──── PP-YOLOE.cs| └──── STGCN.cs├──── HumanFallDown.cs├──── PP-Human_Fall_Detection.csproj└──── Program.cs最后在当前项目中添加项目引用只需要在Terminal输入以下命令
dotnet add reference ./OpenVINO-CSharp-API/src/CSharpAPI/CSharpAPI.csproj4.5 添加 OpenCvSharp 安装NuGet Package OpenCvSharp可以通过NuGet Package安装只需要在Terminal输入以下命令 dotnet add package OpenCvSharp4_.runtime.ubuntu.20.04-x64
dotnet add package OpenCvSharp4添加环境变量 将以下路径添加到环境变量中 export LD_LIBRARY_PATH/home/ygj/Program/OpenVINOSharp/tutorial_examples/AlxBoard_deploy_yolov8/bin/Debug/netcoreapp3.1/runtimes/ubuntu.20.04-x64/native/bin/Debug/netcoreapp3.1/runtimes/ubuntu.20.04-x64/native是项目编译后生成的路径该路径下存放了libOpenCvSharpExtern.so文件该文件主要是封装的OpenCV中的各种接口。也可以将该文件拷贝到项目运行路径下。
5. 测试 PP-Human_Fall_Detection 项目
5.1 创建视频读取器
当前项目测试内容为视频此处主要通过OpenCV的VideoCapture类进行读取实现逐帧读取测试图片。
// 视频路径
string test_video E:\Git_space\基于Csharp和OpenVINO部署PP-Human\demo\摔倒.mp4;
// string test_video E:\Git_space\基于Csharp和OpenVINO部署PP-Human\demo\摔倒2.mp4;
// 视频读取器
VideoCapture video_capture new VideoCapture(test_video);
// 视频帧率
double fps video_capture.Fps;
// 视频帧数
int frame_count video_capture.FrameCount;
Console.WriteLine(video fps: {0}, frame_count: {1}, Math.Round(fps), frame_count);5.2 行人识别 利用创建好的视频读取器逐帧读取视频图片将其带入到yoloe_predictor预测器中进行预测并将预测结果绘制到图片上期预测结果存放到ResBboxs类中方便进行数据传输。
// 读取视频帧
if (!video_capture.Read(frame))
{Console.WriteLine(视频读取完毕{0}, frame_id);break;
}
// 复制可视化图片
visualize_frame frame.Clone();
// 行人识别
ResBboxs person_result yoloe_predictor.predict(frame);
// 判断是否识别到人
if (person_result.bboxs.Count 1)
{continue;
}
// 绘制行人区域
yoloe_predictor.draw_boxes(person_result, ref visualize_frame);通过上述代码可以实现视频所有帧图片预测将预测结果保存到本地如图 所示经过预测器预测可以很好的捕获到运动的行人。 pedestrian_detection_results 5.3 关键点识别 上一步通过行人跟踪捕捉到了行人由于行人是在不断运动的因此在进行关键点预测时需要先进行裁剪将行人区域按照指定要求裁剪下来并根据裁剪结果对行人关键点进行预测此处使用的是bath_size1的预测适合单人预测如果出现多人时可以采用同时预测。
// 裁剪行人区域
ListRect point_rects;
ListMat person_rois tinyPose_predictor.get_point_roi(frame, person_result.bboxs, out point_rects);
for (int p 0; p person_rois.Count; p)
{// 关键点识别float[,] person_point tinyPose_predictor.predict(person_rois[p]);KeyPoints key_point new KeyPoints(frame_id, person_point, point_rects[p]);//Console.WriteLine(key_point.bbox);flag_stgcn mot_point.add_point(key_point);tinyPose_predictor.draw_poses(key_point, ref visualize_frame);
} 经过模型预测第一会将预测结果存到结果容器“mot_point”中用于后面的摔倒识别另一点将模型预测结果绘制到图像中如图所示。 pedestrian_key_point_detection 5.4 摔倒识别 摔倒识别需要同时输入50帧人体关键点识别结果所以在开始阶段需要积累50帧的关键点识别结果此处采用自定义的结果保存容器“MotPoint”实现该容器可以实现保存关键点结果并将关键点识别结果与上一帧结果进行匹配当容器已满会返回推理标志当满足识别条件是就会进行依次模型预测同时会清理前20帧数据继续填充识别结果等待下一次满足条件。
if (flag_stgcn)
{ListListKeyPoints predict_points mot_point.get_points();for (int p 0; p predict_points.Count; p){Console.WriteLine(predict_points[p].Count);fall_down_result stgcn_predictor.predict(predict_points[p]);}
}
stgcn_predictor.draw_result(ref visualize_frame, fall_down_result, person_result.bboxs[0]); 摔倒识别结果为是否摔倒以及对应的权重此处主要是在满足条件的情况下进行一次行为识别并将识别结果绘制到图像上。 pedestrian_fall_detection_resul 5.5 模型联合部署实现行人摔倒识别 通过行人跟踪、关键点识别以及行为识别三个模型联合预测可以实现行人的行为识别其识别效果如图 14 所示。在该图中分别包含了三个模型的识别结果行人位置识别与跟踪是通过PP-YOLOE模型实现的该模型为下一步关键点识别提供了图像范围保证了关键点识别的结果人体骨骼关键点识别时通过dark_hrnet模型实现为后续行为识别提供了输入最终的行为识别通过ST-GCN模型实现其识别结果会知道了行人预测框下部可以看到预测结果与行人是否摔倒一致。
6. 总结 在该项目中基于C#和OpenVINO联合部署PP-YOLOE行人检测模型、dark_hrnet人体关键点识别模型以及ST-GCN行为识别模型实现行人摔倒检测。 在该项目中主要存在的难点一是PP-YOLOE模型无法直接使用OpenVINO部署需要进行裁剪裁剪掉无法使用的节点并根据裁剪的节点处理模型的输出数据难点二是处理好行人预测与关键点模型识别内容的关系在进行多人识别时要结合行人识别模型进行对应的人体关键点识别并且要当前帧识别结果要对应上一帧行人识别结果才可以保证识别的连续性。
