台州手机端建站模板,如何推广,免费的发帖收录网站,网站网讯介绍
适用于各种 AI 工作负载的推理#xff1a;借助 NVIDIA Triton™#xff0c;在任何处理器#xff08;GPU、CPU 或其他#xff09;上#xff0c;对使用基于任何框架的#xff0c;经过训练的机器学习模型或深度学习模型#xff0c;进行推理部署。Triton 是 NVIDIA AI…介绍
适用于各种 AI 工作负载的推理借助 NVIDIA Triton™在任何处理器GPU、CPU 或其他上对使用基于任何框架的经过训练的机器学习模型或深度学习模型进行推理部署。Triton 是 NVIDIA AI 平台的一部分可通过 NVIDIA AI Enterprise 获取。这款开源软件可针对各种工作负载实现标准化的 AI 模型部署和执行。
优势
支持所有训练和推理框架使用 Triton部署基于任何主流框架的 AI 模型包括 TensorFlowPyTorchPythonONNXNVIDIA® TensorRT™、RAPIDS™ cuMLXGBoostscikit-learn RandomForestOpenVINOC 自定义框架等。
可在任何平台上实现高性能推理借助动态批处理、并发执行、最佳模型配置音视频串流输入支持最大限度地提升吞吐量和资源利用率。Triton 支持所有 NVIDIA GPUx86 和 Arm® 架构 CPU 以及 AWS Inferentia。
专为 DevOps 和 MLOps 设计的开源软件可将 Triton 集成到 DevOps 和 MLOps 解决方案中例如集成到 Kubernetes 实现规模化或集成到 Prometheus 进行监测。Triton 也可以通过所有主流云平台、本地 AI 平台和 MLOps 平台获取。
企业级安全性、可管理性和 API 稳定性NVIDIA AI Enterprise包括 NVIDIA Triton 和 Triton Management Service是一个安全的、生产就绪型的 AI 软件平台提供支持、安全性和 API 稳定性帮助企业加速开发 AI实现收益。
镜像介绍 部署ONNX模型 将onnx模型按照 base_path /model_name / version / model.onnx 的模式放入指定文件夹中onnx模型可以不指定config.pbtxt。
在nvidia-Triton官方文档中根据CUDA和Ubuntu版本选择合适的镜像CUDA版本需要不大于系统安装的CUDA版本。
运行指令创建Triton推理容器
$ docker run --gpus1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:xx.yy-py3 tritonserver --model-repository/models
