Features:
- Loads ONNX models at runtime. Automatically optimizes the model when loaded.
- Runs ONNX models.
- (On Windows) Supports hardware acceleration by DirectML on DirectX 12 capable GPUs.
- (On Windows) Supports hardware acceleration by CUDA and TensorRT on supported NVIDIA GPUs.
- (On Windows) Gets a list of GPU names available on the system.
- Processes (resize, crop, rotate) UTexture and converts it to int8 array.
Code Modules:
- OnnxRuntime (Runtime)
- TextureProcessing (Runtime)
- CustomizedOpenCV (Runtime)
- DirectXUtility (Runtime)
Number of Blueprints: 3
Number of C++ Classes: 7+
Network Replicated: No
Supported Development Platforms: Windows 10 64bit
Supported Target Build Platforms: Windows 10 64bit
Documentation: Link
Example Project:
- Human pose estimation and facial capture using a single RGB camera
- Depth estimation using a monocular RGB camera
- Arbitrary artistic style transfer
Important/Additional Notes:
- Demo Project 1 is distributed as a C++ project. You need to install Visual Studio to compile it.
特征:
- 在运行时加载ONNX模型。 加载时自动优化模型。
- 在NX模型上运行。
- （在Windows上）在支持DirectX12的Gpu上通过DirectML支持硬件加速。
- （在Windows上）通过cuda和TensorRT在支持的NVIDIA Gpu上支持硬件加速。
- （在Windows上）获取系统上可用的GPU名称列表。
- 处理（调整大小，裁剪，旋转）UTexture并将其转换为int8数组。
代码模块:
- OnnxRuntime(运行时)
- TextureProcessing（运行时）
- CustomizedOpenCV（运行时）
- DirectXUtility(运行时)
蓝图数目:3
C++类数：7+
网络复制：没有
支持的开发平台：Windows10 64位
支持的目标构建平台：Windows10 64位
文件: 连结
示例项目:
重要/附加注意事项:
- 演示项目1作为C++项目分发。 您需要安装Visual Studio才能编译它。
Demo video: Overview, Monocular depth estimation demo, Artistic style transfer demo
Tutorial video: Implement depth estimation
Documentation: Link
By simply calling a few Blueprint nodes, you can load and run cutting-edge AI.
This plugin supports ONNX (Open Neural Network Exchange), which is an open-source machine learning model format widely used.
Many ML frameworks such as PyTorch and TensorFlow can export its model in ONNX format.
Many trained models are available on ONNX Model Zoo.
Performance is our first consideration.
This plugin supports model optimization at runtime and GPU accelerations on various hardware as well as this plugin itself is optimized.
Demo Project contains practical examples of
-
Human detection
-
Human pose estimation
-
Face detection
-
Facial landmark estimation
-
Eye tracking
using a single RGB camera.
Also, example projects for
are available.
Prerequisite to use with CUDA and TensorRT
To use with CUDA and TensorRT,
-
you need to disable NNERuntimeORT plugin, which is enabled by default since UE5.5 (This is because this plugin and NNERuntimeORT use different versions of ONNX Runtime).
-
you need to install the following versions of CUDA, cuDNN, and TensorRT.
Windows:
The versions of cuDNN and TensorRT are different for RTX30** series and others. We only tested GTX1080Ti, RTX2070, RTX3060Ti and RTX3070. Others are not tested.
Versions for other than RTX30** series (RTX20**, GTX10**)
-
CUDA: 11.0.3
-
cuDNN: 8.0.2 (July 24th, 2020), for CUDA 11.0
-
TensorRT: 7.1.3.4 for CUDA 11.0
Versions for RTX30** series
-
CUDA: 11.0.3
-
cuDNN: 8.0.5 (November 9th, 2020), for CUDA 11.0
-
TensorRT: 7.2.2.3 for CUDA 11.0
Ubuntu:
-
CUDA: 11.4.2 for Linux x86_64 Ubuntu 18.04
-
cuDNN: 8.2.4 (September 2nd, 2021), for CUDA 11.4, Linux x86_64
-
TensorRT: 8.2.3.0 (8.2 GA Update 2) for Linux x86_64, CUDA 11.0-11.5
To use with TensorRT, it is recommended to add the following environment variables to cache TensorRT Engine:
-
“ORT_TENSORRT_ENGINE_CACHE_ENABLE” and set its value to “1”.
-
“ORT_TENSORRT_CACHE_PATH” and set its value to any path where you want to save the cache, for example “C:\temp”.
教程视频: 实施深度估计
文件: 连结
只需调用几个蓝图节点, 您可以加载和运行尖端AI。
该插件支持ONNX（开放神经网络交换），这是一种广泛使用的开源机器学习模型格式。
许多ML框架如PyTorch和TensorFlow可以 以ONNX格式导出其模型.
许多训练有素的模型可用 上 ONNX模型动物园.
性能是我们的首要考虑因素。
该插件支持运行时的模型优化和各种硬件上的GPU加速，以及该插件本身进行了优化。
示范项目 包含的实际例子
-
人体检测
-
人体姿势估计
-
人脸检测
-
面部地标估计
-
眼动追踪
使用单个RGB相机。
此外，示例项目
可用。
与CUDA和TensorRT一起使用的先决条件
与CUDA和TensorRT一起使用,
-
您需要禁用NNERuntimeORT插件，该插件自UE5.5以来默认启用（这是因为此插件和NNERuntimeORT使用不同版本的ONNX运行时）。
-
您需要安装以下版本的CUDA，cuDNN和TensorRT。
窗户:
RTX30**系列和其他系列的cuDNN和TensorRT版本不同。 我们只测试了GTX1080Ti，RTX2070，RTX3060Ti和RTX3070。 其他人没有测试。
RTX30**系列以外的版本(RTX20**、GTX10**)
-
CUDA：11.0.3
-
cuDNN：8.0.2（2020年7月24日），适用于CUDA11.0
-
TensorRT：7.1.3.4对于CUDA11.0
RTX30**系列版本
-
CUDA：11.0.3
-
cuDNN：8.0.5（2020年11月9日），适用于CUDA11.0
-
TensorRT：7.2.2.3对于CUDA11.0
Ubuntu系统:
-
CUDA：11.4.2for Linux X86_64Ubuntu18.04
-
cuDNN：8.2.4（2021年9月2日），用于Cuda11.4，Linux x86_64
-
TensorRT:8.2.3.0(8.2GA Update2)for Linux x86_64,CUDA11.0-11.5
要与TensorRT一起使用，建议将以下环境变量添加到缓存TensorRT引擎中:
-
“ORT_TENSORRT_ENGINE_CACHE_ENABLE”并将其值设置为”1″。
-
“ORT_TENSORRT_CACHE_PATH”并将其值设置为要保存缓存的任何路径，例如”C:\temp”。
评论(0)