TensorRT
编译sample
如果使用deb文件安装的TensorRT，可以在编译C++ Samples之前将/usr/src/tensorrt目录拷贝到一个新的目录下。如果是使用tar文件安装的TensorRT，Samples文档在{TAR_EXTRACT_PATH}/samples。Jetpack里的TensorRT samples目录在/usr/src/tensorrt。根据下面的命令，编译所有的sample然后运行其中一个：
cd /usr/src/tensorrt/samples
$ sudo make -j4
$ cd ../bin
$ ./<sample_bin>
运行sample (ONNX MNIST)
- 运行编译的可执行文件将MNIST的ONNX模型生成tensorRT engine并执行输出结果
## ./sample_onnx_mnist [-h or --help] [-d or --datadir=<path to data directory>] [--useDLACore=<int>] [--int8 or --fp16]
$ cd /usr/src/tensorrt/bin
$ ./sample_onnx_mnist
Note: MNIST模型文件与测试数据存放在/usr/src/tensorrt/data/mnist
- 验证是否成功运行。如果成功运行，您将看到类似于以下内容的输出：
&&&& RUNNING TensorRT.sample_onnx_mnist # ./sample_onnx_mnist
----------------------------------------------------------------
Input filename: ../../../../../../data/samples/mnist/mnist.onnx
ONNX IR version: 0.0.3
Opset version: 1
Producer name: CNTK
Producer version: 2.4
Domain:
Model version: 1
Doc string:
----------------------------------------------------------------
[I] Input:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@*. .*@@@@@@@@@@@
@@@@@@@@@@*. +@@@@@@@@@@
@@@@@@@@@@. :#+ %@@@@@@@@@
@@@@@@@@@@.:@@@+ +@@@@@@@@@
@@@@@@@@@@.:@@@@: +@@@@@@@@
@@@@@@@@@@=%@@@@: +@@@@@@@@
@@@@@@@@@@@@@@@@# +@@@@@@@@
@@@@@@@@@@@@@@@@* +@@@@@@@@
@@@@@@@@@@@@@@@@: +@@@@@@@@
@@@@@@@@@@@@@@@@: +@@@@@@@@
@@@@@@@@@@@@@@@* .@@@@@@@@@
@@@@@@@@@@%**%@. *@@@@@@@@@
@@@@@@@@%+. .: .@@@@@@@@@@
@@@@@@@@= .. :@@@@@@@@@@
@@@@@@@@: *@@: :@@@@@@@@@@
@@@@@@@% %@* *@@@@@@@@@
@@@@@@@% ++ ++ .%@@@@@@@@
@@@@@@@@- +@@- +@@@@@@@@
@@@@@@@@= :*@@@# .%@@@@@@@
@@@@@@@@@+*@@@@@%. %@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[I] Output:
Prob 0 0.0000 Class 0:
Prob 1 0.0000 Class 1:
Prob 2 1.0000 Class 2: **********
Prob 3 0.0000 Class 3:
Prob 4 0.0000 Class 4:
Prob 5 0.0000 Class 5:
Prob 6 0.0000 Class 6:
Prob 7 0.0000 Class 7:
Prob 8 0.0000 Class 8:
Prob 9 0.0000 Class 9:
&&&& PASSED TensorRT.sample_onnx_mnist # ./sample_onnx_mnist
- 该输出显示sample成功运行：PASSED
查看sample的功能选项：--help
要查看可用选项及其说明的完整列表，请使用“-h”或“-help”命令行选项。
支持如下的设备：
Module Jetpack config Software other SW HW
Orin devkit module 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Orin 32G 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Orin devkit module 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Orin 32G 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Orin devkit 35.0 EA V2 Orin nx 16G DS + Full Jetpack + Pytorch + TF Todesk
Orin devkit 35.0 EA V2 Orin nx 8G DS + Full Jetpack + Pytorch + TF Todesk
Xavier devkit module 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Xavier 32G 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier Industry 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier Industry 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Xavier NX 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier NX 16G 35.0 EA V2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Nano R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
TX2 NX R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier devkit module R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Xavier 32G R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier Industry R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier Industry R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk NV devkit
Xavier NX R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
Xavier NX 16G R 32.7.2 default DS + Full Jetpack + Pytorch + TF Todesk Leetop carry board
