wang-xinyu/tensorrtx

概览

解决什么问题

Engineers deploying deep learning models on NVIDIA GPUs need low-latency inference; TensorRT requires manual network definition. tensorrtx provides reference implementations for popular architectures using TensorRT's C++ API.

主要用例

• Deploying YOLO11, DETR, ResNet, MobileNetV2/V3, Swin-Transformer on TensorRT
• Porting PyTorch models to TensorRT via reference implementations

次要用例

• Benchmarking TensorRT vs ONNX Runtime/OpenVINO
• Developing custom TensorRT plugins

何时使用

考虑使用

• Target hardware is NVIDIA GPU
• Maximum inference throughput required
• Model architecture is in supported list (YOLO11, DETR, ResNet, MobileNet, Swin, etc.)

采用前需验证

• ? TensorRT version compatibility with your CUDA/cuDNN
• ? Numerical accuracy after FP16/INT8 optimization
• ? Maintenance status of specific model implementation

从这里开始

采用检查清单

• 需验证 TensorRT version compatibility with your CUDA/cuDNN
• 需验证 Numerical accuracy after FP16/INT8 optimization
• 需验证 Maintenance status of specific model implementation

以上检查项只有在官方来源确认后才能标记为“已验证”；无法确认的保持未验证。

已知限制与未知项

已知限制

• NVIDIA GPU only
• Manual network definition (no automatic ONNX parser)
• Limited to architectures implemented in repo
• INT8 calibration not included for all models

替代与相关工具

相关工具

• tensorrt — 构建于
• detr — 实现

如何使用？

从下方记录的入口开始，然后对照技术清单进行验证。

• 官方网站 https://github.com/wang-xinyu/tensorrtx
• 仓库 https://github.com/wang-xinyu/tensorrtx
• 文档 https://github.com/wang-xinyu/tensorrtx

技术清单

• 通过 许可证已识别 已记录: MIT
• 通过 维护信号 活跃维护
• 通过 验证状态 官方确认
• 通过 已附加来源证据 1 个来源记录
• 需复核 已记录最新版本 未记录

官方链接

元数据与治理

数据集事实

以上事实仅来自官方数据集卡，未确认字段保持未知。

相关资源与依赖

• tensorrt — built on (confirmed)
• detr — implements (confirmed)

近期动态

相关知识

下方相关指南/合集/对比的标题与摘要暂保留英文，待编辑翻译复核；事实字段与链接已验证且保持不变。

指南

• Deploying AI Inference on UAV Edge Compute — A repeatable workflow for choosing and validating an inference runtime for an onboard UAV computer.

合集

• 边缘AI感知入门套件 — 一套用于在边缘部署工作之前对空中感知模型进行原型验证的起步技术栈。