正在写,但是onnx的gpu支持很差其实,启动的时候资源占用会比较多

正在写,但是onnx的gpu支持很差其实,启动的时候资源占用会比较多

可以转tensorrt吗?我的场景涉及到大量并发,CPU容易成为瓶颈,所以考虑用GPU,我正在优化代码。

正在写,但是onnx的gpu支持很差其实,启动的时候资源占用会比较多

可以转tensorrt吗?我的场景涉及到大量并发,CPU容易成为瓶颈,所以考虑用GPU,我正在优化代码。

欢迎提供pr贡献哈,理论上onnx转tensorrt也需要看算子的兼容性

大佬现在当前表格识别是不是不支持GPU呀?

正在写,但是onnx的gpu支持很差其实,启动的时候资源占用会比较多

可以转tensorrt吗?我的场景涉及到大量并发,CPU容易成为瓶颈,所以考虑用GPU,我正在优化代码。

欢迎提供pr贡献哈,理论上onnx转tensorrt也需要看算子的兼容性

表格识别的模型有没有pth呀?onnxruntime在创建大量分布在所有可用 GPU 设备上的 ONNX Runtime 会话时候,会有BUG,设置了device id实际全在一个device id上,导致OOM。

表格模型都是onnx哈,另外一个库rapidTable有pytorch的模型

麻烦问下现在可以支持GPU推理了吗?感谢

麻烦问下现在可以支持GPU推理了吗?感谢

gpu的话,应该可以用,但是onnx的gpu推理其实也没有明显提速的,可以试试哈,需要安装onnxruntime-gpu吧,参数上也要指定使用gpu

麻烦问下现在可以支持GPU推理了吗?感谢

gpu的话,应该可以用,但是onnx的gpu推理其实也没有明显提速的,可以试试哈,需要安装onnxruntime-gpu吧,参数上也要指定使用gpu
用了GPU推理单张4s多,请问是哪里有问题吗?麻烦您啦
Image

麻烦问下现在可以支持GPU推理了吗?感谢

gpu的话,应该可以用,但是onnx的gpu推理其实也没有明显提速的,可以试试哈,需要安装onnxruntime-gpu吧,参数上也要指定使用gpu
用了GPU推理单张4s多,请问是哪里有问题吗?麻烦您啦
Image

我用起来确实加速了,只不过收益不大,后续请关注我的RapidOCR-pytorch项目,使用pth模型和pytorch支持,接口和RapidOCR几乎一样,且误差和paddle版本,onnx版本差别很小

这个项目的原始模型(阿里的两个)就是PyTorch的,只需要做一下适配就可以用PyTorch来推理了。自然也就支持GPU了。
欢迎PR