有做过 AI 模型的老哥吗？图片识别模型，无法释放内存，无法做并发

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 133 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://github.com/PaddlePaddle/PaddleOCR/tree/main

PaddleOCR 模型，用于生产环境的图片识别
运行配置是 4080s 内存 32G i7

希望解决内存无法释放的问题和多线程同时识别图片的并发问题。
有懂行的老哥请联系我，愿意付费解决问题！
QGJhbmxhbmdlbjEyMQ==

7 条回复 • 2024-08-16 17:39:36 +08:00

meshell

133 天前

显卡识别是不是无法并行，以前部署 df 的时候生成图必须前面的生成完才可以生成后面的。让 AI 大佬给你个解决方案

q218946

133 天前

@meshell 对呀，本地部署后，跑起来也是遇到这个问题

patwww

133 天前

内存无法释放遇到过，我们是 3 个服务轮流定时重启解决，并发这个没遇到过。

sunjun

133 天前

内存无法释放是指加载的识别的图片的内存无法释放吗？
多线程同时识别，需要多启动几个实例可以实现

longredzzz

133 天前

内存无法释放可能是 paddle 的问题，可以考虑将 paddle 模型转化为 onnx 模型进行调用。
并发问题可以考虑同一时刻接受到的图片合并成 batch 一个然后推理，可以参考 https://docs.ray.io/en/latest/serve/advanced-guides/dyn-req-batch.html

pangglovedd

133 天前

内存无法释放是图片内存还是模型内存，你给的是 tg 号吗，微信搜不到，可以加我 v 讨论下
MTg5MTYzMzY2ODY=

sslzjx

132 天前

没用过 ocr,我用 paddleseg 和 paddledet 那些用 fastDeploy 可以多线程,我记得也是有例程的