wedetect-ref 4B finetune和infer问题

[HxiaoD]

您好：
首先感谢您的工作！最近在用wedetect进行一些实验，但遇到一些问题未能解决：

1. 训练：
   在H200上我用约4000张图片对wedetect-ref 4B stage3进行微调，但训练非常缓慢，观察到GPU利用率只有30%左右，而CPU负载很高。单卡训练一个epoch大约需要30+小时。调整batch size、prefetch batch等参数训练速度都没有改善。
2. 推理：
   预先提取了proposal并保存在本地，推理时直接降proposal送给wedetect-ref，H200单图推理速度大约30s，和paper中5.3fps差距较大。

此外，FA2、bf16等条件已确认没问题。
以下是我trainning log与资源使用情况截图：
训练：

GPU：

CPU：

[fushh]

感谢您的关注，我发现您的显存格外的高，我们在单卡bs为2的时候训练，显存应该没超过40G，微调脚本在这里wedetect_ref/scripts/run_stage3.sh，您可以检查如下一些可能的问题：

1. 确认使用了flash-attention
2. 确认image token的数量要限制在800-1600内
3. 推理时确保模型在torch.no_grad下进行推理

[HxiaoD]

感谢您的关注，我发现您的显存格外的高，我们在单卡bs为2的时候训练，显存应该没超过40G，微调脚本在这里wedetect_ref/scripts/run_stage3.sh，您可以检查如下一些可能的问题：

1. 确认使用了flash-attention
2. 确认image token的数量要限制在800-1600内
3. 推理时确保模型在torch.no_grad下进行推理

感谢回复。抱歉gpu显存截图错误了，目前训练的显存占用在53G。
此外FA2，bf16在配置中都正常传入了，影响image token的max_pixels、min_pixels、IMAGE_MIN_TOKEN_NUM、IMAGE_MAX_TOKEN_NUM也没有改动过，推理也在inference_mode的context中。

我再排查一下问题，有疑惑再来请教。