Skip to main content

Hi,

I tried the Yolo11-coco-onnx models from Model Zoo and got terrible results. Can anyone give me some advice?

 

./inference.py yolo11n-coco-onnx dataset --no-display --show-device-fps

INFO    : Model:      yolo11n-coco-onnx                                         
INFO    : Dataset:    CocoDataset-COCO2017
INFO    : Date:       2025-08-21 12:33:18.028455
INFO    : Inference Time: 67178.89ms
INFO    : Evaluation Time: 36222.56ms
INFO    : Evaluation Metrics:
INFO    : =========================
INFO    : | mAP_box       | 0.03% |
INFO    : | mAP50_box     | 0.05% |
INFO    : | precision_box | 0.08% |
INFO    : | recall_box    | 1.70% |
INFO    : =========================
INFO    : Key Metric (mAP_box): 0.03%
INFO    : Core Temp : 49.0°C                                                    
INFO    : Metis : 804.0fps
INFO    : CPU % : 31.4%
INFO    : End-to-end : 74.7fps

./inference.py yolo11s-coco-onnx dataset --no-display --show-device-fps

INFO    : Model:      yolo11s-coco-onnx                                                                                                                                                       
INFO    : Dataset:    CocoDataset-COCO2017
INFO    : Date:       2025-08-21 10:33:24.994540
INFO    : Inference Time: 68857.26ms
INFO    : Evaluation Time: 37278.44ms
INFO    : Evaluation Metrics:
INFO    : =========================
INFO    : | mAP_box       | 0.10% |
INFO    : | mAP50_box     | 0.15% |
INFO    : | precision_box | 0.48% |
INFO    : | recall_box    | 0.46% |
INFO    : =========================
INFO    : Key Metric (mAP_box): 0.10%
INFO    : Core Temp : 51.0°C                                                                                                                                                                  
INFO    : Metis : 593.1fps
INFO    : CPU % : 21.4%
INFO    : End-to-end : 69.5fps


./inference.py yolo11m-coco-onnx dataset --no-display --show-device-fps

INFO    : Model:      yolo11m-coco-onnx                                                                                                                                                       
INFO    : Dataset:    CocoDataset-COCO2017
INFO    : Date:       2025-08-21 11:56:17.936257
INFO    : Inference Time: 52359.76ms
INFO    : Evaluation Time: 26988.65ms
INFO    : Evaluation Metrics:
INFO    : =========================
INFO    : | mAP_box       | 0.13% |
INFO    : | mAP50_box     | 0.23% |
INFO    : | precision_box | 2.07% |
INFO    : | recall_box    | 0.72% |
INFO    : =========================
INFO    : Key Metric (mAP_box): 0.13%
INFO    : Core Temp : 56.0°C                                                                                                                                                                  
INFO    : Metis : 229.4fps
INFO    : CPU % : 0.9%
INFO    : End-to-end : 97.8fps
 

@Giodst Thank you for the question and for sharing your results with us! 

Indeed, as per our model-zoo docs o1] this should not happen. Can you please share the logs of ./deploy.py (preferably with -vv option), and also please let us know if you modified the high-level yaml file before deploying the models (if yes, would be nice to share that as well)?

Thanks again!

---

b1] https://github.com/axelera-ai-hub/voyager-sdk/blob/release/v1.3/docs/reference/model_zoo.md


Hi ​@Habib,

What you want to see of the logs?

The yaml file in not modified.

 

Thanks!


@Giodst Yes please, share the logs of the ./deploy.py with -vv flag so that we can help you out with this issue, since according to the docs this should not happen, thanks!


@Habib 
I saved the logs to a file with the --loglevel TRACE parameter, are they okay?


Thank you for providing the logs - they appear to be in good shape. Could you please validate the results across different models, such as YOLOv5 or ResNet-18?


Hi ​@Habib,

These are the performances of yolov8s-coco-onnx:
 

./inference.py yolov8s-coco-onnx dataset --no-display --show-device-fps

INFO    : Model:      yolov8s-coco-onnx                                         
INFO    : Dataset:    CocoDataset-COCO2017
INFO    : Date:       2025-08-21 13:59:39.986429
INFO    : Inference Time: 94325.69ms
INFO    : Evaluation Time: 68193.95ms
INFO    : Evaluation Metrics:
INFO    : ==========================
INFO    : | mAP_box       | 43.66% |
INFO    : | mAP50_box     | 60.59% |
INFO    : | precision_box | 65.32% |
INFO    : | recall_box    | 57.42% |
INFO    : ==========================
INFO    : Key Metric (mAP_box): 43.66%
INFO    : Core Temp : 51.0°C                                                    
INFO    : Metis : 576.3fps
INFO    : CPU % : 2.9%
INFO    : End-to-end : 53.8fps


Reply