请问大家怎么根据GPU的TOPS和模型的FLOPs判断模型能否在GPU上跑?比如20W下的Jetson Xavier NX是21TOPS,YOLOV5s是16.5FLOPs,YOLOv8s是28.7FLOPS,是不是后者无法匹配上GPU的算力,前者是否可以?十分感谢!
主要看的是显存,算力其实不重要,算力低无非就是慢一些(除非你有时间上的要求,但是一般只是正向传播的时候需要考虑这个,训练无所谓)。这也是为什么高算力低显存、低带宽的4090比A100之类的专业卡便宜那么多的原因。