实操教程：android camera nanodet 实时物体检测的高效实现总结

会员服务 ·

实操教程：android camera nanodet 实时物体检测的高效实现总结

2022 年 2 月 21 日 极市平台

↑ 点击蓝字关注极市平台

作者丨nihui@知乎（已授权）

来源丨https://zhuanlan.zhihu.com/p/356991989

编辑丨极市平台

未经允许禁止二次转载

极市导读

本文介绍了配合高效的Android应用层体现nanodet的实时物体检测的高效实现的总结，附有代码地址。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

0x0 起因

ncnn 是为移动端优化的神经网络推理框架
nanodet 是轻量级通用物体检测算法

为了能跑得更快更好，ncnn 和 nanodet 费了很大功夫优化模型结构和代码实现

然而，只有配合高效的 android 应用层实现，才能将 ncnn nanodet 优势体现

否则，底层辛辛苦苦省下的时间，很容易被上层低效的实现浪费

似乎没找到靠谱的代码，那就自己写个吧

https://github.com/Tencent/ncnngithub.com

https://github.com/nihui/opencv-mobilegithub.com

https://github.com/RangiLyu/nanodetgithub.com

0x1 源代码传送门

不废话，先上源码和APK包下载链接

nihui/ncnn-android-nanodetgithub.com

https://github.com/nihui/ncnn-android-nanodet/releases/download/v1/com.tencent.nanodetncnn-release.apkgithub.com

0x2 NdkCamera 取帧，画图和渲染

Camera2 （传统方式）

java 初始化和设置相机，创建 ImageReader 做预览回调
java OnImageAvailable 转换为 rgba / Bitmap
java 通过 JNI 调用 C++ 实现的 nanodet 检测函数
c++ nanodet 推理
java 通过 JNI 返回检测框信息，用 Canvas 在 Bitmap 画框画字，更新
重复 3-5

NdkCamera

c++ 初始化和设置相机，创建 AImageReader 做预览回调
java 通过 JNI 设置显示的 SurfaceView ANativeWindow
c++ onImageAvailable 获得 yuv420sp，旋转，转 RGB
c++ nanodet 推理
c++ opencv-mobile 画框画字，更新 ANativeWindow buffer
重复 3-5

相较于 Camera2 传统实现流程，主要有以下优势

每帧的处理循环完全用 c++ 实现，避免 JNI 与 java api 的数据传输
使用 ncnn 优化的 yuv420sp 旋转，转 RGB 函数实现，更高效
使用 opencv-mobile 画框画字，更高效
ANativeWindow buffer 到屏幕的缩放由硬件完成

也要说下缺点

需要 android 7.0 或以上系统
不兼容很老的 LEGACY camera interface

总之，很老的手机就别折腾实时检测了吧，承受着不该承受的计算压力。。

NdkCamera.h 白嫖攻略

光明正大地把app/src/main/jni/ndkcamera.h和app/src/main/jni/ndkcamera.cpp两个文件 Ctrl+C Ctrl+V，配合链接 ncnn 和 opencv-mobile


   
   
     
    
    
      
     
     
       
     
     
       
     
     
       
     
     
       
     
     
       
     
     
       
     
     
       
     
     
       
     
     
       
    
    
      
    
    
      class NdkCamera{public:    // facing 0=front 1=back    int open(int camera_facing = 0);    void close();
    virtual void on_image(const cv::Mat& rgb) const;};