腾讯优图开源项目全景图!

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

腾讯优图属于国内工业界CV领域实验室的第一梯队，其不仅服务腾讯内部线上产品，也开源了多个前沿研究和工程项目，本文盘点优图实验室开源的所有项目，其中最“火”的三个工程是『NCNN』、『人脸检测-DSFD』、『目标检测-OSD』。

• 腾讯优图项目主页：

  https://github.com/TencentYoutuResearch

    01    

SuperResolution-RealSR

一种在真实世界环境下的新型 degradation（降质）框架-Real-SR，为超分辨率学习提供真实的图像。通过对 kernel 和 noise 的估计，来探索  blurry 和 noisy 图像的具体 degradation（降质）情况。

获得 NTIRE 2020 Challenge Real-World SuperResolution 两个赛道的冠军。

视觉结果:

对比结果：（'Impressionism' is our team.）

• 论文题目：

  Real-World Super-Resolution via Kernel Estimation and Noise Injection

• 论文地址：

  http://link.52cv.net/uE6fmZ

• 代码地址：

  https://github.com/Tencent/Real-SR

    02    

InferenceFramework-NCNN

NCNN 是一个针对移动平台优化的高性能神经网络推理框架。

支持大部分常用的 CNN 网络：

• Classical CNN: VGG AlexNet GoogleNet Inception ...
• Practical CNN: ResNet DenseNet SENet FPN ...
• Light-weight CNN: SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet ...
• Face Detection: MTCNN RetinaFace ...
• Detection: VGG-SSD MobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite MobileNetV3-SSDLite ...
• Detection: Faster-RCNN R-FCN ...
• Detection: YOLOV2 YOLOV3 MobileNet-YOLOV3 YOLOV4 ...
• Segmentation: FCN PSPNet UNet YOLACT ...
• Pose Estimation: SimplePose ...

功能强大：

• 支持卷积神经网络，支持多输入和多分支结构，可计算部分分支
• 无任何第三方库依赖，不依赖 BLAS/NNPACK 等计算框架
• 纯 C++ 实现，跨平台，支持 android ios 等
• ARM NEON 汇编级良心优化，计算速度极快
• 精细的内存管理和数据结构设计，内存占用极低
• 支持多核并行计算加速，ARM big.LITTLE cpu 调度优化
• 支持基于全新低消耗的 vulkan api GPU 加速
• 整体库体积小于 700K，并可轻松精简到小于 300K
• 可扩展的模型设计，支持 8bit 量化和半精度浮点存储，可导入 caffe/pytorch/mxnet/onnx/darknet 模型
• 支持直接内存零拷贝引用加载网络模型
• 可注册自定义层实现并扩展

使用案例：

• 图像分类android实例：

  https://github.com/nihui/ncnn-android-squeezenetFast 

• 风格迁移android实例：

  https://github.com/nihui/ncnn-android-styletransfer

• 目标检测android实例：

  https://github.com/nihui/ncnn-android-mobilenetssd

• MTCNN人脸检测工程：

  https://github.com/moli232777144/mtcnn_ncnn

下滑查看效果图：

图像分类：

风格迁移：

目标检测：

人脸检测：

• 代码地址：

  https://github.com/Tencent/ncnn

    03    

FaceDetection-DSFD

高精度双分支人脸检测器：DSFD，在WIDER FACE 和 FDDB数据集均取得了精度第一 (刚出来时)。

结果展示：

• 论文题目：

  DSFD: Dual Shot Face Detector

• 论文地址：

  https://arxiv.org/abs/1810.10220

• 代码地址：

  https://github.com/Tencent/FaceDetection-DSFD

    04    

ObjectDetection-OneStageDet

单阶段通用目标检测器：OSD

特征：

• 同时包括Yolov2和Yolov3

• 性能优

• 训练速度如 darknet 一样快

• A lot of efficient backbones on hand

• 代码地址：

  https://github.com/Tencent/ObjectDetection-OneStageDet

    05    

ActionDetection-DBG

一个新的统一动作检测框架：DBG，性能优于最先进的动作检测器 BSN 和 BMN。2019 年 ActivityNet 挑战赛，Temporal Action 提案排名第一。

• 论文题目：

  Fast Learning of Temporal Action Proposal via Dense Boundary Generator

• 论文地址：

  https://arxiv.org/abs/1911.04127

• 代码地址：

  https://github.com/Tencent/ActionDetection-DBG

    06    

FaceAttribute-FAN

• 论文题目：

  Harnessing Synthesized Abstraction Images to Improve Facial Attribute Recognition

• 论文地址：

  https://www.ijcai.org/Proceedings/2018/0102.pdf

• 代码地址：

  https://github.com/TencentYoutuResearch/FaceAttribute-FAN

    07    

FaceAlignment-FHR

基于高分辨率视频的人脸对齐算法：Fractional Heatmap Regression (FHR) ，

• 论文题目：

  Towards Highly Accurate and Stable Face Alignment for High-Resolution Video

• 论文地址：

  https://arxiv.org/abs/1811.00342

• 代码地址：

  https://github.com/TencentYoutuResearch/FaceAlignment-FHR

专辑：计算机视觉方向简介

专辑：视觉SLAM入门

专辑：最新SLAM/三维视觉论文/开源

专辑：三维视觉/SLAM公开课

专辑：深度相机原理及应用

专辑：手机双摄头技术解析与应用

专辑：相机标定

专辑：全景相机

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~

投稿、合作也欢迎联系：simiter@126.com

扫描关注视频号，看最新技术落地及开源方案视频秀 ↓