酷应用

用老旧骁龙855玩转「马保国」实时动作检测！CoCoPIE获红杉种子领投

百家 作者：新智元 2021-08-24 20:29:10


  新智元报道  

来源：CoCoPIE

编辑：Priscilla 好困

【新智元导读】近日，成立于2020年的AI初创公司CoCoPIE获得数千万元A轮融资。其技术基于实时AI优化框架CoCoPIE，利用压缩-编译协同的设计，首次对基于YOLO-v4的物体检测和3D活动检测网络，实现了在移动设备上的实时加速。

不用加速硬件也能实现实时AI运算？


即便是老旧（狗头）的高通骁龙855平台，在物体检测上也能达到19FPS，比YOLO-v3的mAP精度更高。

而活动检测方面，可以在不损失精度的情况下让每帧的延迟不超过6.8毫秒。
 
‍ 
这家成立于2020年的AI初创公司「CoCoPIE」最近则获得了数千万元A轮融资，其中包括红杉中国种子基金、初心资本等。
 
创始团队为来自美国东北大学的王言治教授、北卡罗来纳州立大学的慎熙鹏教授及威廉玛丽学院的任彬教授，以及来自国际顶级科技公司的资深架构师。
 

王言治表示，现在国际芯片紧缺，国内掀起了一波芯片创业潮，软件需要跟上硬件的创业大军。
 
从专注于在芯片上实现AI应用实时化角度入手，CoCoPIE由此诞生。
 
 
CoCoPIE希望作为软件版的AI加速器，在通用芯片上实现AI应用实时化。
 
现在手机等终端采用的都是通用芯片，其实通用芯片本身的算力还是不错的，只是没有对AI进行很好的优化，通过CoCoPIE的技术，我们可以让AI模型或者应用以最优的状态在芯片上运行，相当于让原来无法跑AI模型的芯片可以用起来，提升芯片的利用效率。
 
8月20日，CoCoPIE还获得了美国国家科学基金会（NSF）25万美元的资金。
 
CoCoPIE，瞄准缺芯潮的「软件派」
 
当前，CoCoPIE的应用场景更多是针对主流的移动端CPU和GPU。
 
现阶段，想要在手机上使用AI换脸等流行应用，是无法在本地直接实时实现的，需要在云端处理部分数据。
 
实时视频分辨率提升
 
但在云上计算和传输数据，运营方往往需要负担巨大的服务器和带宽成本。
 
而CoCoPIE的技术不仅能够让芯片算力提高3-4倍，实时提高视频分辨率，还能减少运营方的成本。
 
另一方面，还提升了用户的使用体验，摆脱了无网络或网络环境不佳对AI应用的限制。
 
实时YOLO-V4物体检测
 
王言治希望CoCoPIE的技术能够解决神经网络「能不能上车」设备的问题。
 
面对当前的「缺芯潮」，AI专用芯片等研发起码需要5-10年的周期。
 
但在CoCoPIE的帮助下，相当于能够让旧芯片应用神经网络，解决芯片紧俏的燃眉之急。
 
同时，CoCoPIE还能在应用研发团队和芯片厂商间起到桥梁作用，使同一个深度学习模型适配不同硬件平台，将芯片效能最高提升到5-10倍。 


CoCoPIE的技术实现

实时AI优化框架CoCoPIE通过压缩-编译协同设计，首次对基于YOLO-v4的物体检测和3D活动检测网络（如C3D、R(2+1)D、S3D），实现了在移动设备上的实时加速。

https://0f308194-4629-4aea-aeb6-1a668110b9a0.filesusr.com/ugd/7a4a73_3000ec027ac34ad4bb617dd52caab981.pdf
 
CoCoPIE保持着数个移动设备AI的记录：
 
  1. 首次支持所有类型的DNN，包括CNN、RNN、转化器和语言模型等；
  2. 最快的DNN修剪和加速框架，比目前的框架（如TensorFlow-Lite）快180倍；
  3. 在骁龙855上在6.7毫秒内实现了78.2%的ImageNet Top-1准确率，以及3.9毫秒内超过70%的ImageNet准确率。
 
ImageNet的Top-1准确性与延迟
左：CPU，右：GPU
 
CoCoPIE由两部分组成：
 
  1. CoCo-Gen，通过细粒度的结构化DNN修剪方案（如基于块的修剪）和自动编译器级代码生成的协同作用，生成高效的DNN执行代码。

 

  1. CoCo-Tune，通过基于可组合性的编译器框架进行修剪，缩短了识别DNN参数集的过程。
 
自动着色
 
CoCoPIE有着广泛的应用，如增强分辨率、自动着色、物体检测、3D活动检测、背景分割、医疗保健、神经翻译、自然语言处理以及基于GAN的应用。
 
实时风格转换对比
左：CoCoPIE，右：腾讯NCNN
 
可以明显的看到CoCoPIE编译器在实时处理上的优势。
 
此外，即使没有DNN压缩的帮助，CoCoPIE编译器的代码生成也能达到SOTA。
 
在较新的骁龙865平台上对框架进行评估。
 
 
结果表明，与PyTorch、 TensorFlow-Lite和MNN相比，CoCoPIE在所有的DNN上都表现最优。 


创始人团队介绍

王言治
 
 
2009年获得清华大学电子工程学士学位，2014年以满绩点的成绩获得南加州大学电气工程系博士学位，获得了南加州大学EE系的最高荣誉奖（Ming Hsieh Scholar Award）。
 
现任美国东北大学电气与计算机工程系、Khoury计算机科学学院（附属）助理教授。
 
主要研究兴趣包括：
  • 实时和节能的深度学习和人工智能系统
  • 深度神经网络 (DNN) 的模型压缩和移动加速
  • 自动驾驶的深度学习加速
  • 神经形态计算和非冯诺依曼计算范式
  • 深度学习系统中的网络安全
 
曾在各大顶级会议和期刊发表多篇论文，曾获得六项最佳论文或顶级论文奖。
 
慎熙鹏
 
 
2014年8月加入北卡罗来纳州立大学，任计算机科学教授。
 
曾获美国能源部早期职业奖、美国国家科学基金会职业奖、谷歌教师研究奖和IBM CAS教师奖。
 
研究领域主要集中于编程系统和机器学习，重点是通过编译器、运行时系统和机器学习算法的创新实现超大规模数据密集型计算和智能计算。他目前的研究重点是异构大规模并行计算、高性能机器学习和高级大规模程序优化。
 
目前是ACM Distinguished Member，ACM Distinguished Speaker，IEEE高级会员。
 
任彬
 
 
2008年获得北京航空航天大学软件工程专业硕士学位，2014年获得俄亥俄州大学计算机科学与工程专业博士学位，现任威廉玛丽学院计算机科学系助理教授。
 
研究领域包括：并行计算与高性能计算、编译器技术、实时机器学习以及机器学习系统。


参考资料：

https://mp.weixin.qq.com/s/Xa28XYYx5S_bg1DJHxjn8w

https://www.wm.edu/news/stories/2021/cocopie-tech-startup-wins-nsf-small-business-innovation-funding.php

https://web.northeastern.edu/yanzhiwang/

https://people.engr.ncsu.edu/xshen5/

http://www.cs.wm.edu/~bren/





关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/

*文章为作者独立观点，不代表 爱尖刀 立场
本文由 新智元发表，转载此文章须经作者同意，并请附上出处( 爱尖刀 )及本页链接。
原文链接 https://www.ijiandao.com/2b/baijia/414648.html
骁龙 骁龙855 CoCoPIE 马保国 红杉
图库
新智元 新智元
公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接
百度热搜榜
排名 热点 搜索指数
iTrust
AiDeep Ued
关于我们 联系我们 升级日志 法律声明 广告服务 侵删通道
Copyright © 2021 K2CMS All rights reserved.
京ICP备14006288号