继去年 5 月推出首款面向物联网的 AI 芯片——雨燕（Swift）及其系统解决方案之后，1 月 2 日，人工智能企业云知声在京召开新闻发布会，正式公布了其多模态 AI 芯片战略与规划。会上同步曝光了其正在研发中的多款定位不同场景的 AI 芯片，包括第二代物联网语音 AI 芯片雨燕 Lite、面向智慧城市的支持图像与语音计算的多模态 AI 芯片海豚（Dolphin），以及面向智慧出行的车规级多模态 AI 芯片雪豹（Leopard）。

5G 推动 AIoT 落地，多模态 AI 芯成必然

云知声创始人/CEO 黄伟认为，当前我们正处于 5G 爆发的边缘，5G 与人工智能的结合将真正促使万物智联（AIoT）的落地与实现。可以预见的是，未来巨量的多维数据（如语音、图像、视频等）集中处理与边缘式分布计算的需求，势必将进一步挑战 AI 底层支持硬件——芯片的计算能力。

与此同时，AIoT 场景下人工智能应用对于端云互动有着强需求。强大的云会让端能力更强，而强大的端则可提升数据处理的实时性和有效性，进而增强云的能力。二者需要紧密结合，这要求对芯片设计和云端架构进行统一考量。传统的通用方案架构由于在高实时性、高智能化场景中的算力有限，且无法平衡好成本、功耗、安全性等诸多现实需求，因此具备多维度 AI 数据集中处理能力的多模态 AI 芯片将成必由之路。

黄伟同时指出，面向 5G 万物智联时代，人工智能服务需提供更加场景化的解决方案，云+芯一体化的服务模式将成为行业主流。基于此，他进一步对传统 SOC（System onChip）概念提出全新定义，其中 S 代表不同的 AI 服务能力即 Skills，O 代表云端与边缘侧的互动 On/off Cloud，C 代表具备智能处理能力的 AI 芯片。

从 IVM 到雨燕，云知声的造芯之路

云知声 2014 年开始切入物联网 AI 硬件芯片方案（IVM），并于 2015 年开始形成量产出货，其中家居领域客户覆盖格力、美的、海尔、长虹、海信、华帝等几乎所有国内一线家电厂商。在深入场景提供服务的过程中，为弥补通用芯片方案在给定成本和功耗条件下的能效比问题，以及在边缘算力、多模态AI 数据处理方面的能力短板，2015 年云知声正式启动自研 AI 芯片计划。

去年 5 月 16 日，云知声正式发布了旗下花近三年自主研发打造的首款物联网 AI 芯片。该芯片采用云知声自主 AI 指令集，拥有具备完整自主知识产权的 DeepNet1.0、uDSP（数字信号处理器），并支持 DNN/LSTM/CNN 等多种深度神经网络模型，性能较通用方案提升超 50 倍。

发布芯片后仅四个月，云知声便选择将基于雨燕的解决方案进行开源，于去年 9 月正式推出智能家居、智能音箱的两套标杆解决方案。通过“云端芯”结合，提供给客户与合作伙伴面向具体场景的软硬件一体化 Turnkey 解决方案，可让客户站在更高的设计起点、以更低的成本，在更短的时间周期内打造出更稳定可靠的产品。同时，开源的方案也可确保客户基于已提供的 AI 能力自行设计其它各种长尾产品形态，构建更为丰富的 AIoT 生态。

目前，基于雨燕芯片的全栈解决方案已导入的各类方案商及合作伙伴已超过 10 家，包括美的、奥克斯、海信、京东、360、中国平安、硬蛋科技等，相关产品最早将于 Q1 量产上市。

物联网 AI 芯片的多模态演进之路

在第一代 UniOne 芯片雨燕的发布会上，云知声联合创始人李霄寒曾指出， UniOne 并不是一颗芯片，而是一系列芯片，代表了云知声对于物联网 AI 芯片发展战略的整体构想。在今日举行的云知声 2019 多模态 AI 芯片战略发布会上，李霄寒再次从三方面论证了物联网多模态 AI 芯片的必要性。他认为，当前物联网产品线的 AI 芯片越来越明显地体现出三个趋势：

• 首先是场景化。芯片设计正在由原来的片面追求 PPA ，即性能（Power）、功耗（Performance）和面积（Area）逐渐演变成基于软硬一体，甚至包括云端服务的方式来解决某个垂直领域的具体问题，芯片本身上升成为整个解决方案中的重要部分，而非唯一；

• 其次，端云互动。在物联网的不同应用场景下，海量终端设备要实现功能智能化必须端云配合，即形成边缘算力和云端算力的动态平衡。端云互动的命题需要AI 芯片的强有力支持，进一步也深刻影响到芯片的设计，以及最终的交付；

• 再者，数据多模态。在以 5G 驱动的万物智联场景下，芯片所接触到的数据维度将由原来的单一化走向多元化，芯片所需处理的数据也由单模态变成多模态，这对芯片尤其是物联网人工智能芯片的设计提出了新的挑战。

结合以上三点，李霄寒认为，物联网 AI 芯片的最终呈现形式将不再是一个单一的硬件，而必然是承载着边缘能力与云端能力的多模态AI 软硬一体解决方案。

云知声多模态 AI 芯片技术布局

为实现多模态 AI 芯片的战略落地，目前云知声已在加速技术布局，并在机器视觉方面取得飞速进展。其中，面向机器视觉的轻量级图像信号处理器已可实现在不依赖外部内存的情况下，在 30fps 的速率下实时对传感器的图片进行预处理，以进一步提高后续机器视觉处理模块的处理速度和效果。借助基于人脸信息分析的多模态技术，已可实现人脸/物体识别、表情分析、标签化、唇动状态跟踪等功能，可为产品交互和用户体验提供更多的可玩性和灵活性。

尤为值得一提的是，云知声多模态人工智能核心 IP——DeepNet2.0 的发布，标志着云知声人工智能处理核心由 1.0 语音时代全面迈入 2.0 融合语音、图像等处理能力的多模态时代。DeepNet2.0 可兼容 LSTM/CNN/RNN/TDNN 等多种推理网络，支持可重构计算与 Winograd 处理，最高可配置算力达 4T，达行业一流水平。目前云知声DeepNet2.0 已在 FPGA 上得到验证，将在 2019 年落地的全新多模态 AI 芯片海豚（Dolphin）上落地。

除此之外，在图像与芯片技术的产学研合作方面，云知声还与杜克大学所领导的美国自然科学基金旗下唯一人工智能计算中心——ASIC 达成深度合作，致力于算法压缩与量化技术与基于存内计算等的新计算架构研究，将进一步为云知声多模态 AI 芯片战略的推进夯实基础。

三款在研芯片曝光，2019 年启动量产

在首款量产芯片雨燕已有大批客户导入，占领市场先发优势的背景下，2019 年云知声在芯片落地规划方面仍将保持积极态度。

李霄寒透露，在持续迭代升级现有雨燕芯片的性能与服务之外，目前云知声多款面向不同方向的芯片也已在研发中，包括适用性更广的超轻量级物联网语音 AI 芯片雨燕 Lite，集成云知声最先进神经网络处理器 DeepNet2.0，可面向智慧城市场景提供对语音和图像等多模态计算支持的多模态AI 芯片海豚（Dolphin），以及与吉利集团旗下生态链企业亿咖通科技共同打造的面向智慧出行场景的多模态车规级AI 芯片雪豹（Leopard）。以上三款芯片计划于 2019 年启动量产。

目前，依托在家居、车载等真实场景下丰富的产品经验，以及具备先发优势的 AI 芯片能力，云知声将业务覆盖到包括智能家居、智能汽车、智能儿童机器人、智慧酒店、智慧交通等诸多场景。未来云知声将持续发力多模态 AI 芯片，不断拓展技术与场景生态，以实现面向未来 AIoT 时代的全面赋能。

以下是发布会速记，有删减（速记有个别字疏漏谅解）：

黄伟：尊敬的陈国良院士大家下午好，感谢今天所有当场的嘉宾和朋友，今天是2019一个工作日，非常感谢大家把2019第一个工作日下午留给云知声，留给我30分钟，来听我单口相声。在过去一年发生很多事，我们经营很困难，但是我们收获很多信任，2019我们相信也注定是不平凡的一年，不平凡在哪儿？不是说困难年的开始，我相信2019是人工智能真正规模化产业落地的第一年。所以我特别荣幸我们在一起来见证一下人工智能怎么样在产业化里面规模化。

今天应该讲是云知声走过第六个年头，我也非常感慨，我自己CEO连续给我的员工发了六年年终奖这也是一个贡献，过去六年存在很多挑战，2012年的时候我们定义非常清楚，云知声我们是一家面向互联网的企业，我们只是从云技术切入，2012年可能很多人才第一次接触智能手机，2012年我们很多人刚刚接触移动APP，但是我们相信在未来我们连接的不只是人类，我们连接的是互联网，我们相信在不远的将来一定会实现万物互联、万物智联，所以我们希望能够用人工智能技术为互联网来进行布局。

谈到物联网其实和传统的PC互联网和移动互联网不同，那就意味着我们有更多的设备更多的设备形态，回想2010年之前我们的互联网巨头，他们的市值，他们的盈利是多少？但是我们今天看看face book，看看腾讯有多少收入，我们就可以从历史向互联网时代，随着更多场景介入，对整个社会整个产业带来了巨大的作用。所以我相信在互联网时代，更多的设备，更多的品类必将会导致更大商业机会，更大商业机会一定会对我们的技术能力提出更高的要求。所以说作为一家创业公司，你如何用非常有限的资源，为市场为客户提供出更好更多的能力，我相信这是每一个创业公司都要思考的问题，如果你没有思考这个问题，你还是用着PC时代或者移动互联网时代来应付我们即将到来的时代，我相信你的能力和市场区域之间一定会有差异，你很难保证团队可以适应这个市场竞争。

所以这是基于很多对未来互联网时代，它对于这个技术的要求，所以很早我们就开始一些架构布局，我们从2012年，2013年，我们最开始到今天我们搭建了操作平台，为了能够给客户提供更多AI能力，所以我们从一开始非常注重顶层机器学习平台搭建，我们搭建了一个分布式技术平台，这是基于算法的，所以云知声能够出来业界第一个云识别能力，自然语言理解能力，语义合成能力，机器翻译能力等等。

那么有了能力还是不够的，能力也要跟场景结合，好像说我是内力非常深厚还要需要跟你的能力产品对接，我们2014年希望通过云端芯这种统一的产品体系能够深入，为我们的客户提供支持，提供服务。我们在云端提供AI Service，我们同事要在不同设备终端提供AI交互能力，我们要提供到移动端，能够满足用户在移动端上对技术和能力要求。

在过去六年里云知声从2012年到2014年，那个时候我们做的是团队最擅长的事情，就是把算法平台化，通过算法平台化云知声构建了云端芯体系，从2018年开始我们把场景和算法结合定了云端芯体系，我们在不同场景去开拓。接下来我们做什么，我们要构建产品。回顾六年里，云知声我们秉持着坚持科大校训，谈不上我们做了哪些特别大的，了不起的东西，但是我们云知声六年做了三件事情。

2012年可能学术界很多人还没有听说过什么叫深度学习，什么叫（英），云知声在2012年我们就开始把深度学习应用于语音识别技术，并且把深度学习确定整个公司的技术战略方向。今天我们知道在2016年3月份，在阿法狗之后，我们几乎所有人都知道AI。在2016年前我们正确的确定了未来的战略方向。在2014年的时候我们就意识到，算力和算法必须完美融合在一起，在2014年我们就确定要把云端芯一体化，在2015年我们开始决定启动了我们的芯片计划，2015年我们对芯片认识就开始不一样了，芯片是高端制造业，我们甚至把芯片归为夕阳产业，我们还是定义为传统产业，但是没有看到技术进步对计算能力的追求。

今天来看，也许我们在算法在产品战略，在对技能云数据方面有了认识，有了很好的能力，那么云知声选择了两个场景，分别是AI生活和AI服务，2014年初云知声开始设计语音识别，那个时候我们没有看到我在家里可以不通过摇控器可以控制的设备，回到家的时候我一边脱鞋子一边说，把灯打开，这是我下的定义。我们今天去国美会看到，几乎所有的带语音交互设备无论是海尔、美的的几乎无一例外都在使用云知声语音交互。

在2014年的时候我们相信未来的车一定是智能的，未来的车主一定通过网络服务来导航，来听歌曲，来查找附近的美食，所以2015年我们开始把车载分案提交给市场，到今天我们在后端市场已经拥有差不多1800套设备，我们有接近40款前端的车型，2017年我们认为家庭会变成智能化，我们开始推出家庭智能方案，到今天为止有300个执行方案。云知声2015年AI能力跟产品需求结合在一起，到今天我们的医院已经超过五百多家布局，这里面80%以上都是非常头部的，包含北京协和医院，上海的矿山医院等等，同样的我们也把AI的能力给我们互联网公司进行运作。在今年我们还陆续在金融，在客服等等方面布局。

其实2017年就有很多人说，我们都说创业公司不行，说是不是想法太多了，人家做AI你还做芯片，其实他们不知道云知声从来没有专门的教育，也没有专门的家具，在云知声我们只不过从场景落地，我们通过满足场景需求，我们具备了在这个场景里为这个用户提供某一种需求，某一种能力。正是云知声在2014年确定了云端芯一体化战略，才使得我们在有限情况下可以快速的在场景下布局。有了技术还有相对产品的规划，后面需要经过漫长的迭代。2018年很多朋友跟我讲，今年业绩又下滑了，确实如此。2018年很多行业都会遇到各种各样的问题，但可能就是云知声的产品与未来的市场变化，我们做了很多准备工作，所以在2018年也许是厚积薄发。

我们有的公司在分蛋糕，是说明市场需求已经有了，大家只是说这个刀怎么切的问题，云知声做了很多事情，我们现在做的，无论是在教育、医疗、智能家具，车等等，云知声都是行业领域的先河者，我们都是在这个场景，我们有创新的技术和体系，我们第一个来做，而且做出规模。

另外云知声的收入构成，我们今年的收入都是来自于芯片，我们看似几个亿的营业额销售额带动的产值可能是几十亿甚至上百个亿，我们没有去做任何系统性的。我们投资公司的时候，特别是2B公司，人工产值如果把两个组合在一起的话，相信今天在AI里面我们是一个颇具分量的，为什么能做？因为我们在过去，我们坚持一个正确的商业化的方式。所以今天我们不光在2018年，根据现有的产品开发，我们甚至可以预测在2019年相比于2018年依然会有增长，甚至在纯粹的市场环境中的能力，我相信我们接下来会遇到很多问题。

其实过去很多O2O、P2P等等，现在有朋友问我说，你羡慕吗？其实我一点不羡慕，因为我做云知声是一个事业，我觉得是在平凡中更伟大，有的时候慢一点打好基础。虽然说过去六年里面云知声取得了一点点成绩，这其实都是我们在这个时代里要做的。

什么是5G？这里面什么叫G？我们在看的过程中从2G、3G这种感觉，2G的时候我们干什么？最多在手机上看小说。3G时代云知声诞生的时候刚好是3G时代，那个时候我们在手机上看图片，4G来临，今天快手、抖音等等，但是我们发现5G相比3G、4G可能会是一个质变。今天我们对社会可视的对话，但是基本我们其是感觉比较生硬，现在全息各种各样的，我们甚至可以说可以3D看到每个人的表情。所以5G对于未来改变的不只是网络速度，甚至改变形态，甚至还有行业，所以5G对于4G是革命性的变化。

5G的三个典型特征，更宽的宽带，更低的时延，广阔的覆盖。5G会给我们每个人的生活带来改变，5G会使得我们今天从人和人之间的连接，到万物的互联，每个人之间，每个设备之间，5G引用应用的大爆炸，车联网、物联网、互联网等等，而且我们今天可能会从手机的时代，手机的互联扩展到各种行业，连接爆炸和应用爆炸加快，比方说我开车的时候车联网，接收其他行业的信息，他会产生大量的数据，而且数据会发给平台。

举个例子，终端未来越来越多的数据，什么叫做智能，我非常赞同一句话，只有耳朵没有眼睛是不全面的，所以我相信未来的智能终端，一定是多维的。算力之外，还需要有深入场景提供服务能力。场景里面我们需要什么？我们需要解决问题，计算能力基础，计算能力之上。

所以我们今天有必要再定义SOC，什么叫SKill？在AI时代我们是打开一个链接进入一个网址，移动互联网时代打开手机找出我们想实现的功能，帮助你订机票订酒店等等，所以未来通过SKill这个方式来做一些事情。那么是不是SKill只在云端，SKill既存在云端也存在其他地方，这个城市我们需要很多摄像头、传感器，如果我们所有数据都是网络传到云端，所有的数据会占据很多带宽，会占据很多资源，如果每个摄像头本身都具备能力，不见得所有的数据都需要，4G刚来的时候流量用不完，但是发现抖音来了以后不够用。如果说我们完成一些工作，让变的云端更加有用的，更强的终端，让云变的更强，端跟云的互补能够让能力在场景里面配合。

正是因为云端互相的能力，（英）所以终端本身也必须具备一个能够支持芯片算法的NPU，这个NPU支持语音任务，你还可以支持视频。重新定义了SOC之后，云端会变成更加灵活，只有这样我们才能在5G+IOT+AI时代来临的时候，我们才有更好的能力，我们要通过这种方式来构建我们的场景优势。其实我并不知道还会遇到多少困难，2012年当我们把云识别开放的时候，中国还没有云计算，2014年我们开始做云的时候，2015年我们做芯片的时候，所以每一年都会有变化，为什么？因为创业过程中最难走的路才是捷径，我们也希望进一步支持帮助我们，我们也坚信我们走的道路是顺利的，谢谢大家！    

主持人：有请云知声联合创始人李霄寒博士，为我们来正式揭晓云知声多模态 AI 芯片战略与布局。

李霄寒：大家好！各位领导，各位老师，各位朋友，各位合作伙伴们，陈老师、吴主任大家下午好，今天是2019的1月2日是第一个工作日，非常感谢大家把一个下午时间交给云知声，今天下午由我带领大家回顾一下云知声过去的历程！当前人工智能物联网面临什么挑战，我们对它的思路，以及2018云知声做的一些积累取得的一些成功，以及2019云知声将有一个非常宏大的芯片技术。

首先我们来看一下我们这个时代，我们现在处在一个互联网时代，我们所有人都经历过个人电脑和移动终端时代，在这两个时代有什么差别？他们在核心方面有什么不一样？我们认为有几点，首先是社会数量的增长，个人电脑时代是以家庭为单位，移动互联网设备以人为单位，所以有了提升。在物联网时代，我们每一个人未来都可能有一个两个三个多个N个互联网设备，所以设备的数量会呈现大规模爆发状态，对于这个产业链所有玩家来讲都是一个巨大规模。

第二点就是连接成本更低一点，在既有的蓝牙、WIFI一些比较成熟的，我们可以看到5G方兴未艾，这些连接手段发展，为物联网设备的连接成本会使得他降到非常的低廉，这种低廉一方面是金钱一方面是带宽成本！同样条件下可以传输更多的数据。

第三数据维度变的复杂多样，PC时代我们所收集的数据无非是键盘的点击，移动互联网手机的数据包括GPS包括用户很多其他数据化，在物联网时代更倾向于人体交互，所以会产生对物联网设备提出新要求，最后是应用场景。我们再也不可能像移动时代那样生产一款芯片手机上面可以有很多应用，在物联网时代风扇的物联网平台和空调的物联网平台肯定是不一样，可能只有几个应用，所以这些不同和对物联网和以前的时代创造出一些新的变化，这些变化给我们带来了挑战，也给我们所有人创造新的机会。

物联网时代非常重要的命题，把能力下沉到设备端，和移动时代不一样，移动时代和PC时代都可以用手机，在物联网时代风扇和空调不会共用一个平台，这就意味着最终端的硬件上面会产生跟以前不一样的变化，所以物联网必须解决最终端的硬件问题，云知声是怎么解决的呢？

在2014年云知声提出了云端芯的产品技术架构，我们认为物联网时代下任何一个产品都会具有这三个部分，都会用云端芯这三个部分组成，仅仅强调其中一个都是不行的，是解决不了当下人们的需要，所以我们开发了IDM的产品，在2015正式量产，经过这几年的发展有了非常多客户，出货量也呈规模性增长。一直到今天我们在这个领域仍然是独一无二的老大。

在我们2015取得阶段性成果，当时就面新一个问题，来自业务端的问题，我把它叫做来自战术的挑战。第一个挑战我们要处理的数据当时是语音， 大家用红外摇控器和触屏完全不一样，需要基于深度进行互联，对于算力提出更高要求，我们的方法就是用更好的算法提供更好的需求，很明显带来一个负作用成本增加，硬件对于成本是非常敏感的。比如家电，我的成本没增加一块钱，在硬件成本采购商一块钱，意味着我的用户承担五倍价值增加，也就你的产品采购云知声的产品一百块钱，就意味着你最终的成品售价要增加五百块钱左右，但是如果你原来的产品是一个风扇只卖一两百怎么去涵盖吸收五百块钱的价值增长，所以这个问题对于印象，对于五千块钱以下的成本都是成立的。

另外一个功耗的问题，更多的算力意味着更多的功耗，对于插电的产品可能成立，但是对于电视工业的成本肯定不行，所以这是我们面临非常迫于眉睫的问题，这是2015年的问题。但是仅仅业务端的挑战还是浅薄了一些，我们在那个时间点看到了一些不太一样的，也就是所谓的战略端的考量。

首先我们看到在我们做的产品之外，在我们面向整体的市场，它其实是一个物联网市场。他在接触用户，跟用户打交道注定是有新数据导入，比如语音、头像、手势等等这些数据需要处理，要进行更好效能要进行基于深度神经网络的法，这就意味着我需要在终端提供更加充分的算力，这是一个事实。

另外一个有约束就是成本的约束，在规定成本和条件下怎么提供不同的算法，基于通用性是不是最优的，不太适合做大规模矩阵的神经性网络的计算，它是低效的，所以左边和右边这两个是一个根本性矛盾，是我们做物联网、人工智能设计的时候不可回避的矛盾，只要物联网往前发展成本仍然是一个不可忽略的点，那这个矛盾就永远存在，我们的使命就是要去解决这个矛盾，那怎么解决？我们的看法就是基于深度学习的新硬件势在必行，简单来讲就是做边缘侧人工智能芯片，所以我们2015下决心做这个事情，我们看到了一个趋势。这个趋势我们可以抓住，在今年这个时间点我们就可以比别人好，所以我们勇敢革自己的命，所以这是我们2015年整体项目的思路。

我们2016在做团队的模式，2017年项目到了实际阶段。2018年1月份做了一个MPW，2018年5月份做了一个盛大的发布，6月份我们正式启动量产，9月份我们做了另外一个事情，9月12日发布了基于雨燕的方案。9月份之后我们的芯片设计团队转入了图像IP设计。

这一页是（英）第一代产品，也就是我们发布雨燕整体的介绍，它的架构是一个非常典型的芯片，我们做了两件事情一件是（英）专门做音频数据处理，第二个做了人工智能数据处理器，面向音频的人工智能神经处理器。当把这个人工处理器集成进去以后效果是显而易见的，相对于通用芯片AI（英）提升了50倍。在硬件设备方面，因为这个芯片是高度集成的，所以外围的线路使得很大的成本降低三分之一。

9月12日我们发布了开源方案，我们在这个芯片上做了很多工作，我们人工智能引擎放上去进行调优，我们为这个硬件应用还设计了APP，客户拿过去如果正好符合他的要求，那他直接跟产品做连接就可以突破，不用再拿芯片找人工智能的服务商，人的服务商，手机的开发商，我们给他是一个完整的方案。在这个时间点上多家客户做产品导入，在测试、开发、生产，所以我们会有雨燕产品在市场上出现。

2019年第一个工作日这个时间点，我们之前做了很多事情，有必要去回顾一下，展望一下未来物联网人工智能芯片到底该怎么做，他到底在他的发展路线需要考虑什么核心因素，这是我们必须要思考的。首先连接、安全和PPA，无论是蓝牙还是5G还是WIFI，你总要考虑连接方式，这是一个核心点。

第二个安全，芯片物联网意味着别人也可以到达你的芯片，我们不希望生产一个摄像头被人家黑掉，转到黑客服务器，这样你的产品就再也卖不出去了，所以安全以及云端的安全是物联网必须要扩率的。

第三个PPA，是（英）性能、功耗和面积这三个是做物联网芯片要考虑得，如果我们做AI物联网芯片仅仅考虑这三个是不够的。

第一个场景化，我们看到我们在面向客户提供方案的时候，我们需要针对某个场景做不同事情，不光做软件，很有可能你的芯片为这个产品而生。就像刚才讲的，如果面向风扇或者开关去做物联网芯片，跟我们做汽车和电视这样的物联网芯片，从云到芯片本身会有质的变化，产品功能功耗会有非常大差异，所以场景化我认为是物联网人工智能芯片考虑得第一个因素。

第二个因素多模态，这个场景我们出现很多了，我们认为物联网既然要以各种方式接触到人，物联网人工智能芯片必须具备多模态数据的能力，这是第二个。

第三个端云互动，什么意思？物联网芯片是联网的，芯片只是一个排头兵，他通过到达终端服务用，所以这个是非常重要的。仅仅设计一款芯片是解决不能能力到达端的问题。这三点是我认为互联网AI芯片在这个时间点需要重点考量的三个要素。

所以用一句话把我刚才的观点概括，就是需要面向基于端云互动提供多模态，在性能、功耗面积上达到优异的平衡，并兼顾连接和安全的需求。

需求的场景化，我把它概括成一句话，这个也是大家业界的共识，基本是从PPA到APP，PPA三个要素（英），我现在设计目标就是在尽可能小的功能上，提高最好的性能，这是PPA的核心。但是在人工智能上，仅仅关注PPA不久，我们需要关注APP，我们最后向客户提供的是一个包含APP的，需要整体角度考量。从PPA到APP发生了一些变化，从通用的芯片变成了面向网络垂直来提供芯片，第二从单纯的提供芯片，变成了提供方案，芯片上的软件，有能力，有云端服务。第三就是从提供硬件变成能力，这是一个具体的场景化。

第二个端云互动，边缘的计算可以看成云计算的补充和优化，而且云计算始终都是一体的，我举个例子，这个图上面部分是一个功能，叫做语音唤醒，下面是芯片，边缘算力来承担语音方面的功能，比如印象或者电视你问你好了吗，他会回复你，接下来你进行一段有趣的对话。音响半夜里会忽然大笑把人吓一跳，背后的原理很简单，就是某些自然界的噪音发出，就把这个设备唤醒，设备以为就是人在喊它，然后它就听到的话就是给我笑一下，不知道原来的话是什么，但是被机器解读成了给我笑一下，所以在人没有听到任何声音的时候，机器出来一个怪笑，所以这就是唤醒和不唤醒之间的一个矛盾。

我们科学家要做的尽可能提高唤醒率的上面提升边缘算力，但是不是唯一一个方式，我保持边缘算力，当我识别发到云端之后，在云端用更加的模型进一步分析，他到底有没有真的在喊我。当他确认的时候，又发现用户继续提交新的语言过来之后，他继续笑一下或者做别的反应，理论上它可以用最精简的模型，所以可以把一些东西规避掉了，所以这是一个非常典型的例子。如果一个厂商说我在云端上做的是最好的，这样可能不够，你需要有更加完美的解决方案来提供给你的客户。

多模态，我这里举个例子，美的空调，有一个摄像头是通过一个矩阵去观测屋里的状态，如果小朋友在风就避开他，往别的方向去吹。还有如果小朋友晚上登被子上皮肤会感觉温度比较低，它会自动提升温度，是非常好的一个功能，这是多模态一个非常典型的例子。机器人就不用说了，无论是陪伴机器人还是教育机器人，除了跟人自由对话，还期待认识我们，教小朋友读书，认识单词等等，所以要求机器人必须具备多模态功能。车载能够用语音导航，能够看到路面的状态，告诉我状况，还有你困了，要停下休息。还有一个IP摄像头，它的核心功能录像，如果它听到声音的时候就把感兴趣的东西拍下来，传说去，所以这就是多模态在各个领域的刚性需求的一些例子。

基于以上的我们可以得出一个结论，重新定义SOC，在今天这个时间点仅仅做（英）可能不太就，我们需要做的是（英），这个可能来自于本地的算力，本地的引擎，也可能来自于云端的能力，我们需要在这个上面集成更多更优秀的（英），所以端云互动，场景化，多模态这几个因素会非常深刻的影响到芯片的设计，影响到芯片的定位，影响到你的成本、功耗还有你对芯片的需求，所以芯片需要面向综合考虑得一个事，这是我们对这个事情的理解。

基于这个理解云知声做了什么工作呢？第一个我们发布了垂直化（英）方案，我们把所有软件硬件场景都做好了，客户拿来就用，不需要再去找更多供应商，这也是我们未来芯片销售，芯片服务提供的一个核心产品模式。

第二点我们叫做ADPC，专门面向端云互动，（英）在2012年公司成立之后，9月份我们就推出语音识别功能，经过六年多发展已经发展成面向物联网每天用量达到5亿次的巨大云平台，我们对这个平台开发了ADPC模式。

第三个我们在芯片设备方面有两个输出，一个叫做（英）是非常轻量的图片处理单元。DeepNet2.0是我们面向多模态开发的深度神经网络处理器，这款处理器有非常多很好的涉及，目前在业界也出了非常多不错的，至少在我看来是非常好的一个产品，后面我还会讲到。

ADPC是我们的AI深度处理核心，这个方框是我们云平台的架构，暗的地方跟云平台可能没有太大差别，但是我们有一个AI的数据处理核心，用它跟云端连接，当我们端处理完数据，会把一部分的数据提交给云端，由云端做深度的分析，就像我刚才举的例子，如果只有右面的例子我们可能只会提供一个95分的产品，如果有了云端的时候我们会提供一个98的产品，所以有了云端互动可能你的产品是最优秀的。

这是我们（英）的介绍，这是面向机器视觉轻量级的图像服务器，一个是面向机器视觉，第二个是轻量级，让人看这个图片看起来会更加的舒服，更加精细，但是它不一定更加适合机器视觉，所以（英）是专门面向机器视觉得，所以他支持任何图像缩小，（英）给一个图片，通过这个模块可以实时缩小，后面的神经网络比较舒服的处理，这是他一个重要功能。

第二个做动态自动的曝光控制，这个图人眼已经很难看出写的什么，但是就机器识别力，会出现在他里面，他很有可能会识别不到，但是通过（英）识别把暗处提高，使得可清晰度有了大幅度提升，所以使得后面的图像处理更加的容易。

第三点我们其他还支持8、10、12bit图像输入，他不需要外部的内存是一个非常小的模块，把这个图片输入给后面的神经网络得到更好的视觉过，这是我们的（英）。仅仅这样可能还不够，我们在2019计划会跟BlinkAI合作，它是来自于哈佛的团队，基于深度学习的算法图象处理。左边这个图片比较小，是三星的处理之后是在光照的情况下，右边也是处理过，所以看到效果非常，整个亮度增加，对比度增加，所以我们也会在2019跟BlinkAI探讨这方面合作，在充沛算力支持情况下进一步提升效果。

再一个DeepNet1.0，是面向语音的，但是在2.0里面我们添加了很多是面向多模态的，既可以处理图像，又可以处理语音。为什么我们会做这个DeepNet2.0，IP就是知识产权，实际在芯片设计里面IP是已经验证过软件的模块，IP决定人工智能的合理性，这是里面最核心的部分。

它有几个特点，首先支持多种的兼容网络，我们在1.0里面主要支持LSTM和CNN这两个主要面向语音识别，在2.0里面我们支持更多，比如RNN，TDN，所以在兼容里做到非常高水平。

第二个可重构计算，我们都知道一些算法是有规定的，可能会有一些高频率的出现，如果这个高频率用硬件实现可以由一个非常高的飞跃。在DeepNet2.0支持可重构计算，他的计算单元可以去拼接应对计算模式，你换一个模式也可以通过快速组合，用一条指令来计算公式。

第三个支持Winograd，芯片做乘法的时候耗时是远远高于加法的，我们想用于多加法就可以实现这是可行的，这是核心思想。我们支持Winograd使乘法降低到原来的一半进一步提升效率。

它还有其他的一些，比如支持多NPU组网，我在设计芯片B的时候需要更高算力，拿两个NPU组网进行多算法组合，这是他非常好的灵活的特性。在2018年最后一周我们把DeepNet2.0正式成功一直到了STPA的板上，大家可以看到这是效果。所以人像识别的算法，基于DeepNet2.0，已经运行在STPA上了。

这里是一些横向的指标对比，也相对比较专业，我尽量用比较浅显的语言解释一下。对于NPO来讲一个核心的指标是算力，还有一个核心指标功耗，如果算力除以功耗就是一个非常有趣的，我们预计在28纳米这样一个工艺条件下，我们是有优势的。

有了那么好的DeepNet2.0，那么好的一个算力提供者，在上面好的应用算法有什么进展？首先是我们超听限的同向降噪技术，什么是超听限，就是超越听力的极限，让机器可以听到人听不到的东西。声音的东西很难向各位去描述，右下角是我们的芯片，装备了四个麦克风，这个音响是用来放噪音的，他播的声音是人的对话，然后我们后面站着这位演示者，他是一个命令发布者，会向这个蓝色的板去发指令，大家如果视频里面听到你有什么分咐，意味着这个成功了，会漏出一个蓝色的。这个蓝色是一个能量仪，目前这个声音是93.2，人的声音听到一般是在60-70，所以在这个场景下他在负3左右，已经超越人力的听力极限了，人已经听不到了。我接下来会播放这个声音，我会揭晓里面最精彩的部分。这个声音准确被我们的芯片捕捉并且做出反映，同相降噪，人和噪音源还有麦克风三点呈一线，机器是很难分别，所以这对于技术提出更高挑战。

接下来我们在图像上的，云知声是一家做语音的公司，或者以语音为公众所知的公司，但是实际我们在2018年已经投入了很多资源做图像的事情，也有很多进展，我们之所以从语音潜入到图像，因为我们有很好的硬件平台，分布式的机器学习，所以我们的数据可以在这个上面很快的处理，迭代。

这个表格里面列了两个比赛，这也是业界两个非常有名的人脸测试仪，可以看到云知声的识别率99.8。除了人连识别我们还有物体识别、表情分析、颜值分析，标签化，我们做这些事情不是为了乐趣，而是为了在物联网场景，在芯片设计过程中需要用的。

这是我们的人脸识别和表情分析以及标签化的案例。可以看到我们准确的抓住了他的性格，表情，还有一点我们可以捕捉他的表情，他有没有微笑。在机器场景下用户有没有微笑是非常重要的，在车载里面用户有没有疲劳驾驶这也是非常重要的。在一个场景会有多个目标，我们需要对每一个目标进行相应的反应。

还有一个有趣的，是我们的唇动状态，在同一个场景谁有说话谁没有说话通过食品捕捉到，它有一个非常有趣的功能是在人机对话里，在嘈杂的环境里，通过单一模态他不知道是在向谁说话，但是有了视觉可以有捕捉到信息，通过对人唇动的追踪，可以获取到唇语相关详细，所以这在多模态的人机交互里是很重要的，很荣幸我们也做到了。

前面讲我们做到一些事情，我们不仅脚踏实地做产品、技术和算法，同时我们也奥适度仰望星空，我们正式成为新型可持续智能计算中心的创始会员，在整个2019我们会跟杜克大学共同去研究AI芯片压缩量化技术，以及非冯新型AI芯片计算架构，我们是为了证明云知声在智能方面是认真的，我们还要做研究，我们要始终把我们的水平保持在业界一流，希望我们在未来芯片领域能够有所开拓。

我们在2018年形成一个非常重要的合作，我们跟亿咖通科技合作面向智能出行共同打造车规级AI智能芯片。整个2018年的成绩已经给大家汇报完了。

后面跟大家宣布一下2019年我们准备做的几个重要的事情。第一个我们会开发一款新的产品雨燕-Lite，它会更加的轻，仍然是面向语音的场景，但是它会非常的轻薄，所以我们计划2019会去投产这款芯片。第二个面向智慧城市，我们这块一直没有涉及过，今天宣布通过芯片切入到智慧城市建设之中，我们会在2019投产一款多模态的芯片，这个芯片会继承我们的DeepNet2.0和（英），所以它不仅仅支持雨燕功能，他还会支持摄像头、ISP、OD、人脸识别这是我们在2019年非常大的投入。第三个雪豹，我们会跟亿咖通科技合作推行车载人工智能芯片，他的功能和前面的芯片有一个不一样，会针对车载场景，可能会断网没有网络连接，可能会有一些奇奇怪怪情况，会更加着重本地算力，我们会提供本地的语音搜索，在没有网络状况下通过语音导航选址，所以做本地的语言路径，可以做一些相应的图像处理等等，这款产品会在2019年投产。

在2015年的这个时间点，我们真心没有想过2018年我们会推出云知声自己的芯片，我们不光做出来了而且还卖出去了，性能还在业界领先水平，在2018年这个时间点我没有想到，我们除了雨燕之外，我们在人工智能芯片上会走的更远，会扎的更深，我们会出现多模态等等方面，包括核心的NPO、IT方面有这么多收获，我们相信我们明年这个时间点在各位的鼎力支持下我们做的一定会比我们说的更好更快更强，谢谢大家！ 

主持人：感谢李博士的精彩发言，给我们带来非常多的干货满满。接下来，我们要有请的是360集团副总裁、360智慧城市事业部总裁 穆鸿为我们带来演讲，让我们一起来听听360与云知声之间都有哪些精彩碰撞！

穆鸿：各位来宾大家下午好！非常荣幸有这个机会能够过来跟大家一起分享一下360在人工智能以及跟云知声合作当中的一些收获。我今天讲的这个题目叫安全大脑用心守护大安全，因为360应该是现在国际最大的网络安全公司，我们其实在整个发展过程当中，人工智能对整个360整个集团发展非常关键。我们从2018年提出来未来整个安全的态势非常的严峻，必须使用新方法来解决安全问题，这就是我们去年提出的安全大脑。

过去大家比较熟悉的就是360免费杀毒，我们在2010年的时候提出了一些基于AI的杀毒功能引擎，我们现在已经成为最大的搜索引擎工作，我们2013年也推动了一些智能硬件，我们智能硬件在市场上都处于第三的位置，我们家用摄像头也处在前三的位置，我们360还有智能机器人，智能门铃，等一系列的智能硬件。2015年360开始进入，因为我们有大量互联网能量，我们进入了直播、金融相关领域，刚刚我们金融也在美国上市。

从2017年开始我来领导公司往AI这方面做转型，整个360的业务线都会适用AI来做业务线，更重要的我们去年推出的安全大脑，通过大量的安全数据的分析来解决这个安全问题。360从2018年回顾到A股，我们的业务逐步往安全做转型，具体的公司业务我们有三个大的，第一个国家的安全级涉及到国家大的安全网络，后面的两个跟今天主题有很大关系，第一个城市安全大脑，主要是利用各种传感器捕捉的集中数据解决城市的安全问题，从我们过去的网络安全到现在物理安全问题，包括行车安全、社区安全，这也是我领导现在业务方向。

另外一个，加了一个安全大脑业务，我们认为未来守护整个家庭的安全仅仅靠一些硬件是不行的，必须有大量的AI参与，我们的核心能力就是家庭安全大脑，通过各种传感器的收集，通过边缘的AI计算能力能够处理家庭的一些威胁。前面几个大脑的核心是构建一个人机协同的人工智能。

第一方面通过数据算力发挥机器价值，未来希望价值做的事情机器去做，但是人有不同于机器很多点，包括人的知识、经验创造力，这些是机器没有办法取代的，所以通过人机协同最近解决我们所面临的一些问题。这里主要指是安全按照。

在实行过程中最重要的是选择芯片，当然云知声也是我们一个重要合作伙伴，我基本上把市场上几十家公司的芯片都做了很多测试对比研究，其实在我们这个芯片选择过程当中，大概从我们这个角度而言，我们基本首先考虑我们的场景，这个人工智能一定要跟场景结合起来，单纯考虑芯片是没有意义的。在场景情况下，我需要一个简单的算力，在算力情况下考虑能耗，因为不同的地方对能耗的需求是不一样的。

对我而言，对一个商业公司而言价值也是非常关键的因素，当我把前面相应的考虑完了之后，就会考虑价值，每一个公司都会考虑价值。大家其实很容易忘到一点，工具链，我们讲一个产品用到工具连非常重要，整个产品的架构，以及整个成熟度对我们选择非常关键。我们原来做的一些模型一些积累能不能在新的芯片上使用，这在我选择新的过程当中是非常重要的。现在市场上有几种，一种是云端训练的，典型的GPO或者谷歌突出的TPO，还有云端推出的一些，现在百花齐放更多是在设备端的推理上，这里面也列出了国内外一些公司，当然云知声的雨燕也在上面可以看到，这是我选芯的一个基础。

其实从我的角度更多我要考虑的场景，第一个是我这个算法的性能，这个大家可以看到不同的架构的处理。第二个考虑整个人工智能的成本，这个当然可以看到专用的芯片几个方面，成本比较低，在我们很多智能家居，因为产品是比较固定的。我们360重点要实现几个大脑，第一个是家庭安全大脑，它新的需求响应速度，如果你所有都推到云端去做，在网络差的情况下，怎么提供更好的体验的时候，在本地响应会很快。

第二个安全跟隐私的问题，这个在智能家居里也非常重要，我们为什么做边缘计算，我们为什么重点强调芯片问题，就考虑安全跟隐私占非常重要一个方面。第三面可靠性问题，网络连接一旦发生问题，如果所有处理在云端的话，可靠性是得不到保证的。第四个整个成本开销，早期如果芯片价值比较贵，我把所有都放在云端上，这对云端的压力比较大，这实际是一个平衡问题。整个智能边缘要做一个协同，再一个特别是我们安全的时候对算法的结果要求非常高，比如安全检测漏报率，我们不可以出现漏报率，当然这个出现也比较低，再一个其实我们也意识到对于一个家庭安全而言，不仅仅要能看能听能说，还有其他的接入你的数据，这就验证了我们场景对多模态的需求，我们要使得场景率大幅度提升。

第三个成本问题，这是讲2C这块。我们讲家庭安全大脑，当然这个大脑可能是一个虚的概念，它将来硬件可能在智能音响里或者其他设备里面呈现。再一个我们面临2B或者2C的城市安全上，这里提到整个智慧城市建设正在经历一个转型期，什么叫新型的智慧城市建设，这里要强调怎么样改变业务发展或者城市管理的的动力，从被动发展转变为主动发展。

第二个从一些新的技术手段，使得原来被动管理变成主动管理。第三个我们希望通过人工智能引入，提高办事效率，当然在整个方案里，2B跟2C成本没有那么大，但是在几个方案里还是非常重要的要素。比如说我们的摄像头数据，我们可能一个设备要处理几百个摄像头的数据，第三依然多模态的学习，更多的大数据需要进行多模态的处理，第四个成长开销，这是我们大概360对未来的一个简单的需求，以及一些方案的着眼点。

我们在选择芯片合作伙伴的时候我们有一些选择，第一个场景理解，我们认为一个技术合作伙伴如果不理解场景，很难提供一个好的解决方案。在我们选择过程当中遇到多家公司，他们基本没有办法对场景进行理解。第二个我觉得他要提供一个技术掌控力，跟先进的技术掌控力是非常明显的。第三个很多AI公司为了掌控形成所谓的解决方案绑定的关系，他把方案做的非常死，你没有办法定义方案的算法，这个时候我们强调方案的灵活性也是非常关键。第四个方案的杀伤力，这里面玻璃特别看到一个公司的内部，因为特别是人工智能芯片他更多还有一些运营，所以这个关系到硬件、软件和运营，对大量的大数据的收集处理，这个其实是非常重要的。所以数据运营能力也是我们非常看中的点。

我在360负责整个公司的技术体系，我们是实际测试的一些结果，这个基本涵盖了业界最定级提供语音的解决方案，这是我们真实测试出来的结果，为了方便，我把这些对应的公司都隐掉了，只有云知声，云知声基本在所有的指标里面都是第一个，这是我们实际测试出来的结果。因为我原来对云知声不是很熟悉，但是真正测试下来觉得云知声的内容非常强，我觉得他们的优点主要是几个方面。

第一个对语音语义的场景理解，可以感觉在这个行业是深耕的，第二个实测表现能力非常强，你测试好我就用你。第三个跟我们360深度合作的融合性相继，因为这个云知声提供了各种各样的解决方案，你定制了自己的一些模块算法包括布局的形态都做的非常好，这个灵活性也足够。第四个通过今天发布会，我也看到云知声一直以来技术的前瞻性和战略设计方面有特点，这四点都是符合我对前面的芯片定位。有一块就是价格这块，其他的我都是非常满意的。

我们也在做语音芯片的一些集成的测试，作为合作伙伴来，我其是第一个恭喜云知声，云知声特别的努力，确实做出了很好的成绩。第二我也向各位来推荐云知声，今天简单就说这么多，谢谢大家！

主持人：感谢穆总的分享。接下来让我们有请云知声战略伙伴，来自京东IoT创新硬件的王雅卓总经理，有请王总！

王雅卓：首先非常高兴也非常荣幸，能够见证2019云知声多模态AI芯片战略发布会，接下来我们介绍一下IOT在科技创造美好这个场景下现在正在做的和未来将要做的事。刚才也提到过去三十年经过了几个时代，互联网时代，移动互联网时代以及现在的IOT时代。

移动互联网时代我们当时智能手机，功能手机的多个呈现，当时我们提比如一款手机有可能是智能机，可能是功能机，现在大家的手机都变成了智能机。IOT时代，现在是智能设备和非智能设备，我相信将来所有的设备都是智能设备。物联网现在发展非常迅速，各行各业这个投入也非常大，目前有三个环境，大量数据没有连接形成了数据孤岛，这是连接层面没有做高。第二海量数据只是数字，并没有基于数字创造价值，公司对于数据的处理能力欠缺。第三数据不智能，这也是我们需要加强的。

AI和物联网的相互结合可以促进多个产业往前发展，比如智能家具、配送机器人这些行业都在无时无刻深入发展，对我们的产业进行推动。大家更多以为京东是一个零售公司，但实际上京东更是数字经济与实体深度融合的企业，过去京东人脸识别、无人车方面都取得非常大成就，同时京东的技术从原来的支撑业务现在变成了主导业务。

物联网，物指的是实体经济，网指的是互联网经济，在PC、手机、AR、VR我们现在实现了边听边买，边读边买，我们现在实现了移动收获、人脸识别支付，远程投敌，在这些实现了线上线下融合。在过去京东很多技术上实现了多个第一，2015年第一台多功能音响，2016年第一架乡村送货无人机，2017年第一个全流程的无人仓，2018年首个机器人配送站在长沙试点进行，解决了最后一公里的难题。

我们随着平台不断扩大，技能不断提升，我们在2018年12月份全面升级了平台，就是现在的小京鱼平台，覆盖了物联网平台、大数据平台、智能服务平台。看一下小京鱼平台的语言技术、云计算技术、图像识别技术以及（英）协议，（英）协议我们已经为千万级用户提供了服务，已经工作了四年。应用服务层我们和头部的儿童的内容，包括电台还有有声读物都形成了非常好合作，目的就是为了给用户更好的体验。平台生态层，我们和解决方案商、技术厂商都形成了非常好的合作，能够把硬件产品快速落地。

京东追求全品类、更多品牌，我们目前京东的品类有200多个，品牌超过500个，产品超过2000个，服务家庭超过1000万，京东同时拥有AIT最大价值的数据链，比如京东高净值用户达到3亿多，这部分我们可以拿到精准用户画像，同时对用户需求一个精准把控，对产品进行定义。同时设备控制次数达到5.7亿次，这些数据可以优化传统功能，我们在线时长超过1千亿个小时，这些运行的数据提供了服务和质量。

看一下小京鱼的硬实体，包括语音识别达到90%，自然语言理解能力达到96%，语音合成达到90%以上，图象识别达到97%，ARVR模型还原度达到99%。同时我们还有全国最多的技能，满足用户的衣食住行各种需求，同时我们在12月份发布了三款产品，包括两款耳机还有自己的音响。我们做小京鱼这个产品主要是目标是打造有品质、有能量、有温度的产品。有品质是指在京东上购物的用户一样，希望高品质的生活。有能量说明我们的性能非常强大，能够给用户带来更多需求。有温度产品非常智能，能够让设备更加懂你。

小京鱼智能也是一个全面开放的平台，助力行业重塑提升，为了IOT行业整体的提升尽自己的努力。我们有最广泛技术的布局，包括互联互通，边缘计算，语音视觉交互。还有软硬件一体化平台，包括物联网平台，大数据平台，智能服务平台，还有C端的音响、冰箱、耳机等等，这些产品同时也会给行业的其他用户赋能，包括用户更快的完成自己的产品。同时我们京东在渠道方面，通过线上线下的支持也会把产品打造的更好。因为产品一方面要做的好，还得需要卖的出去才能触达到用户。

京东IOT和云知声是多年的合作伙伴，基于云知声在AI芯片以及系统解决方案的能力和优势，我们将和云知声一道共同构建面向零售、家居、车载等多个场景的AI技术生态。我们的愿景是用科技创造美好生活，我们希望让自己成为让用户受益的自由创新者，让行业兴奋的技术合作伙伴，同时助力中国从制造向智造转变，谢谢大家！  

返回第一电动网首页 >