当前位置:首页 > 社会 > AI寒冬将至?华为为何此时发力“深度学习”

AI寒冬将至?华为为何此时发力“深度学习”

2019-10-22 18:18:17

自2018年底发布全栈全场景人工智能策略以来,华为凭借其巨大的计算能力优势,进军人工智能江湖。特别是今年8月23日发布了910款具有超级计算能力的人工智能处理器,将其江湖地位迅速提升到全球头阵。各大巨头也很快意识到,华为不仅拥有5g和手机,而且其在基础研究方面的巨额投资正在帮助其在未来占据制高点。

由于人工智能生态的形成一直处于“不冷不热”的状态,该行业也变得有些担心人工智能的未来发展方向,特别是难以解决计算能力不足的问题,这给它蒙上了阴影。

在“人工智能冬天即将来临”的疑问中,即将到来的华为丝毫没有放缓步伐。一年之内,人工智能处理器和计算框架相继问世。洞察力从何而来?自信从何而来?这张卡是从哪里来的?

“让计算能力更加通用,算法更加简单,”华为将在即将召开的2019年全连接会议上发布最新的人工智能和云产品及解决方案。答案很快就会浮出水面。

1956年,当时达特茅斯学院的助理教授约翰麦卡锡组织了达特茅斯讨论会。正是在这次会议上,“人工智能”的定义首次正式提出。自那以后的60年里,人工智能经历了两个发展低谷,即所谓的“冬天”,但其发展速度并没有停止。

2018年,在一次行业会议上,创新工厂首席执行官李开复(Lee Kai-fu)在讲话中表示,机器学习领域最大的突破是在9年前取得的,此后一直没有重大突破。

可以看出,最近越来越多的人持有类似的观点。多年来,深度学习一直处于人工智能革命的前沿。许多人认为深度学习将引领我们进入一个新时代。然而,从几年前的全面降温到今天的逐渐降温,海浪已经一次又一次退去。面对微弱的风,人工智能将走向何方,人工智能的冬天是否即将来临,深入学习能否帮助人工智能技术继续其辉煌?

谈到深度学习和人工智能的关系,简单来说就是:通过深度学习处理海量数据,形成一个模型,然后将这个模型应用到特定的商业环境中,这就是人工智能。可以说,深入学习是人工智能的重要驱动力。

当然,深度学习只是人工智能的一种实现,它属于机器学习的一个子集。深度学习不是一种独立的学习方法,但它也使用有监督和无监督的学习方法来训练深度神经网络。然而,由于近年来这一领域的快速发展,一些特殊的学习方法相继被提出(如剩余网络),因此越来越多的人把它仅仅看作是一种学习方法。

初始深度学习是利用深度神经网络求解特征表达式的学习过程。为了提高深层神经网络的训练效果,人们对神经元的连接方式和激活功能进行了相应的调整。事实上,早期有很多想法,但由于训练数据不足和计算能力落后,最终的结果并不令人满意。

随着海量标注数据的出现和算法的不断改进,深度学习已经完成了销毁等各种任务,使得无人驾驶等所有机器辅助功能成为可能。

深入学习是万能的,它主要得益于数据、算法和计算能力的共同提高。现在可用的数据,特别是那些手工标记的数据,相对丰富,使人类能够从这些数据中学习更多。技术发展使得训练超大规模模型成为可能,例如钱商的深层神经网络,这在以前是不可想象的。

然而,超大规模模型的复杂性呈指数级增长。以自然语言处理领域的热门网络bert为例,它最多包含3.4亿个参数。与alexnet等最初相对简单的网络相比,计算能力需求增加了约10,000倍。这也是像openai这样的组织说ai的计算能力每年增长10倍的重要原因之一。

由于上述原因,加上一些企业通常供不应求,研究机构和大学研究室的计算资源一直处于紧张状态。人们经常排队提交培训任务,并等待几天的结果。这也引出了深度学习领域的经典灵魂探询:什么样的深度学习研究方向不需要高计算能力?如何减少算法所需的计算力?

华为人工智能“打破常规”

面对激增的海量数据和日益复杂的算法,世界每年增加20zb的数据,人工智能计算能力需求每年增加10倍,远远快于摩尔定律(Moore Law)的双倍性能周期。如何解决这个问题业界有不同的探索:

通过剪枝、权重共享、算法优化等方式减小模型的大小,降低对计算能力的需求,尤其是对移动设备的需求;

从小样本中有效学习可以减少对数据大小和计算能力的依赖,这也可以减少标记工作量。

专为深度学习而设计的加速硬件可以解决cpu和gpu在芯片面积和效率上的成本问题。

其中,最基本的解决方案是通过硬件和系统的设计来提高计算能力的供应。例如,华为发布的正在崛起的ai处理器系列采用达芬奇架构的ai内核来优化深度学习的设计,包括矩阵计算单元(立方体单元)、向量计算单元(矢量单元)和标量计算单元(标量单元),它们结合了gpu、tpu和cpu的优势。特别是对于深度学习中常用的矩阵乘法和加法运算,效率提高了几十倍。其面向培训领域的910 ai处理器可以在单个芯片上提供256触发器的超级计算能力,是行业水平的两倍。

然而,光有芯片是不够的。还需要通过高速低延迟网络组合芯片,以释放ai处理器的强大性能,并与系统级优化设计(如数据并行性和模型并行性)合作,以提供超出当前水平的计算能力峰值。

据了解,这一领域的新人工智能产品将在2019年华为全连接大会上推出。华为似乎仍有一个解决计算能力稀缺问题的大计划。



上一篇:LOL十周年:我的白银大神和他的游戏梦
下一篇:升级X299主板的BIOS可能会让你失去对于部分KBL-X处
© Copyright 2018-2019 tfarej-dz.com 船寮门户网站 Inc. All Rights Reserved.