人工智能方向 - 贾扬清 - 阅读摘要

人工智能方向 - 贾扬清 - 阅读摘要

http://daggerfs.com/

Tsinghua University:清华大学,清华
University of California, Berkeley,UC Berkeley, Berkeley, Cal or California:加利福尼亚大学伯克利分校,加州大学伯克利分校,伯克利

2009 年 ImageNet 大量标注数据是基础。
2012 年 AlexNet 在图像识别领域的成功是一个里程碑。
2010 年 IDSIA 开始使用 GPGPU 进行物体识别。

The Swiss AI Lab IDSIA (Istituto Dalle Molle di Studi sull'Intelligenza Artificiale)
Swiss [swɪs]:adj. 瑞士的,瑞士人的,瑞士风格的 n. 瑞士人,瑞士腔调

1. 成功与局限

神经网络背后的理论背景和工程背景。

成功的原因:一点是大数据,一点是高性能计算。
局限的原因:一点是结构化的理解,一点是小数据上有效学习算法。

大量的数据,使机器学习算法得以打破数据的限制。GPGPU 等高性能运算,使得训练复杂网络变得可能。高性能计算并不仅限于 GPU,在 CPU 上的大量向量化计算,分布式计算中的 MPI 抽象。

One exaflop is a thousand petaflops or a quintillion, $10^18$, floating point operations per second.
general-purpose computing on graphics processing units,GPGPU or GPGP:通用计算图形处理单元
Open Computing Language,OpenCL
Message Passing Interface,MPI

深度学习算法在感知层面上形成了突破,可以从语音、图像等非结构化的数据中进行识别的工作。在面对更加结构化的问题的时候,简单地套用深度学习算法可能并不能达到很好的效果。阿尔法围棋 (AlphaGo) 和星际争霸 (StarCraft) 算法成功,一方面深度学习解决了感知的问题,另一方面很多传统的非深度学习算法 (Q-learning) 和其他增强学习的算法,一起支撑起了整个系统。

Q-learning is a model-free reinforcement learning algorithm.

在数据量非常小的时候,深度学习的复杂网络往往无法取得很好的效果,这可能是一个很有意义的科研方向。

AI 框架的同质化说明它不再是一个需要花大精力解决的问题,TensorFlow 这样的框架在工业界的广泛应用,作为 AI 工程师,我们应该跳出框架的桎梏 (zhì gù),往更广泛的领域寻找价值。

2. 挑战

产品和科研的新挑战。

计算机视觉现在基本停留在安防层面上,如何深入到医疗、传统工业等领域,需要技术、产品的思考。

“沉默的大多数” 的应用就是推荐系统:它常常占据了超过 80% 甚至 90% 的机器学习算力,如何将深度学习和传统推荐系统进一步整合,如何寻找新的模型,如何对搜索和推荐的效果建模,这些可能没有像语音和图像那么为人所知,却是公司不可缺少的技能。

Jitendra Malik:我们以前是手工调算法,现在是手工调网络架构,如果囿 (yòu) 于这种模式,那人工智能无法进步。走出手工调参的老路,用智能提升智能,是个非常有意思的问题。最开始的 AutoML 系统依然停留在用大量算力暴力搜索模型结构的层面上,但是现在各种更高效的 AutoML 技术开始产生。

automated machine learning,AutoML

3. 机会

传统的 AI 框架都是手写高性能代码,但是模型如此多变,新的硬件平台层出不穷,我们应该如何进一步提升软件效率?我们已经看到有通过编译器技术和传统的人工智能搜索方法来反过来优化 AI 框架 (Google 的 XLA 和华盛顿大学的 TVM,已经展现出它们的潜力)。

在大规模应用中,我们的数据量非常大,模型非常复杂,集群还会出现各种调度的挑战 (计算资源是否可以弹性调度?),这些对于我们的机器学习平台,以及云上向客户提供的服务,都提出了非常多的挑战。

在深度学习的计算模式开始逐渐固化的时候,新硬件和特殊硬件的优势就开始体现出来了。如何实现软硬件的协同设计,防止 “硬件出来了,不知道怎么写程序” 或者 “模型变了,硬件一出来就过时了” 的问题,会是将来几年中很大的方向。

快速的迭代带来大量机遇和挑战是非常令人兴奋的。无论是有经验的研究者还是新的 AI 的工程师,在当今云化,智能化的年代,如果能快速学习并刷新算法和工程的各种挑战,就可以通过算法创新引领并且赋能社会各个领域。人工智能领域开源开放的各种代码,科研文章和平台给大家创造了比以前更容易的入门门槛,机遇都掌握在我们自己手中。

Accelerated Linear Algebra,XLA:加速线性代数
TVM is a compiler stack for deep learning systems.
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读