治白癫疯办法 http://baidianfeng.39.net/a_bdfys/201203/8458713.html编辑导语:作为AI基础技术的深度学习框架,在许多人的认知里还是一个陌生的词汇,不知其扮演的角色及重要性。在这篇文章里,作者梳理了深度学习框架的周期演变——学术时代、商业时代、应用时代和产业时代,分析在这个周期中,深度学习框架是怎么发展的,感兴趣的小伙伴们一起来看一下吧。
“科技无国界”的幻想,因为东欧的战火被彻底击碎。
苹果、谷歌、Facebook、SAP、微软等科技巨头,早已有了实际的行动。单单是ApplePay和GooglePay的停用,就已经影响了数千万人的生活秩序,而GitHub、Node、React等开源平台针对俄罗斯开发者的严格限制,则给不少企业的产品开发、商业运作蒙上了一层不确定的阴影。
在这样的语境下,开源软件的自主可控再度成为舆论场上的焦点,特别是作为AI基础技术的深度学习框架,更是聚焦了无数开发者的关切。深度学习框架属于AI的底层技术创新,一旦这些技术被套上枷锁,千行百业的智能化转型将被制约,甚至会影响国内第四次工业革命的进程。
可能在不少人的认知里,深度学习框架还是一个陌生的词汇,对其所扮演的角色以及重要性仍处于懵懂状态。我们不妨从盘点和回顾的视角,梳理下深度学习框架的周期演变,在从学术圈走向工业界再到产业化的历程中,找寻属于中国企业的机会和挑战到底在哪里。
01学术时代:学者们的“刀耕火种”
想要讲清楚深度学习框架的起源,难免要花上一定的篇幅,简单概述下人工智能技术的进化历程。
早在年,美国心理学家麦卡洛克和数学家皮茨就提出了人工神经网络的概念,比世界上最早的通用计算机的出现还早了3年时间。
其后出现了不少新概念和新模型,但人工智能的进展始终差强人意。直到杰弗里·辛顿在年发表了一篇题为《一种深度置信网络的快速学习算法》的文章,其中的核心理念是利用GPU来加速训练,大幅提高了神经网络的学习速度。
时间来到年,师从杰弗里·辛顿的多伦多大学研究生艾力克斯·克柴夫斯基,在当年的ImageNet挑战赛中使用一种新的深度神经网络架构进行训练,在ImageNet数据集上达到了SOTA精度,远超一些学术界的顶级团队。这种深度神经网络架构,就是后来大名鼎鼎的AlexNet,并在全球范围内掀起了深度学习的热潮。
在机器学习大行其道的时候,几乎没有一种算法在大量的问题上取得压倒性的优势,大多数业务问题可以通过大数据和算法结合的经典方式解决。
可到了深度学习的时代,数据、算法和算力都在爆炸式增长,为了提高工作的效率,一些研究者开始编写深度学习模型的几个必要过程,把前人的研究成果不断沉淀其中,后来人可以直接调用某些成果,大幅降低了编写深度学习模型的门槛。
“深度学习框架”的概念由此诞生,迅速涌现出了Theano、Caffe、Torch等多款深度学习框架,至今仍是人工智能圈子里的热门话题。
科技文明的每一次跃进,都离不开个体的灵光乍现,人工智能又恰恰是一个标准的众创型技术。所以早期深度学习框架的缔造者,往往被赋予一种特殊的光环,并随着时间的推移不断放大其中的价值。
可回头来看,这些盛名在外的早期框架也有着时代的局限性,所能解决的往往是一类问题,而且有着鲜明的学术色彩。
比如艾力克斯·克柴夫斯基就写过一套名叫Cuda-Convnet的深度学习框架,可以在GPU上快速跑神经网络,却不怎么重视工程设计,也谈不上模块化和抽象化能力,单纯是为了搞科研、出论文。
深度学习开源工具的鼻祖Theano,严格地说是一个擅长处理多维数组的Python库,用于高效解决多维数组的计算问题。相较于当前深度学习框架的功能,Theano更像是一个数学表达式的编译器。
值得一提的是,在深度学习框架“刀耕火种”的日子里,中国的学者们并没有缺席。百度年成立了深度学习研究院,Caffe等框架的主导者中都有华人的身影。暗合科技创新的潜在趋势,中国不再是创新进程中的跟随者,这一次我们也站在了最前沿的领域。
02商业时代:科技巨头“闯入江湖”
年是深度学习框架的转折点,这年前后发生了两件深刻影响到人工智能历史进程的重要事件:
一件发生在学术领域。微软亚洲研究院的学者提出了著名的ResNet架构,影响力丝毫不输当年的AlexNet,不仅在ImageNet的准确率上再创新高,也让学术界外的工业界形成了一个共识,即深度学习将成为下一个重大技术趋势。
另一件发生在围棋圈。谷歌旗下DeepMind团队开发的AlphaGo,和韩国著名棋手李世石进行了一场围棋人机大战,最终以4比1的总比分获胜。由此出圈的不只有AlphaGo和谷歌,深度学习的概念也被越来越多的“行外人”知晓。
后知后觉的话,这两起事件都有其吊诡之处。ResNet在年的原始残差网络的结果一度被质疑无法复现,而AlphaGo的围棋挑战赛本身就有作秀的嫌疑。草蛇灰线,伏脉千里,不寻常的背后是科技巨头们的精妙布局。
年3月,谷歌以万美元的价格收购了杰弗里·辛顿创建的DNNResearch,这场交易的重心并不是什么新业务,而是辛顿本人和他的两位学生。据说百度也参与了这场“拍卖”,并坚持到了辛顿做出选择的最后一刻。
谷歌疯狂“敛才”的原因,在年11月被揭晓:谷歌大脑团队开发的深度学习框架TensorFlow正式开源,杰弗里·辛顿为此做了很多贡献。谷歌的另一位研究员弗朗索瓦·乔莱特,几乎独自完成了Keras框架的开发,为谷歌再添一条护城河。
遗憾错失杰弗里·辛顿的百度也没闲着,年开始大规模采购和建立GPU运算集群,是国内最早投入研究深度学习平台的企业,培养和吸纳大批AI顶尖人才,内部打磨重构多年的PaddlePaddle,也在年正式开源,后来取了一个中文名字叫“飞桨”。
同样对深度学习框架野心勃勃的Meta(原Facebook),走了一条循序渐进的路。先是控制了著名的深度学习库Torch,然后用从Python替换了Lua语言,对Tensor上的全部模块进行重构,并在年初以PyTorch的身份正式开源。同时还搞了Caffe2项目,像谷歌一样开启了双平台战略。
这个阶段可以说是深度学习框架的第一次“百家争鸣”,Amazon主导的MXNet、微软背书的CNTK陆续出现在开源名单上。
深度学习框架不再是学者们的自留地,科技巨头们接过了主导市场的权柄。
相对应的是新旧交替的一幕。
AlphaGo最初是基于Torch开发的,但在TensorFlow开源后立即进行了迁移;Theano的开发团队在年9月宣布停止维护和更新,从此退出了历史舞台;微软的CNTK经历了一定时间的奋力追赶后,最终在年宣布停止维护;Keras后来被TensorFlow收编,Caffe2被PyTorch接纳……
还有很多不知名的深度学习框架,还没来得及被外界所熟知,就被埋在了人工智能高速增长所掀起的尘土中。相比于豪掷千金买技术、团队、人才的巨头,很多初创企业常常被各种因素束手束脚,结局在一开始就注定了。
03应用时代:“剩者为王”的竞速赛
正如人类历史屡屡被验证的趋势,深度学习框架经历过短暂的激烈角逐后,也呈现出了“寡头化”的局面。
背靠谷歌这座开源大山,TensorFlow在开源伊始就表现出了主场优势,大批学者自觉转移了阵地。按照谷歌天才科学家杰夫·迪恩在一次演讲中的说法:年TensorFlow的论文引用次数呈现出指数级暴涨。
不过,谷歌无意在学术圈画地为牢,早早将目光瞄向了工业界,得到了英特尔、英伟达等硬件平台的配合,向全球开发者免费供给AI库与工具,并在年推出了专门为TensorFlow框架打造的计算神经网络专用芯片TPU,引发了云端造芯的浪潮,并以每年一代的速度持续迭代。
应该说,谷歌的商业嗅觉非常灵敏,ResNet和AlphaGo一下子就点燃了工业界的激情,人工智能以熊熊大火之势席卷工业界。TensorFlow自然而然地向工业需求进行倾斜,逐步推出了TensorFlow、Serving、TensorFlowLite等产品,让客户可以在云、服务器、移动设备和IoT设备上进行部署。
此举却被学术界诟病连连,学者们追求的不是部署的便捷性,而是易用性。这也为身为后来者的PyTorch提供了可乘之机,凭借“易用性”的聚力一招,PyTorch在研究领域迅速站稳脚跟,大多数出版论文和开源模型都在使用PyTorch,目前论文中的占比已经达到80%,有了和TensorFlow分庭抗礼的资格。
国外不少研究者心中,深度学习框架已经是TensorFlow和PyTorch共天下的局面,代表了深度学习框架研发和生产中90%以上的用例。可将中国市场纳入讨论范畴的话,则出现了一些不同的声音。
知名市场调研机构IDC曾在年下半年公布了一份中国深度学习框架平台市场份额的报告,TensorFlow、飞桨和PyTorch排名前三,合计占据了70%以上的份额。等到年上半年,IDC再次更新了市场报告,彼时百度飞桨已经超越TensorFlow位居中国市场综合份额第一。
我们曾就这份报告询问过不少开发者,对方给出的回答大多是“没想到”,再进一步的沟通后,听到最多的声音是:“原来EasyDL也是飞桨的产品。”其中被频频强调的EasyDL,是百度基于飞桨深度学习框架构建的零门槛AI开发平台,开发者上传数据并标注后,即可训练相应的模型部署应用。
考虑到中国在人才方面的巨大缺口,飞桨的市场渗透方式有着鲜明的实用主义,先让客户把AI模型用起来,哪怕他们并不知道后面还有一个深度学习框架。
因为中国的大部分中小企业并不具备专业的AI算法开发能力,开发定制AI模型绝不是一件容易的事。可从结果导向的话,飞桨或许摸索出了不同于谷歌、Facebook的第三条路。
巨头们“闯入江湖”的连锁反应已然发生,市场份额越来越向少数几个平台集中,无论是美国还是中国,同时在便捷性、易用性、稳定性的多重指标下,算法、算力、编译器等一个都不能少,深度学习框架的门槛正变得高不可攀。
04产业时代:中国市场“暗”流涌动
中国市场对深度学习框架的