应用

技术

物联网世界 >> 物联网新闻 >> 物联网热点新闻
企业注册个人注册登录

算力不能被垄断!多所大学研究者呼吁:要填上AI中的计算鸿沟

2020-11-13 11:29 智东西

导读:这种AI创新“贫富分化”的背后,是算力的不平等,是只有大公司和名牌强校才能承担得起的研究成本。

当我们已经对充斥生活方方面面的AI技术习以为常时,有时候却会忽略一个问题,为什么那些应用和软件都来自于那“几个公司”?

据新财富统计的中国前30大APP,7成隶属阿里或腾讯旗下,两家公司分别都已构建起十万亿投资帝国,分割中国应用生态市场,试图负责中国人民的“衣食住行”;而在美国,从IBM到微软、谷歌,垄断传闻频频爆出……而这些公司业务的快速扩张和地位的不断提升都离不开背后的AI力量,不到十年的时间过去,AI却似乎从学术届的“白月光”变成了科技巨擎之间角力的砝码,有着普通企业不能承受的“千钧之重”。

这种AI创新“贫富分化”的背后,是算力的不平等,是只有大公司和名牌强校才能承担得起的研究成本。

近日,弗吉尼亚理工大学和加拿大西安大略大学的研究人员Nur Ahmed和Muntasir Wahed就算力加剧AI研究不平等的问题进行研究,并在arXiv发表了题为《人工智能的非民主化:深度学习与人工智能研究中的计算鸿沟(The De-democratization of AI:DeepLearning and the Compute Divide in Artificial Intelligence Research)》的论文,该论文从顶会论文发表、研究资金投入和科研人才流动等方面解释了AI研究不平等的产生。

论文链接:https://arxiv.org/abs/2010.15581

一、名校大厂强强合作,顶会论文占半壁江山

在论文中,研究团队调研了从2000到2019年,包括ACL、ICML和NeurIPS在内57个顶会中涵盖计算机视觉、数据挖掘、机器学习和自然语言学习等领域的171394篇论文。

▲2000-2019,一个会议年中各学术机构平均采纳论文数

从上图可以看出,QS前五十的学校和AI公司是AI顶会中的主力军。

在一个会议年的903篇论文中,QS前五十的学校平均发表66篇顶会论文,是第二、三档学校(QS51-100、QS101-200)的近乎两倍,而AI相关公司也勇夺第二,平均发表约42篇论文。

▲2000-2019年,各顶会中校企合作论文比例

而近年来,AI领域校企合作的这股“大风”,也可以从论文合作的数目中很明显地看出来。

各领域校企合作论文的比例都有不同程度的上涨,其中KDD(数据挖掘顶级会议)中合作论文在2020年比例超过50%,ICCV(国际计算机视觉大会)达到45%。

无论是数据挖掘,还是计算机视觉,深度学习都是其中很重要的一部分,而这时候,顶级大学和公司的资金优势就不言而喻了,毕竟训练像AlphaGo Zero和GPT-3这样的大型模型需要价值数百万美元的计算资源。

根据2019年年度AI研究排名,斯坦福大学、MIT、卡内基梅隆大学,加州大学伯克利分校和微软列为领先AI研究会议的六大贡献者。

二、学术界人才流失,计算鸿沟问题初现

规模较小的学校通常也缺乏资金支持来发展前沿科技,而这时,科技巨头通过向AI研究投入大量资金和高额薪酬,将学术界人才纳入麾下,加速了学术界人才的流失。

论文中也证实了这种人才流动导致的科技水平变化,自深度学习兴起以来,QS 301-500的大学在顶会中的论文平均减少了六篇,比预期少了25%,而世界500强、科技巨头和顶尖大学论文发表情况却截然不同。

论文作者Nur Ahmed和Muntasir Wahed表示:“就我们所知,这篇论文首次证实了资金、设备等因素对AI领域企业和学校产生的巨大影响。我们认为深度学习的兴起极大地提高了计算能力和数据的重要性,进而通过增加成本而提高了准入门槛。”

在分析AI领域趋势时,Nur Ahmed和Muntasir Wahed将人工智能的发展历史划分为两个阶段。第一个阶段是从1960年代到2012年左右,那时使用通用的硬件来训练AI;在2012年后即是第二个阶段,深度学习和如GPU等专门设计的硬件重新定义了AI。

而二人也认为:自2012年以来,基于GPU的深度学习突然兴起,AI越来越变成少数人的“游戏”,大部分玩家来自于顶级公司或大学。要真正实现AI“民主化”,就需要决策者、学术机构和公司层面共同努力,解决横跨在小型机构和学校面前的计算鸿沟。

三、填补计算鸿沟:AI研究云、加大教育投入

对于缩小计算鸿沟的具体解决方案,Nur Ahmed和Muntasir Wahed认为建立国家统一的AI研究云是很有必要的。今年6月,美国多所大学、科技公司和参议院议员都表示支持建立国家AI研究云,通过共享公共数据集帮助算力不够的机构训练和测试AI模型。

美国国防创新委员会和AI国家安全委员会(NSCAI)等组织已建议五角大楼和国会增强与私人企业合作,加大对AI领域的政府资助,以吸引更多人才。下一届美国总统拜登(目前来看)也曾表示要在5G和AI领域投入3000亿美元,用于研究。

Ahmed和Wahed的发现还得到了其他研究者的支持。

一篇名为《人工智能、人力资本和创新(Artificial Intelligence, Human Capital, and Innovation)》的论文发现,企业中的AI的飞速发展导致了2004年至2018年之间学术界前所未有的人才流失,有200多名教授辞去了教职。

顶尖大学的博士和深度学习初创公司是当前AI人才短缺最大的受益者,卡内基梅隆大学、MIT和斯坦福大学的学生创办AI初创公司的比例最高。

Ahmed和Wahed还追踪调查了200多位从学术界转换到业界的科学家。该研究受计算机研究协会(CRA)委托并于几个月前发布,分析了科学家们的“跳槽”现状以及校企合作的利弊。

调查报告中显示:“科学家的大量‘跳槽’可能对研究课题、研究质量、学院文化以及对本科生和研究生的培养产生负面影响。相关机构需要特别关注部门文化、潜在的利益冲突、知识产权,并且确保学生能够继续获得足够的教师指导,以为他们的职业道路做好准备。”

结语:AI民主化,算力先行

AI资源越来越集中大企业、大名校不仅仅是美国一家的问题,同样也值得我们注意和防范。

如何在AI发展越来越迅猛的当下,不让少数企业垄断市场,不让高校流失人才,为尚未有积淀的创企和未来的科技人才提供研究成本和教育资源,为AI市场留出创新发展的口子,也同样是值得我们思考的问题。

来源:VentureBeat