12年前在温哥华大都会酒店汇聚了15个由计算机科学家、生物学家和实验工程师组成的团队。一个他们很感兴趣的理念把他们聚集在了一起,这在当时被普遍认为是极端主义。
MelSilverman,加拿大高等研究院(CIFAR)2004年出资的一个项目的主管,这个项目引领了人工智能领域的突破,使得语音和图像识别技术成为可能。
MelSilverman走到了一块白板前,拿起了一个记号笔,列出了所有那些向他要钱的叛逆科学家代表的学科。
12年前在温哥华大都会酒店汇聚了15个由计算机科学家、生物学家和实验工程师组成的团队。一个他们很感兴趣的理念把他们聚集在了一起,这在当时被普遍认为是极端主义。
他们相信通过人工神经网络来模拟人类大脑的功能,教会机器像孩子那样学习是可能的。在训练机器学习的过程中,他们认为很有可能发现人类的学习方式。
当时,大多数计算机科学家的共识是这是块难啃的「硬骨头」。让计算机工作的方式就是给它编程,让它执行任务,而不是让它自主学习如何处理任务。假如Silverman那时是一个计算机科学家,他可能完全不会理会这个想法。
但Silverman是一个受过训练的医生——他表示,这是一个倾向于质疑权威的职业。他当时负责推荐哪些非盈利项目能通过,这些项目主要由加拿大高等研究院资助。他注意到人们十分安静、恭敬地听GeoffreyHinton(他是几十年前被CIFAR吸引到加拿大的一位多伦多大学研究员)的演讲。他热爱他们试图解决问题的雄心视野,以及这群人情愿不顾专业限制去解决它的毅力。
神经网络研究先驱YannLeCun和GeoffHinton坐在2003年温哥华工作间的桌子前面,在这里他和他的学院伙伴们说服了CIFAR同意资助他们的项目。
Silverman问他们为什么CIFAR应该同意资助他们。SebastianSeung,美籍计算神经学家,现任普林斯顿大学的教授给出了答案。
「他说,『好,我们是有点儿怪异。』」Silverman回忆道,「『如果CIFAR正在寻找高风险的冒险团队,愿意踏出常规舒适区域,这正是你们要找的。』我说,『很好,这听起来很酷。』」
Silverman说服CIFAR在10年里给这群自我认同的怪家伙大概1千万美元,CIFAR成为当时唯一一个支持人工神经网络研究的机构。
如今,很清楚的是,它们根本不是「硬骨头」。世界上那些最大的科技公司目前耗资上亿元开发这项技术,研究人员使用它训练计算机识别手写文字,理解语音甚至识别YouTube视频中的猫。
神经网络现在被用来帮助医生解释医学图像,并给出更好的治疗建议。他们正在制造让员工教其干活的的机器。人工智能几乎惠及所有试图尽最大可能利用大数据的产业。作为一个研究项目,CIFAR这个主要由纳税人资助的2004年项目显然是个赢家。但是,其对加拿大经济的的长期贡献还是未知数。
一些核心研究员和他们的学生已经成立了一些有趣的加拿大初创公司,然而,科技界的趋势往往是,活动中心移到了美国加利福利亚。
Hinton现在的时间分在多伦多大学和谷歌,而他先前的博士后学生YannLeCun现在是脸书的AI负责人。
加拿大是不是错失了成为这个高新科技产业中心的良机?
「我不那么认为。我认为,这是加拿大一个成功的典型,」Silverman说到。「当你还在计划时,生活已经在进行了。个人应当追求自己的梦想,找到能产生最大影响的地方。」
Hinton研究对大千世界的影响才刚开始凸显。CIFAR在80年代把这个生于英国的研究者引到了加拿大。他是项目组里30名人工智能研究者里最年轻的之一,而且也是唯一一个研究神经网络的。
「有时候有点烦,因为我深信我的方法是正确的,其他人却觉得这很糟,」Hinton谈到。「他们认为这有点儿不光彩,明显毫无希望。」
Hinton仍然百折不挠地聚集志趣相投的人。他请来了LeCun,一个拥有电子工程背景的法国籍学生,和他一起在多伦多大学做博士后研究。他也和YoshuaBengio(计算机科学家,现任蒙特利尔大学教授)合作。但是,Hinton表示他从未放弃信念只是因为一个简单的缘由:「因为大脑总是不知不觉地去做。」
小孩看过很多猫和狗之后,处理传入的视觉信息,并自己学会区分特征,知道猫和狗之间的不同——而不是他们的父母把USB线插到他们的头上,把描述不同物种的代码塞到他们的脑子里。
类似的,人工神经网络的灵感来自于大脑神经元互相传递信息的方式。模仿儿童的学习方式,通过输入成千上万的猫以及其他物体的图片,比如狗,科学家能教会人工神经网络识别一只猫。利用一些反馈,计算机开始学会学习区分猫和狗的特征,直到它看到一张从未看到过的图片后就能判断出类别——猫或狗。(令人惊讶的是,搭建神经网络的人并不清楚这过程到底是如何工作的。「重整化系统:理解猫和宇宙的通用逻辑」)
直到本世纪初中叶,这个领域的进展一直很缓慢,因为研究者们低估了处理大量数据所需要的大量计算能力。
那段时间,LeCun说他的同事对于在默默无闻中劳动已经有点疲倦了。
「你不希望被别人看作是疯子,也不想被边缘化。况且,你的学生也需要找工作,你也希望他们发表的论文有一天会见到光明」,他说。「但我希望在这个领域继续工作,重新点燃它,并且参与其中」。
结果,来自CIFAR的资金正是他们想要的。它提供了一些手段来帮助Hinton曾经帮助过的各研究人员小组从世界各地聚集在此,共同合作。
突破很快来临了。一篇发表在2006年《科学》期刊上的论文描述了一个训练多层神经网络的方法,该方法与大脑如何处理来自视网膜的信号及如何将信号传播到另外一个神经元进行分析的方法相似。这使得机器能够学习更抽象的概念,并最终引起整个学术界的兴趣。
工业界在2012年也开始注意到这个变化。Hinton的团队证明了在认知事物上,神经网络比起其他方法做得更好。
谷歌很快抢到了Hinton,收购了由他及两名学生创办的DNNResearch。六月,Twitter也收购了另外一家由Hinton的学生创办的创业公司,名为Whetlab。
2010年,Hinton曾与ResearchinMotion(现名为黑莓,BlackBerryLtd.)接触过,看该公司有没有兴趣聘请他的一名学生,让他在语音识别领域实习。该公司忽视了——这也许让它丢失了一次可以在技术上领先其对手的机会,如今其主要对手都在这个领域进行大量的投资。
「这对他们来说并不是不合理的」Hinton说,「你需要一个完整的团队来进行整个工程事宜,而当时他们并没有这样的团队。这并不是他们下注的领域」。
CIFAR的首席执行官,AlanBernstein说这种基础研究正是CIFAR希望资助的。我们基本不可能预测这些研究员会学习到什么,对工业界会不会有用。当有一个编程上的发现是对硅谷有用的,但加拿大公司及风险投资者忽略了它,那它也许就这样走了。
CIFAR的任务就是希望将世界上最杰出的人结合起来,共同处理宏大且复杂的问题。基于这个标准,2004年的神经计算项目无疑是一个成功。
「他们并不是因为希望创建一个产业而开始的,他们开始是因为希望了解大脑如何运作」,Bernstein说。「如果你一早就知道解决一个宏大问题的道路在哪儿,在真正意义上,这个问题已经被解决了。」
Bengio,蒙特利尔大学的教授,之前曾在研究生的时候跟随过Hinton,现在是CIFAR神经计算项目的联合主任。他说,如果社会希望鼓励加拿大的经济及学术研究迈向卓越,最糟糕的做法就是给资助上纲上线——例如,要求研究员留在加拿大或是只能为加拿大公司工作。
「问题并不是我们希望资助在加拿大以外的研究员。而是,我们并没有好的环境将他们留在这儿,」他说。「想要留住人才并不是靠闭关自守,而是需要开放门户」。
MelSilverman,加拿大高等研究院(CIFAR)2004年出资的一个项目的主管,这个项目引领了人工智能领域的突破,使得语音和图像识别技术成为可能。
MelSilverman走到了一块白板前,拿起了一个记号笔,列出了所有那些向他要钱的叛逆科学家代表的学科。
12年前在温哥华大都会酒店汇聚了15个由计算机科学家、生物学家和实验工程师组成的团队。一个他们很感兴趣的理念把他们聚集在了一起,这在当时被普遍认为是极端主义。
他们相信通过人工神经网络来模拟人类大脑的功能,教会机器像孩子那样学习是可能的。在训练机器学习的过程中,他们认为很有可能发现人类的学习方式。
当时,大多数计算机科学家的共识是这是块难啃的「硬骨头」。让计算机工作的方式就是给它编程,让它执行任务,而不是让它自主学习如何处理任务。假如Silverman那时是一个计算机科学家,他可能完全不会理会这个想法。
但Silverman是一个受过训练的医生——他表示,这是一个倾向于质疑权威的职业。他当时负责推荐哪些非盈利项目能通过,这些项目主要由加拿大高等研究院资助。他注意到人们十分安静、恭敬地听GeoffreyHinton(他是几十年前被CIFAR吸引到加拿大的一位多伦多大学研究员)的演讲。他热爱他们试图解决问题的雄心视野,以及这群人情愿不顾专业限制去解决它的毅力。
神经网络研究先驱YannLeCun和GeoffHinton坐在2003年温哥华工作间的桌子前面,在这里他和他的学院伙伴们说服了CIFAR同意资助他们的项目。
Silverman问他们为什么CIFAR应该同意资助他们。SebastianSeung,美籍计算神经学家,现任普林斯顿大学的教授给出了答案。
「他说,『好,我们是有点儿怪异。』」Silverman回忆道,「『如果CIFAR正在寻找高风险的冒险团队,愿意踏出常规舒适区域,这正是你们要找的。』我说,『很好,这听起来很酷。』」
Silverman说服CIFAR在10年里给这群自我认同的怪家伙大概1千万美元,CIFAR成为当时唯一一个支持人工神经网络研究的机构。
如今,很清楚的是,它们根本不是「硬骨头」。世界上那些最大的科技公司目前耗资上亿元开发这项技术,研究人员使用它训练计算机识别手写文字,理解语音甚至识别YouTube视频中的猫。
神经网络现在被用来帮助医生解释医学图像,并给出更好的治疗建议。他们正在制造让员工教其干活的的机器。人工智能几乎惠及所有试图尽最大可能利用大数据的产业。作为一个研究项目,CIFAR这个主要由纳税人资助的2004年项目显然是个赢家。但是,其对加拿大经济的的长期贡献还是未知数。
一些核心研究员和他们的学生已经成立了一些有趣的加拿大初创公司,然而,科技界的趋势往往是,活动中心移到了美国加利福利亚。
Hinton现在的时间分在多伦多大学和谷歌,而他先前的博士后学生YannLeCun现在是脸书的AI负责人。
加拿大是不是错失了成为这个高新科技产业中心的良机?
「我不那么认为。我认为,这是加拿大一个成功的典型,」Silverman说到。「当你还在计划时,生活已经在进行了。个人应当追求自己的梦想,找到能产生最大影响的地方。」
Hinton研究对大千世界的影响才刚开始凸显。CIFAR在80年代把这个生于英国的研究者引到了加拿大。他是项目组里30名人工智能研究者里最年轻的之一,而且也是唯一一个研究神经网络的。
「有时候有点烦,因为我深信我的方法是正确的,其他人却觉得这很糟,」Hinton谈到。「他们认为这有点儿不光彩,明显毫无希望。」
Hinton仍然百折不挠地聚集志趣相投的人。他请来了LeCun,一个拥有电子工程背景的法国籍学生,和他一起在多伦多大学做博士后研究。他也和YoshuaBengio(计算机科学家,现任蒙特利尔大学教授)合作。但是,Hinton表示他从未放弃信念只是因为一个简单的缘由:「因为大脑总是不知不觉地去做。」
小孩看过很多猫和狗之后,处理传入的视觉信息,并自己学会区分特征,知道猫和狗之间的不同——而不是他们的父母把USB线插到他们的头上,把描述不同物种的代码塞到他们的脑子里。
类似的,人工神经网络的灵感来自于大脑神经元互相传递信息的方式。模仿儿童的学习方式,通过输入成千上万的猫以及其他物体的图片,比如狗,科学家能教会人工神经网络识别一只猫。利用一些反馈,计算机开始学会学习区分猫和狗的特征,直到它看到一张从未看到过的图片后就能判断出类别——猫或狗。(令人惊讶的是,搭建神经网络的人并不清楚这过程到底是如何工作的。「重整化系统:理解猫和宇宙的通用逻辑」)
直到本世纪初中叶,这个领域的进展一直很缓慢,因为研究者们低估了处理大量数据所需要的大量计算能力。
那段时间,LeCun说他的同事对于在默默无闻中劳动已经有点疲倦了。
「你不希望被别人看作是疯子,也不想被边缘化。况且,你的学生也需要找工作,你也希望他们发表的论文有一天会见到光明」,他说。「但我希望在这个领域继续工作,重新点燃它,并且参与其中」。
结果,来自CIFAR的资金正是他们想要的。它提供了一些手段来帮助Hinton曾经帮助过的各研究人员小组从世界各地聚集在此,共同合作。
突破很快来临了。一篇发表在2006年《科学》期刊上的论文描述了一个训练多层神经网络的方法,该方法与大脑如何处理来自视网膜的信号及如何将信号传播到另外一个神经元进行分析的方法相似。这使得机器能够学习更抽象的概念,并最终引起整个学术界的兴趣。
工业界在2012年也开始注意到这个变化。Hinton的团队证明了在认知事物上,神经网络比起其他方法做得更好。
谷歌很快抢到了Hinton,收购了由他及两名学生创办的DNNResearch。六月,Twitter也收购了另外一家由Hinton的学生创办的创业公司,名为Whetlab。
2010年,Hinton曾与ResearchinMotion(现名为黑莓,BlackBerryLtd.)接触过,看该公司有没有兴趣聘请他的一名学生,让他在语音识别领域实习。该公司忽视了——这也许让它丢失了一次可以在技术上领先其对手的机会,如今其主要对手都在这个领域进行大量的投资。
「这对他们来说并不是不合理的」Hinton说,「你需要一个完整的团队来进行整个工程事宜,而当时他们并没有这样的团队。这并不是他们下注的领域」。
CIFAR的首席执行官,AlanBernstein说这种基础研究正是CIFAR希望资助的。我们基本不可能预测这些研究员会学习到什么,对工业界会不会有用。当有一个编程上的发现是对硅谷有用的,但加拿大公司及风险投资者忽略了它,那它也许就这样走了。
CIFAR的任务就是希望将世界上最杰出的人结合起来,共同处理宏大且复杂的问题。基于这个标准,2004年的神经计算项目无疑是一个成功。
「他们并不是因为希望创建一个产业而开始的,他们开始是因为希望了解大脑如何运作」,Bernstein说。「如果你一早就知道解决一个宏大问题的道路在哪儿,在真正意义上,这个问题已经被解决了。」
Bengio,蒙特利尔大学的教授,之前曾在研究生的时候跟随过Hinton,现在是CIFAR神经计算项目的联合主任。他说,如果社会希望鼓励加拿大的经济及学术研究迈向卓越,最糟糕的做法就是给资助上纲上线——例如,要求研究员留在加拿大或是只能为加拿大公司工作。
「问题并不是我们希望资助在加拿大以外的研究员。而是,我们并没有好的环境将他们留在这儿,」他说。「想要留住人才并不是靠闭关自守,而是需要开放门户」。