当沙泽在谷歌每周一次的T.G.I.F.大会上演示这个程序时,员工们试图从中找出一些毛病,但大多数都失败了。通过与杰夫和另一位工程师乔治·哈里克(GeorgesHarik)合作,桑杰后来又在网页广告中使用了类似的技术。
随着越来越多的编码人员使用MapReduce从谷歌的数据中提取各种规律和结论,使得转录用户的语音邮件、回答他们的问题、自动完成他们的查询,并在一百多种语言之间进行翻译成为可能。这样的系统就是使用相对简单的机器学习算法开发的,但杰夫说,“虽然技术简单,但只有当你有了大量的数据,才能做得更好。”
随着“数据、数据和数据“——通过BigTable、MapReduce和后续产品来存储和处理——变成一项重要的任务之后,谷歌在全球范围内的基础设施才变得越来越无缝和灵活。如今,分布式计算已经成为陈旧的概念了,云计算和大数据正在推动谷歌的崛起。
不过,通过让普通的程序员在编写分布式程序时更加智能、易于管理,杰夫和桑杰让谷歌对这类技术的掌握达到了一个新水平。事实上,用户可能已经感觉到事情已经发生了变化:谷歌云变得越来越智能。
2004年,杰夫和桑杰意识到,大量的数据处理会给天文学家、遗传学家和其他需要处理大量数据的科学家们带来大量裨益,他们撰写了一篇论文《MapReduce:大型集群上的简化数据处理》,并公开发表。
硬件价格日益低廉、Web服务的普及,以及联网设备的增加,导致了大量数据的出现,不过没有几家公司有相应的软件来处理这些信息。为此,两名工程师迈克·卡弗雷拉(MikeCafarella)和道格·卡亭(DougCuting)在意识到了MapReduce的重要性之后,决定从头开始,对这套系统进行“克隆”。
后来,他们把该项目命名为“Hadoop”,名字的来源就是卡亭儿子的一个棕黄色大象玩具的名字。随着Hadoop的成熟,如今它已被“财富50强”的一半企业采用,它甚至成为了“大数据”的代名词。目前,Facebook正在使用“HadoopMapReduce”来存储和处理用户的元数据,包括用户点击了什么、喜欢什么,以及观看了哪些广告等。
它还一度拥有世界上最大的Hadoop集群,LinkedIn和Netflix也在使用HadoopMapReduce。此外,美国国家安全局(NSA)前技术总监兰迪·加勒特(RandyGarrett)还曾向NSA局长基思·亚历山大(KeithAlexander)演示过该技术。与之前的系统相比,Hadoop在执行分析任务时的速度要快出一万八千倍。如今,它已成为情报搜集新方式的基础,一些观察家将其称之为“收集一切”。
杰夫天性不安:一旦看到了解决问题的雏形,他对这个问题的兴趣就变得不那么浓厚了。2011年,当世界开始拥抱云计算的时候,他开始与斯坦福大学的计算机科学教授吴恩达(AndrewNg)合作。当时,吴恩达在谷歌带领一个秘密的项目,在一个神经网络上进行研究。
杰夫在大学时代接触过神经网络,但那时候,人们还不能解决一些现实中的问题。吴恩达告诉杰夫,如今这种情况正在发生改变。在斯坦福大学,由于神经网络能够访问到大量数据时,研究人员已经取得了一些令人兴奋的结果。考虑到谷歌的规模,吴恩达认为,神经网络不仅有用,而且是非常强大的。
神经网络与传统的计算机程序有着很大的不同。神经网络的行为不是由编码人员以通常的方式指定的,相反,它可以利用输入和反馈来“学习”。自大学毕业后,杰夫的神经网络知识就没有多大进步。但随后,妻子海蒂(Heidi)就发现,他们的浴室中堆满了相关书籍。
后来,杰夫开始每周花一天的时间来做这个名为“谷歌大脑”(GoogleBrain)的项目。许多谷歌员工对这项技术表示怀疑,他当时的经理艾伦·尤斯塔斯(AlanEustace)回忆说:“太浪费人才了。”当时,桑杰也不理解杰夫的举动,他在心里想:你从事基础架构工作,跑到那边干什么?
在接下来7年的时间里,“谷歌大脑”团队开发了神经网络,该神经网络在机器翻译、语音和图像识别方面超越了当前技术。最终,他们还取代了谷歌最重要的搜索结果排名和精准广告算法,“谷歌大脑”也成为公司发展最快的团队之一。2001年就已入职的谷歌工程师克莱尔·崔(ClaireCui)称,杰夫的参与代表着谷歌在人工智能领域的一个转折点:有些人相信它,有些人不相信,而杰夫给出了答案,它是可行的。
人工智能在很大程度上依赖于规模,为此,杰夫又带领开发了TensorFlow,相当于人工智能时代的MapReduce。TensorFlow简化了在一组计算机上分布神经网络的任务,将其变成一个大脑。2015年,当TensorFlow面向公众发布时,就成了人工智能的通用语言。近期,谷歌CEO桑达尔·皮查伊(SundarPichai)宣布谷歌是一家“人工智能为先”的公司,并任命杰夫为人工智能战略负责人。
如今,杰夫每周花4天时间来运营“谷歌大脑”,指挥着3000人的工作。他出差发表演讲,每周召开一次会议来研究一种新型计算机芯片(Tensor处理单元,专门为神经网络设计),并帮助开发AutoML,后者是一套使用神经网络设计其他神经网络的系统。除此之外,他每周只能与桑杰沟通一次。
工程业绩往往会抹杀自己。如今,我们还记得18世纪伟大的探险家詹姆斯·库克(JamesCook)和乔治·温哥华(GeorgeVancouve),但已不记得约翰·哈里森(JohnHarrison)。哈里是一名钟表匠,发明了航海精密计时器,解决了海上精确定为的问题。
近期,杰夫和桑杰曾在他们经常光顾的一家墨西哥餐厅“PaloAltoSol”享受美食。杰夫拿出手机问:“Gmail何时诞生?”手机回答说:“2004年4月1日。”对于杰夫不专心享受美食,桑杰似乎并不欣赏,但杰夫本人却很得意。如今,通过一系列程序的无缝整合,谷歌可以通过说、听和回答的方式,让用户通过手机连接到全球的数据中心。
当前,他们在谷歌的职责各有不同。桑杰目前是一位“个人贡献者”,一名编程人员,不管理任何人。对此,他感到很满足。他说:“我不想要杰夫的工作。”目前,他正在开发一款软件,允许工程师轻松整合和管理十几款应用程序。如果把谷歌比作一所房子,杰夫是在建造一个附加产品,而桑杰则在支撑结构,加固房梁,拧紧螺丝。