谷歌Transformer八子全部“出逃”，他们创作了ChatGPT中的“T”
各自上路，改写ai故事。
谷歌人工智能领域最有影响力的论文之一《attention is all you need》的共同作者之一的人工智能研究员llion jones证实，他将于本月晚些时候离开谷歌日本公司并计划在休假后创办一家公司。
llion jones对媒体表示：离开谷歌并不是一个容易的决定，与谷歌一起度过了美妙的十年，但现在是时候尝试一些不同的东西了。考虑到人工智能的发展势头和进展，我觉得现在也是建立新公司的好时机。
自2017年出版以来，《attention is all you need》轰动硅谷。该论文介绍了transformer的概念，这种系统可以帮助人工智能模型将其正在分析的数据中最重要的信息归零。transformer 现在是大型语言模型的关键构建块，该技术是 openai 的 chatgpt 等流行人工智能产品的基础。
随着llion jones的离开，这篇论文所有八位作者都已离开谷歌。
人们也许不认识他们的脸，或者没听过他的名字，但只需要5秒钟，就可以介绍他们的身份——“他们创作了chatgpt中的“t”。
来源：pitchbook
谷歌为何失去“transformer八子”
transfomer是谷歌最重要的发明之一，它最初是在午餐时设计出来的。2017年，alphabet公司加利福尼亚山景城总部的研究人员在中午用餐时谈论如何让计算机更高效地生成文本。在接下来的5个月里，他们进行了实验，并在没有意识到他们所发现的问题的重要性的情况下，将他们的发现写成了一篇名为 《attention is all you need 》的研究论文。
随后，他们带来了人工智能的飞跃。
这篇论文的八位作者创建了transformer系统，使机器能够比以往任何时候都更高效地生成类似人类的文本、图像、dna序列和许多其他类型的数据。他们的论文最终被其他研究人员引用了8万多次，他们设计的人工智能架构为openai的chatgpt（t 代表transformer）、midjourney等图像生成工具提供了基础。
谷歌与全世界分享了这一发现，科技公司经常开源新技术，以获得反馈、吸引人才和建立支持者社区。
但谷歌本身并没有立即使用这项新技术。在谷歌努力将其尖端研究成果转化为可用服务的过程中，该系统处于相对休眠状态长达数年之久。但另一家公司openai，它利用了谷歌的发明，对这家搜索巨头发起了多年来最严重的威胁。
谷歌哪里出了问题？
一个明显的问题是规模。根据人工智能公司 glass.ai 的估计，谷歌拥有一支由 7,133 名员工组成的队伍，而其员工总数约为 140,000 人。glass.ai 今年早些时候扫描了 linkedin 的个人资料，以识别大型科技公司的人工智能员工。相比之下，openai 引发了一场 ai 军备竞赛，其员工规模要小得多——到 2023 年，大约 375 名员工中约有 150 名 ai 研究人员。
谷歌的庞大规模意味着科学家和工程师在创建 transformer 时必须经过多层管理才能批准想法。谷歌智库（该公司主要人工智能部门之一）的研究人员也缺乏明确的战略方向，导致许多人沉迷于职业发展和研究论文的知名度。
另一个问题在于，将创意转化为新产品的门槛也非常高。25 岁的伊利亚·波洛苏欣 (illia polosukhin) 第一次与研究员同事阿什什·瓦斯瓦尼 (ashish vaswani) 和雅各布·乌兹科雷特 (jakob uszkoreit) 在谷歌食堂坐下来时说道，“除非（一个想法）能成为一项价值十亿美元的业务，否则谷歌不会采取行动。” 但建立一个价值十亿美元的业务需要不断的迭代和面对大量问题，这是谷歌并不总是容忍的。
谷歌的一位女发言人表示，该公司 为我们在transformer的行业定义性、突破性工作感到自豪，并为它所创造的人工智能生态系统而感到振奋，包括让我们的研究员在谷歌公司外推进他们的研究与其他人合作并且发现新机会。
德语流利的 uszkoreit 注意到，这项新技术可以比谷歌翻译更准确地将英语翻译成德语。但谷歌本身花了很长时间才将该技术应用到其免费翻译工具或其语言模型 bert 中，而且该公司从未将其部署在任何人都可以测试的聊天机器人中。也就是说，直到 2022 年底 chatgpt 的推出才迫使谷歌在 2023 年 3 月迅速发布了bard。
多年来，这些研究员们见证了他们的想法被其他人应用到一系列任务中，从 openai 的 chatgpt 早期迭代到 dall-e，从 midjourney 的图像工具到 deepmind 的蛋白质折叠系统 alphafold。很难不注意到最令人兴奋的创新发生在山景城之外。
在某种程度上，谷歌成为了自身成功的受害者。它的队伍中有像 geoffrey hinton 这样的传奇人工智能科学家，并且在 2017 年就已经在使用尖端的人工智能技术来处理文本。许多研究人员的心态是“如果它没有坏，就不要修理它。”
价值40亿美元的ai巨星们
共同撰写2017年论文的研究人员离开谷歌后，他们继续创办创业公司，包括生产企业软件的cohere，以及由noam shazeer创办的character.ai，noam shazeer是该小组中在谷歌任职时间最长的人，曾被视为公司的人工智能传奇人物。
根据研究公司pitchbook和价格追踪网站coinmarketcap的估值统计，他们的企业总价值约为41亿美元。可以说，他们是硅谷的人工智能的“贵族”。
八位作者在谷歌的工作时长
polosukhin此后创办了一家区块链公司。vaswani和 niki parmar 创办了企业软件公司 essential.ai。uszkoreit 喜欢挑战人工智能研究的现状——他的观点是，如果它还没有被打破，那就打破它，此后他与他人共同创立了一家名为 inceptive nucleics 的生物技术公司。
2016 年，uszkoreit探索了人工智能中“注意力”的概念，即计算机区分数据集中最重要的信息。一年后的午餐时，三人讨论了如何利用这个想法来更有效地翻译单词。当时的谷歌翻译很笨拙，尤其是对于非拉丁语言。“汉语转俄语太糟糕了，”polosukhin回忆道。
其中一个问题在于循环神经网络处理序列中的单词。它很慢并且没有充分利用可以同时处理大量任务的芯片。家用计算机中的 cpu 可能有四个“核心”，用于处理和执行指令，但用于处理人工智能系统的服务器中的 cpu 有数千个核心。这意味着人工智能模型可以同时“读取”句子中的许多单词。没有人充分利用这一点。
uszkoreit 会在 google 办公室里走来走去，在白板上画出新架构的图表，并且经常遭到怀疑。琼斯说，他的团队希望删除当时使用的循环神经网络中的“循环”部分，这“听起来很疯狂”。但随着parmar, aidan gomez和 lukasz kaiser等其他一些研究人员加入该小组，他们开始看到进展。
曾经，硅谷“八叛逆”改变了集成电路的历史，如今谷歌的“八叛逆”会给世界带来怎样的变化？
智能汽车软件关键技术解析
闲谈液晶显示技术（LCD）的诞生发展史
冷压端子是什么，它的主要生产工艺是什么
矿井下无人值守变电所电力监控系统的探讨与产品选型
Gem5 Arm Fullsystem仿真
谷歌Transformer八子全部“出逃”，他们创作了ChatGPT中的“T”
英国6月EV车市概况：全球汽车市场的缩影
宏碁子公司酷碁开发了第二代的“智慧佛珠”产品——“珠运通”
华为5G技术将助力上海移动打造双千兆城市
华为P9电池更换教程图解
Azure“一站式搬家”服务全力保护云中资源与数据
单片开关电源关键元器件的选择
汽车线束测试仪能够给车辆检测带来的好处有哪些
精简感测模组设计 In-cell/SITO主宰触控市场
一加9的真机照疑似曝光,采用挖孔屏方案
振芯科技去年电子元器件产销量下降超4成
TWS耳机充电盒方案，ETA9640 5V
机器人利用传感器进行工作的五大未来展望浅析
提前曝光!2019款新iPad mini/Air突然上线
工业轨式1-16路开关量光端机的功能特点及应用方案
谷歌人工智能领域最有影响力的论文之一《attention is all you need》的共同作者之一的人工智能研究员llion jones证实，他将于本月晚些时候离开谷歌日本公司并计划在休假后创办一家公司。
llion jones对媒体表示：离开谷歌并不是一个容易的决定，与谷歌一起度过了美妙的十年，但现在是时候尝试一些不同的东西了。考虑到人工智能的发展势头和进展，我觉得现在也是建立新公司的好时机。
自2017年出版以来，《attention is all you need》轰动硅谷。该论文介绍了transformer的概念，这种系统可以帮助人工智能模型将其正在分析的数据中最重要的信息归零。transformer 现在是大型语言模型的关键构建块，该技术是 openai 的 chatgpt 等流行人工智能产品的基础。
随着llion jones的离开，这篇论文所有八位作者都已离开谷歌。
人们也许不认识他们的脸，或者没听过他的名字，但只需要5秒钟，就可以介绍他们的身份——“他们创作了chatgpt中的“t”。
来源：pitchbook
谷歌为何失去“transformer八子”
transfomer是谷歌最重要的发明之一，它最初是在午餐时设计出来的。2017年，alphabet公司加利福尼亚山景城总部的研究人员在中午用餐时谈论如何让计算机更高效地生成文本。在接下来的5个月里，他们进行了实验，并在没有意识到他们所发现的问题的重要性的情况下，将他们的发现写成了一篇名为 《attention is all you need 》的研究论文。
随后，他们带来了人工智能的飞跃。
这篇论文的八位作者创建了transformer系统，使机器能够比以往任何时候都更高效地生成类似人类的文本、图像、dna序列和许多其他类型的数据。他们的论文最终被其他研究人员引用了8万多次，他们设计的人工智能架构为openai的chatgpt（t 代表transformer）、midjourney等图像生成工具提供了基础。
谷歌与全世界分享了这一发现，科技公司经常开源新技术，以获得反馈、吸引人才和建立支持者社区。
但谷歌本身并没有立即使用这项新技术。在谷歌努力将其尖端研究成果转化为可用服务的过程中，该系统处于相对休眠状态长达数年之久。但另一家公司openai，它利用了谷歌的发明，对这家搜索巨头发起了多年来最严重的威胁。
谷歌哪里出了问题？
一个明显的问题是规模。根据人工智能公司 glass.ai 的估计，谷歌拥有一支由 7,133 名员工组成的队伍，而其员工总数约为 140,000 人。glass.ai 今年早些时候扫描了 linkedin 的个人资料，以识别大型科技公司的人工智能员工。相比之下，openai 引发了一场 ai 军备竞赛，其员工规模要小得多——到 2023 年，大约 375 名员工中约有 150 名 ai 研究人员。
谷歌的庞大规模意味着科学家和工程师在创建 transformer 时必须经过多层管理才能批准想法。谷歌智库（该公司主要人工智能部门之一）的研究人员也缺乏明确的战略方向，导致许多人沉迷于职业发展和研究论文的知名度。
另一个问题在于，将创意转化为新产品的门槛也非常高。25 岁的伊利亚·波洛苏欣 (illia polosukhin) 第一次与研究员同事阿什什·瓦斯瓦尼 (ashish vaswani) 和雅各布·乌兹科雷特 (jakob uszkoreit) 在谷歌食堂坐下来时说道，“除非（一个想法）能成为一项价值十亿美元的业务，否则谷歌不会采取行动。” 但建立一个价值十亿美元的业务需要不断的迭代和面对大量问题，这是谷歌并不总是容忍的。
谷歌的一位女发言人表示，该公司 为我们在transformer的行业定义性、突破性工作感到自豪，并为它所创造的人工智能生态系统而感到振奋，包括让我们的研究员在谷歌公司外推进他们的研究与其他人合作并且发现新机会。
德语流利的 uszkoreit 注意到，这项新技术可以比谷歌翻译更准确地将英语翻译成德语。但谷歌本身花了很长时间才将该技术应用到其免费翻译工具或其语言模型 bert 中，而且该公司从未将其部署在任何人都可以测试的聊天机器人中。也就是说，直到 2022 年底 chatgpt 的推出才迫使谷歌在 2023 年 3 月迅速发布了bard。
多年来，这些研究员们见证了他们的想法被其他人应用到一系列任务中，从 openai 的 chatgpt 早期迭代到 dall-e，从 midjourney 的图像工具到 deepmind 的蛋白质折叠系统 alphafold。很难不注意到最令人兴奋的创新发生在山景城之外。
在某种程度上，谷歌成为了自身成功的受害者。它的队伍中有像 geoffrey hinton 这样的传奇人工智能科学家，并且在 2017 年就已经在使用尖端的人工智能技术来处理文本。许多研究人员的心态是“如果它没有坏，就不要修理它。”
价值40亿美元的ai巨星们
共同撰写2017年论文的研究人员离开谷歌后，他们继续创办创业公司，包括生产企业软件的cohere，以及由noam shazeer创办的character.ai，noam shazeer是该小组中在谷歌任职时间最长的人，曾被视为公司的人工智能传奇人物。
根据研究公司pitchbook和价格追踪网站coinmarketcap的估值统计，他们的企业总价值约为41亿美元。可以说，他们是硅谷的人工智能的“贵族”。
八位作者在谷歌的工作时长
polosukhin此后创办了一家区块链公司。vaswani和 niki parmar 创办了企业软件公司 essential.ai。uszkoreit 喜欢挑战人工智能研究的现状——他的观点是，如果它还没有被打破，那就打破它，此后他与他人共同创立了一家名为 inceptive nucleics 的生物技术公司。
2016 年，uszkoreit探索了人工智能中“注意力”的概念，即计算机区分数据集中最重要的信息。一年后的午餐时，三人讨论了如何利用这个想法来更有效地翻译单词。当时的谷歌翻译很笨拙，尤其是对于非拉丁语言。“汉语转俄语太糟糕了，”polosukhin回忆道。
其中一个问题在于循环神经网络处理序列中的单词。它很慢并且没有充分利用可以同时处理大量任务的芯片。家用计算机中的 cpu 可能有四个“核心”，用于处理和执行指令，但用于处理人工智能系统的服务器中的 cpu 有数千个核心。这意味着人工智能模型可以同时“读取”句子中的许多单词。没有人充分利用这一点。
uszkoreit 会在 google 办公室里走来走去，在白板上画出新架构的图表，并且经常遭到怀疑。琼斯说，他的团队希望删除当时使用的循环神经网络中的“循环”部分，这“听起来很疯狂”。但随着parmar, aidan gomez和 lukasz kaiser等其他一些研究人员加入该小组，他们开始看到进展。
曾经，硅谷“八叛逆”改变了集成电路的历史，如今谷歌的“八叛逆”会给世界带来怎样的变化？
智能汽车软件关键技术解析
闲谈液晶显示技术（LCD）的诞生发展史
冷压端子是什么，它的主要生产工艺是什么
矿井下无人值守变电所电力监控系统的探讨与产品选型
Gem5 Arm Fullsystem仿真
谷歌Transformer八子全部“出逃”，他们创作了ChatGPT中的“T”
英国6月EV车市概况：全球汽车市场的缩影
宏碁子公司酷碁开发了第二代的“智慧佛珠”产品——“珠运通”
华为5G技术将助力上海移动打造双千兆城市
华为P9电池更换教程图解
Azure“一站式搬家”服务全力保护云中资源与数据
单片开关电源关键元器件的选择
汽车线束测试仪能够给车辆检测带来的好处有哪些
精简感测模组设计 In-cell/SITO主宰触控市场
一加9的真机照疑似曝光,采用挖孔屏方案
振芯科技去年电子元器件产销量下降超4成
TWS耳机充电盒方案，ETA9640 5V
机器人利用传感器进行工作的五大未来展望浅析
提前曝光!2019款新iPad mini/Air突然上线
工业轨式1-16路开关量光端机的功能特点及应用方案