谷歌Gemini被曝算力达GPT-4五倍，手握TPU王牌碾压OpenAI
手中没有足够gpu的人，在商业化战争中铁定出局。
著名的semianalysis分析师dylan patel和daniel nishball，又来爆料行业内幕了。而整个ai社区，再次被这次的消息所震惊：openai的算力比起谷歌来，只能说是小儿科——谷歌的下一代大模型gemini，算力已达gpt-4的5倍！
根据patel和nishball的说法，此前屡屡被爆料将成为gpt-4大杀器的谷歌gemini，已经开始在新的tpuv5 pod上进行训练了，算力高达~1e26 flops，比训练gpt-4的算力还要大5倍。如今，凭借着tpuv5，谷歌已经成为了算力王者。它手中的tpuv5数量，比openai、meta、coreweave、甲骨文和亚马逊拥有的gpu总和还要多！虽然tpuv5在单芯片性能上比不上英伟达的h100，但谷歌最可怕的优势在于，他们拥有高效、庞大的基础设施。没想到，这篇爆料引来sam altman围观，并表示，「难以置信的是，谷歌竟然让那个叫semianalysis的家伙发布了他们的内部营销/招聘图表，太搞笑了。 」
有网友却表示，这仅是一篇评论性文章，并非实际新闻，完全是推测。
不过，此前dylan patel参与的两篇稿件，无一例外都被证实，并且引发了业内的轩然大波。无论是谷歌的内部文件泄漏事件（「我们没有护城河，openai也没有」）——
谷歌deepmind的首席执行官demis hassabis在一次采访中确认了谷歌护城河的真实性
还是gpt-4的架构、参数等内幕消息大泄密——
下面让我们来仔细看看，这次的爆料文章，又将带来多少重磅内幕消息。
沉睡的巨人谷歌已经醒来
提出transformer开山之作「attention is all you need」的作者之一、lamda和palm的关键参与者noam shazeer，曾受meena模型的启发，写过一篇文章。
在这篇文章里，他准确地预言了chatgpt的诞生给全世界带来的改变——llm会越来越融入我们的生活，吞噬全球的算力。这篇文章远远领先于他的时代，但却被谷歌的决策者忽略了。
论文地址：https://arxiv.org/pdf/2001.09977.pdf
现在，谷歌拥有算力王国所有的钥匙，沉睡的巨人已经醒来，他们的向前迭代的速度已经无法阻挡，在2023年底，谷歌的算力将达到gpt-4预训练flops的五倍。而考虑谷歌现在的基建，到明年年底，这个数字或许会飙升至100倍。谷歌是否会在不削减创造力、不改变现有商业模式的基础上在这条路上继续深耕？目前无人知晓。
「gpu富豪」和「gpu穷人」
现在，手握英伟达gpu的公司，可以说是掌握了最硬的硬通货。openai、谷歌、anthropic、inflection、x、meta这些巨头或明星初创企业，手里有20多万块a100/h100芯片，平均下来，每位研究者分到的计算资源都很多。
个人研究者，大概有100到1000块gpu，可以玩一玩手头的小项目。
coreweave已经拿英伟达h100抵押，用来买更多gpu
而到2024年底，gpu总数可能会达到十万块。现在在硅谷，最令顶级的机器学习研究者自豪的谈资，就是吹嘘自己拥有或即将拥有多少块gpu。在过去4个月内，这股风气越刮越盛，以至于这场竞赛已经被放到了明面——谁家有更多gpu，大牛研究员就去哪儿。meta已经把「拥有世界上第二多的h100 gpu」，直接拿来当招聘策略了。
与此同时，数不清的小初创公司和开源研究者，正在为gpu短缺而苦苦挣扎。因为没有足够虚拟内存的gpu，他们只能虚掷光阴，投入大量时间和精力，去做一些无关紧要的事。他们只能在更大的模型上来微调一些排行榜风格基准的小模型，这些模型的评估方法也很支离破碎，更强调的是风格，而不是准确性、有用性。他们也不知道，只有拥有更大、更高质量的预训练数据集和ift数据，才能让小开源模型在实际工作负载中得到改进。
「谁将获得多少h100，何时获得h100，都是硅谷现在的顶级八卦。」openai联合创始人andrej karpathy曾经这样感慨
是的，高效使用gpu很重要，许多gpu穷人把这一点忽视了。他们不关心规模效应的效率，也没有有效利用自己的时间。到明年，世界就会被350万h100所淹没，而这些gpu穷人，将彻底与商业化隔绝。他们只能用手中的游戏用gpu来学习、做实验。大部分gpu穷人仍然在使用密集模型，因为这就是meta的llama系列模型所提供的。如果不是扎克伯格的慷慨，大部分开源项目会更糟。如果他们真的关心效率，尤其是客户端的效率，他们会选择moe这样的稀疏模型架构，并且在更大的数据集上进行训练，并且像openai、anthropic、google deepmind这样的前沿llm实验室一样，采用推测解码。
此图表假设，无法融合每个操作、注意力机制所需的内存带宽、硬件开销相当于参数读取，都会导致效率低下。实际上，即使使用优化的库，比如英伟达的fastertransformer库，总开销甚至还会更大
处于劣势的公司应该把重点放在提高模型性能或减轻token到token延迟上，提高计算和内存容量要求，减少内存带宽，这些才是边缘效应所需要的。他们应该专注于在共享基础架构上高效地提供多个微调模型，而不必为小批量模型付出可怕的成本代价。然而，事实却恰恰相反，他们却过于关注内存容量限制或量化程度太高，却对模型实际质量的下降视而不见。总的来说，现在的大模型排行榜，已经完全乱套了。虽然闭源社区还有很多人在努力改进这一点，但这种开放基准毫无意义。出于某种原因，人们对llm排行榜有一种病态的痴迷，并且为一些无用的模型起了一堆愚蠢的名字，比如platypus等等。在以后，希望开源的工作能转向评估、推测解码、moe、开放ift数据，以及用超过10万亿个token清洗预训练数据，否则，开源社区根本无法与商业巨头竞争。
现在，在大模型之战的世界版图已经很明显：美国和中国会持续领先，而欧洲因为缺乏大笔投资和gpu短缺已经明显落后，即使有政府支持的超算儒勒·凡尔纳也无济于事。而多个中东国家也在加大投资，为ai建设大规模基础设施。
当然，缺乏gpu的，并不只是一些零散的小初创企业。即使是像huggingface、databricks（mosaicml），以及together这种最知名的ai公司，也依然属于「gpu贫困人群」。事实上，仅看每块gpu所对应的世界top级研究者，或者每块gpu所对应的潜在客户，他们或许是世界上最缺乏gpu的群体。虽然拥有世界一流的研究者，但所有人都只能在能力低几个数量级的系统上工作。虽然他们获得了大量融资，买入了数千块h100，但这并不足以让他们抢占大部分市场。
你所有的算力，全是从竞品买的
在内部的各种超级计算机中，英伟达拥有着比其他人多出数倍的gpu。其中，dgx cloud提供了预训练模型、数据处理框架、向量数据库和个性化、优化推理引擎、api以及英伟达专家的支持，帮助企业定制用例并调整模型。
如今，这项服务也已经吸引了来自saas、保险、制造、制药、生产力软件和汽车等垂直行业的多家大型企业。即便是不算上那些未公开的合作伙伴，仅仅是由安进（amgen）、adobe、ccc、servicenow、埃森哲（accenture）、阿斯利康（astrazeneca）、盖蒂图片社（getty images）、shutterstock、晨星（morningstar）、evozyne、insilico medicine、quantiphi、instadeep、牛津纳米孔（oxford nanopore）、peptone、relation therapeutics、alchemab therapeutics和runway等巨头组成的这份比其他竞争对手要长得多的名单，就已经足够震撼了。考虑到云计算的支出和内部超级计算机的建设规模，企业从英伟达这里购买的似乎比huggingface、together和databricks所能够提供的服务加起来还要多。
作为行业中最有影响力的公司之一，huggingface需要利用这一点来获得巨额投资，建立更多的模型、定制和推理能力。但在最近一轮的融资中，过高的估值让他们并没有得到所需的金额。databricks虽然可以凭借着数据和企业关系迎头赶上。但问题在于，如果想要为超过7，000个客户提供服务，就必须将支出增加数倍。不幸的是，databricks无法用股票来购买gpu。他们需要通过即将开始的私募/ipo来进行大规模融资，并进一步用这些现金来加倍投资于硬件。从经济学的角度来看有些奇怪，因为他们必须先建设，然后才能引来客户，而英伟达同样也在为他们的服务一掷千金。不过，这也是参与竞争的前提条件。
这里的关键在于，databricks、huggingface和together明显落后于他们的主要竞争对手，而后者又恰好是他们几乎所有计算资源的来源。也就是说，从meta到微软，再到初创公司，实际上所有人都只是在充实英伟达的银行账户。那么，有⼈能把我们从英伟达奴役中拯救出来吗？是的，有⼀个潜在的救世主——谷歌。
谷歌算⼒之巅，openai不及一半
虽然内部也在使用gpu，但谷歌的手中却握着其他「王牌」。其中，最让业界期待的是，谷歌下一代大模型gemini，以及下一个正在训练的迭代版本，都得到了谷歌无以伦比的高效基础设施的加持。
早在2006年，谷歌就开始提出了构建人工智能专用基础设施的想法，并于2013年将这一计划推向高潮。他们意识到，如果想大规模部署人工智能，就必须将数据中心的数量增加一倍。因此，谷歌开始为3年后能够投入生产的tpu芯片去做准备。最著名的项目nitro program在13年发起，专注于开发芯片以优化通用cpu计算和存储。主要的目标是重新思考服务器的芯片设计，让其更适合谷歌的人工智能计算工作负载。自2016年以来，谷歌已经构建了6种不同的ai芯片，tpu、tpuv2、tpuv3、tpuv4i、tpuv4和tpuv5。谷歌主要设计这些芯片，并与broadcom进行了不同数量的中后端协作，然后由台积电生产。tpuv2之后，这些芯片还采用了三星和sk海力士的hbm内存。
在介绍gemini和谷歌的云业务之前，爆料者先分享了关于谷歌疯狂扩张算力的一些数据——各季度新增加的⾼级芯⽚总数。对于openai来说，他们拥有的总gpu数量将在2年内增加4倍。而对于谷歌来说，所有人都忽视了，谷歌拥有tpuv4（puverash）、tpuv4 lite，以及内部使⽤的gpu的整个系列。此外，tpuv5 lite没有在这里算进去，尽管它可能是推理较⼩语⾔模型的主⼒。如下图表中的增长，只有tpuv5（viperash）可视化。
即使对他们的能力给予充分肯定，谷歌的算力也足以让所有人都傻了眼。实际上，谷歌拥有的tpuv5比openai、meta、coreweave、甲骨文和亚马逊拥有的gpu总和还要多。并且，谷歌能够将这些能力的很大一部分出租给各种初创公司。当然，就每个芯片方面的性能来说，tpuv5与h100相比有显著的差距。
撇开这点不说，openai的算力只是谷歌的一小部分。与此同时，tpuv5的构建能够大大提升训练和推理能⼒。此外，谷歌全新架构的多模态大模型gemini，一直在以令人难以置信的速度迭代。据称，gemini可以访问多个tpu pod集群，具体来讲是在7+7 pods上进行训练。
爆料者表示，初代的gemini应该是在tpuv4上训练的，并且这些pod并没有集成最大的芯片数——4096个芯⽚，而是使用了较少的芯片数量，以保证芯片的可靠性和热插拔。如果所有14个pod都在合理的掩模场利用率（mfu）下使⽤了约100天，那么训练gemini的硬件flops将达到超过1e26。作为参考，爆料者在上次「gpt-4架构」文章中曾详细介绍了gpt-4模型的flops比2e25稍高一点。而⾕歌模型flops利⽤率在tpuv4上⾮常好，即使在⼤规模训练中，也就是gemini的第⼀次迭代，远远⾼于gpt-4。
尤其是，就模型架构优越方面，如增强多模态，更是如此。真正令人震惊的是gemini的下一次迭代，它已经开始在基于tpuv5的pod上进⾏训练，算力高达~1e26 flops，这比训练gpt-4要大5倍。据称，第⼀个在tpuv5上训练的gemini在数据⽅⾯存在⼀些问题，所以不确定谷歌是否会发布。这个~1e26模型可能就是，公开称为gemini的模型。再回看上⾯的图表，这不是⾕歌的最终形态。⽐赛已经开始了，而⾕歌有着巨⼤的优势。如果他们能够集中精力并付诸实施，至少在训练前的计算规模扩展和实验速度方面，他们终将胜出。
他们可以拥有多个比openai最强大的集群，还要强大的集群。谷歌已经摸索了一次，还会再来一次吗？当前，⾕歌的基础设施不仅满⾜内部需求，anthopic等前沿模型公司和⼀些全球最⼤的公司，也将访问tpuv5进⾏内部模型的训练和推理。⾕歌将tpu迁移到云业务部门，并重新树立了商业意识，这让他们赢得了一些大公司的青睐果断战斗。未来几个月，你将会看到谷歌的胜利。这些被推销的公司，有的会为它的tpu买单。
苹果A10的GPU之所以强，既然是因为这样，吊打安卓
python两点间距离简单编程
东莞导轨维修、维修机床导轨车床导轨设备导轨等服务商
半导体集成电路封装流程|划片工艺详解
讲一讲Apple Macintosh处理器过渡的故事
谷歌Gemini被曝算力达GPT-4五倍，手握TPU王牌碾压OpenAI
受新冠肺炎疫情影响，苹果宣布暂时关闭法国17家门店
笔记本电池如何选购？
盘点十大智能传感器品牌
联想提供F41笔记本电池放电过快解决方案
苹果HomePod给亚马逊带来危机感：后者将升级Echo配置抗衡HomePod
国内充电桩六大运营模式以及市场分析
低收缩率、耐老化、低CTE的光学UV胶水
永不关机！三星推未来电视Lifestyle TV：能当壁画
2022年：中国5G基站总量占全球超过60%
华为Mate10什么时候上市？和iPhone8一同九月发布，全面屏+首发麒麟970，秒杀三星note8死磕苹果iPhone8！
显示装备国产替代订单增长 联得装备上半年净利润同比增长174.25%
电视盒子哪个好？天猫魔盒M17、小米盒子3s等六款畅销高配智能盒子推荐
俄罗斯被ubuntu断供引担忧，国产操作系统再迎重大突破！
新零售都听出茧了，看人家新明珠是怎么玩！
著名的semianalysis分析师dylan patel和daniel nishball，又来爆料行业内幕了。而整个ai社区，再次被这次的消息所震惊：openai的算力比起谷歌来，只能说是小儿科——谷歌的下一代大模型gemini，算力已达gpt-4的5倍！
根据patel和nishball的说法，此前屡屡被爆料将成为gpt-4大杀器的谷歌gemini，已经开始在新的tpuv5 pod上进行训练了，算力高达~1e26 flops，比训练gpt-4的算力还要大5倍。如今，凭借着tpuv5，谷歌已经成为了算力王者。它手中的tpuv5数量，比openai、meta、coreweave、甲骨文和亚马逊拥有的gpu总和还要多！虽然tpuv5在单芯片性能上比不上英伟达的h100，但谷歌最可怕的优势在于，他们拥有高效、庞大的基础设施。没想到，这篇爆料引来sam altman围观，并表示，「难以置信的是，谷歌竟然让那个叫semianalysis的家伙发布了他们的内部营销/招聘图表，太搞笑了。 」
有网友却表示，这仅是一篇评论性文章，并非实际新闻，完全是推测。
不过，此前dylan patel参与的两篇稿件，无一例外都被证实，并且引发了业内的轩然大波。无论是谷歌的内部文件泄漏事件（「我们没有护城河，openai也没有」）——
谷歌deepmind的首席执行官demis hassabis在一次采访中确认了谷歌护城河的真实性
还是gpt-4的架构、参数等内幕消息大泄密——
下面让我们来仔细看看，这次的爆料文章，又将带来多少重磅内幕消息。
沉睡的巨人谷歌已经醒来
提出transformer开山之作「attention is all you need」的作者之一、lamda和palm的关键参与者noam shazeer，曾受meena模型的启发，写过一篇文章。
在这篇文章里，他准确地预言了chatgpt的诞生给全世界带来的改变——llm会越来越融入我们的生活，吞噬全球的算力。这篇文章远远领先于他的时代，但却被谷歌的决策者忽略了。
论文地址：https://arxiv.org/pdf/2001.09977.pdf
现在，谷歌拥有算力王国所有的钥匙，沉睡的巨人已经醒来，他们的向前迭代的速度已经无法阻挡，在2023年底，谷歌的算力将达到gpt-4预训练flops的五倍。而考虑谷歌现在的基建，到明年年底，这个数字或许会飙升至100倍。谷歌是否会在不削减创造力、不改变现有商业模式的基础上在这条路上继续深耕？目前无人知晓。
「gpu富豪」和「gpu穷人」
现在，手握英伟达gpu的公司，可以说是掌握了最硬的硬通货。openai、谷歌、anthropic、inflection、x、meta这些巨头或明星初创企业，手里有20多万块a100/h100芯片，平均下来，每位研究者分到的计算资源都很多。
个人研究者，大概有100到1000块gpu，可以玩一玩手头的小项目。
coreweave已经拿英伟达h100抵押，用来买更多gpu
而到2024年底，gpu总数可能会达到十万块。现在在硅谷，最令顶级的机器学习研究者自豪的谈资，就是吹嘘自己拥有或即将拥有多少块gpu。在过去4个月内，这股风气越刮越盛，以至于这场竞赛已经被放到了明面——谁家有更多gpu，大牛研究员就去哪儿。meta已经把「拥有世界上第二多的h100 gpu」，直接拿来当招聘策略了。
与此同时，数不清的小初创公司和开源研究者，正在为gpu短缺而苦苦挣扎。因为没有足够虚拟内存的gpu，他们只能虚掷光阴，投入大量时间和精力，去做一些无关紧要的事。他们只能在更大的模型上来微调一些排行榜风格基准的小模型，这些模型的评估方法也很支离破碎，更强调的是风格，而不是准确性、有用性。他们也不知道，只有拥有更大、更高质量的预训练数据集和ift数据，才能让小开源模型在实际工作负载中得到改进。
「谁将获得多少h100，何时获得h100，都是硅谷现在的顶级八卦。」openai联合创始人andrej karpathy曾经这样感慨
是的，高效使用gpu很重要，许多gpu穷人把这一点忽视了。他们不关心规模效应的效率，也没有有效利用自己的时间。到明年，世界就会被350万h100所淹没，而这些gpu穷人，将彻底与商业化隔绝。他们只能用手中的游戏用gpu来学习、做实验。大部分gpu穷人仍然在使用密集模型，因为这就是meta的llama系列模型所提供的。如果不是扎克伯格的慷慨，大部分开源项目会更糟。如果他们真的关心效率，尤其是客户端的效率，他们会选择moe这样的稀疏模型架构，并且在更大的数据集上进行训练，并且像openai、anthropic、google deepmind这样的前沿llm实验室一样，采用推测解码。
此图表假设，无法融合每个操作、注意力机制所需的内存带宽、硬件开销相当于参数读取，都会导致效率低下。实际上，即使使用优化的库，比如英伟达的fastertransformer库，总开销甚至还会更大
处于劣势的公司应该把重点放在提高模型性能或减轻token到token延迟上，提高计算和内存容量要求，减少内存带宽，这些才是边缘效应所需要的。他们应该专注于在共享基础架构上高效地提供多个微调模型，而不必为小批量模型付出可怕的成本代价。然而，事实却恰恰相反，他们却过于关注内存容量限制或量化程度太高，却对模型实际质量的下降视而不见。总的来说，现在的大模型排行榜，已经完全乱套了。虽然闭源社区还有很多人在努力改进这一点，但这种开放基准毫无意义。出于某种原因，人们对llm排行榜有一种病态的痴迷，并且为一些无用的模型起了一堆愚蠢的名字，比如platypus等等。在以后，希望开源的工作能转向评估、推测解码、moe、开放ift数据，以及用超过10万亿个token清洗预训练数据，否则，开源社区根本无法与商业巨头竞争。
现在，在大模型之战的世界版图已经很明显：美国和中国会持续领先，而欧洲因为缺乏大笔投资和gpu短缺已经明显落后，即使有政府支持的超算儒勒·凡尔纳也无济于事。而多个中东国家也在加大投资，为ai建设大规模基础设施。
当然，缺乏gpu的，并不只是一些零散的小初创企业。即使是像huggingface、databricks（mosaicml），以及together这种最知名的ai公司，也依然属于「gpu贫困人群」。事实上，仅看每块gpu所对应的世界top级研究者，或者每块gpu所对应的潜在客户，他们或许是世界上最缺乏gpu的群体。虽然拥有世界一流的研究者，但所有人都只能在能力低几个数量级的系统上工作。虽然他们获得了大量融资，买入了数千块h100，但这并不足以让他们抢占大部分市场。
你所有的算力，全是从竞品买的
在内部的各种超级计算机中，英伟达拥有着比其他人多出数倍的gpu。其中，dgx cloud提供了预训练模型、数据处理框架、向量数据库和个性化、优化推理引擎、api以及英伟达专家的支持，帮助企业定制用例并调整模型。
如今，这项服务也已经吸引了来自saas、保险、制造、制药、生产力软件和汽车等垂直行业的多家大型企业。即便是不算上那些未公开的合作伙伴，仅仅是由安进（amgen）、adobe、ccc、servicenow、埃森哲（accenture）、阿斯利康（astrazeneca）、盖蒂图片社（getty images）、shutterstock、晨星（morningstar）、evozyne、insilico medicine、quantiphi、instadeep、牛津纳米孔（oxford nanopore）、peptone、relation therapeutics、alchemab therapeutics和runway等巨头组成的这份比其他竞争对手要长得多的名单，就已经足够震撼了。考虑到云计算的支出和内部超级计算机的建设规模，企业从英伟达这里购买的似乎比huggingface、together和databricks所能够提供的服务加起来还要多。
作为行业中最有影响力的公司之一，huggingface需要利用这一点来获得巨额投资，建立更多的模型、定制和推理能力。但在最近一轮的融资中，过高的估值让他们并没有得到所需的金额。databricks虽然可以凭借着数据和企业关系迎头赶上。但问题在于，如果想要为超过7，000个客户提供服务，就必须将支出增加数倍。不幸的是，databricks无法用股票来购买gpu。他们需要通过即将开始的私募/ipo来进行大规模融资，并进一步用这些现金来加倍投资于硬件。从经济学的角度来看有些奇怪，因为他们必须先建设，然后才能引来客户，而英伟达同样也在为他们的服务一掷千金。不过，这也是参与竞争的前提条件。
这里的关键在于，databricks、huggingface和together明显落后于他们的主要竞争对手，而后者又恰好是他们几乎所有计算资源的来源。也就是说，从meta到微软，再到初创公司，实际上所有人都只是在充实英伟达的银行账户。那么，有⼈能把我们从英伟达奴役中拯救出来吗？是的，有⼀个潜在的救世主——谷歌。
谷歌算⼒之巅，openai不及一半
虽然内部也在使用gpu，但谷歌的手中却握着其他「王牌」。其中，最让业界期待的是，谷歌下一代大模型gemini，以及下一个正在训练的迭代版本，都得到了谷歌无以伦比的高效基础设施的加持。
早在2006年，谷歌就开始提出了构建人工智能专用基础设施的想法，并于2013年将这一计划推向高潮。他们意识到，如果想大规模部署人工智能，就必须将数据中心的数量增加一倍。因此，谷歌开始为3年后能够投入生产的tpu芯片去做准备。最著名的项目nitro program在13年发起，专注于开发芯片以优化通用cpu计算和存储。主要的目标是重新思考服务器的芯片设计，让其更适合谷歌的人工智能计算工作负载。自2016年以来，谷歌已经构建了6种不同的ai芯片，tpu、tpuv2、tpuv3、tpuv4i、tpuv4和tpuv5。谷歌主要设计这些芯片，并与broadcom进行了不同数量的中后端协作，然后由台积电生产。tpuv2之后，这些芯片还采用了三星和sk海力士的hbm内存。
在介绍gemini和谷歌的云业务之前，爆料者先分享了关于谷歌疯狂扩张算力的一些数据——各季度新增加的⾼级芯⽚总数。对于openai来说，他们拥有的总gpu数量将在2年内增加4倍。而对于谷歌来说，所有人都忽视了，谷歌拥有tpuv4（puverash）、tpuv4 lite，以及内部使⽤的gpu的整个系列。此外，tpuv5 lite没有在这里算进去，尽管它可能是推理较⼩语⾔模型的主⼒。如下图表中的增长，只有tpuv5（viperash）可视化。
即使对他们的能力给予充分肯定，谷歌的算力也足以让所有人都傻了眼。实际上，谷歌拥有的tpuv5比openai、meta、coreweave、甲骨文和亚马逊拥有的gpu总和还要多。并且，谷歌能够将这些能力的很大一部分出租给各种初创公司。当然，就每个芯片方面的性能来说，tpuv5与h100相比有显著的差距。
撇开这点不说，openai的算力只是谷歌的一小部分。与此同时，tpuv5的构建能够大大提升训练和推理能⼒。此外，谷歌全新架构的多模态大模型gemini，一直在以令人难以置信的速度迭代。据称，gemini可以访问多个tpu pod集群，具体来讲是在7+7 pods上进行训练。
爆料者表示，初代的gemini应该是在tpuv4上训练的，并且这些pod并没有集成最大的芯片数——4096个芯⽚，而是使用了较少的芯片数量，以保证芯片的可靠性和热插拔。如果所有14个pod都在合理的掩模场利用率（mfu）下使⽤了约100天，那么训练gemini的硬件flops将达到超过1e26。作为参考，爆料者在上次「gpt-4架构」文章中曾详细介绍了gpt-4模型的flops比2e25稍高一点。而⾕歌模型flops利⽤率在tpuv4上⾮常好，即使在⼤规模训练中，也就是gemini的第⼀次迭代，远远⾼于gpt-4。
尤其是，就模型架构优越方面，如增强多模态，更是如此。真正令人震惊的是gemini的下一次迭代，它已经开始在基于tpuv5的pod上进⾏训练，算力高达~1e26 flops，这比训练gpt-4要大5倍。据称，第⼀个在tpuv5上训练的gemini在数据⽅⾯存在⼀些问题，所以不确定谷歌是否会发布。这个~1e26模型可能就是，公开称为gemini的模型。再回看上⾯的图表，这不是⾕歌的最终形态。⽐赛已经开始了，而⾕歌有着巨⼤的优势。如果他们能够集中精力并付诸实施，至少在训练前的计算规模扩展和实验速度方面，他们终将胜出。
他们可以拥有多个比openai最强大的集群，还要强大的集群。谷歌已经摸索了一次，还会再来一次吗？当前，⾕歌的基础设施不仅满⾜内部需求，anthopic等前沿模型公司和⼀些全球最⼤的公司，也将访问tpuv5进⾏内部模型的训练和推理。⾕歌将tpu迁移到云业务部门，并重新树立了商业意识，这让他们赢得了一些大公司的青睐果断战斗。未来几个月，你将会看到谷歌的胜利。这些被推销的公司，有的会为它的tpu买单。
苹果A10的GPU之所以强，既然是因为这样，吊打安卓
python两点间距离简单编程
东莞导轨维修、维修机床导轨车床导轨设备导轨等服务商
半导体集成电路封装流程|划片工艺详解
讲一讲Apple Macintosh处理器过渡的故事
谷歌Gemini被曝算力达GPT-4五倍，手握TPU王牌碾压OpenAI
受新冠肺炎疫情影响，苹果宣布暂时关闭法国17家门店
笔记本电池如何选购？
盘点十大智能传感器品牌
联想提供F41笔记本电池放电过快解决方案
苹果HomePod给亚马逊带来危机感：后者将升级Echo配置抗衡HomePod
国内充电桩六大运营模式以及市场分析
低收缩率、耐老化、低CTE的光学UV胶水
永不关机！三星推未来电视Lifestyle TV：能当壁画
2022年：中国5G基站总量占全球超过60%
华为Mate10什么时候上市？和iPhone8一同九月发布，全面屏+首发麒麟970，秒杀三星note8死磕苹果iPhone8！
显示装备国产替代订单增长 联得装备上半年净利润同比增长174.25%
电视盒子哪个好？天猫魔盒M17、小米盒子3s等六款畅销高配智能盒子推荐
俄罗斯被ubuntu断供引担忧，国产操作系统再迎重大突破！
新零售都听出茧了，看人家新明珠是怎么玩！