不再焦虑GPU供应，8芯片挑战5万亿参数大模型
随着llm与生成式ai热度不减，不少ai芯片初创公司都找到了新的发力点，纷纷调整设计思路，专为这一爆款应用开发出了新款芯片。且不说这些芯片的实际性能如何，但这无疑是当下推动这些公司获得投资，并在行业下行期存活下去的救命稻草。今天我们就来聊聊刚发布新品sn40l的ai芯片初创公司sambanova。
sn40l背后的sambanova
sambanova成立于2017年，截至目前已经历了共计6轮融资，参与融资的公司包括谷歌、英特尔和软银等，融资总额高达11亿美元。只不过最近的d轮融资，距今已经有两年多的时间，也难怪sambanova急于推出sn40l这一芯片，毕竟此类初创公司的开发从来都是烧钱的。
其实在sn40l推出以前，sambanova也并非默默无闻，比如美国阿贡国家实验室早在第一代产品sn10推出时就在使用和测试sambanova的系统了，只不过届时基于sn10的sambanova dataflow系统还只是用于消除数据噪声而已。
如果我们现在看阿贡国家实验室的alcf ai测试平台，我们可以看到5大系统，分别是cerebras的cs2、sambanova的dataflow、graphcore的bow pod64、grop系统以及habana的gaudi。而目前用于alcf ai测试平台的sambanova dataflow就是基于sn40l的上一代产品sn30 rdu打造的，该芯片基于台积电的7nm工艺打造。
目前sn30用在阿贡国家实验室的这套系统主要用于一些科学研究领域的ai计算，比如中微子物理、癌症预测、气候建模以及下一代汽车引擎研发等。而我们真正关注的是刚发布的sn40l，以及它在llm这一应用上能提供何种不同的优势。
英伟达gpu的替代方案
目前llm的主流方案，即英伟达的a100、h100 gpu，存在一个很大的问题，那就是缺货。对于任何互联网厂商来说，在市面上找到足够多的gpu都是一件费钱费力的事。而对于云服务厂商来说也是如此，他们也要考虑出租这类服务器时，gpu的算力与容量分配问题。
sn40l芯片和ceo rodrigo liang / sambanova
为了解决“数量”的问题，sambanova推出了sn40l。相较上一代的sn30，该芯片基于台积电5nm工艺打造，每个芯片集成了1020亿个晶体管和1040个核，算力高达638tflops。更夸张的是，sambanova称单个sn40l系统节点（8块sn40l芯片）就能支持到最高5万亿参数的大模型。
与其他ai芯片初创公司不一样的是，他们并没有选择直接将芯片卖给其他公司这条路线，而是选择了售卖访问其定制ai技术栈的访问权，包括其自研硬件和运行超大模型的软件等。这种商业模式或许能吸引一部分互联网公司，但在云服务厂商眼中，他们应该不会觉得这是一套可盈利的方案。
此外，sambanova与其他竞争对手一样，在ai芯片上引入了64gb hbm用于解决内存墙的问题，这也是sn40l与上一代芯片的差异之一。只不过sambanova并没有透露sn40l用的是何种hbm，以及带宽性能如何。
写在最后
虽然sambanova展示了提高llm扩展性的另一条道路，但在没有经过实际验证之前，市场还是会对其持观望态度。此前也有不少ai芯片公司发表过同样大胆的声明，但事实证明这类芯片只适合用于运行那些预训练完成的模型，而训练过程仍需要靠gpu来完成。所以哪怕sambanova的ceo rodrigo liang强调sn40l的训练性能足够优秀，但是否能在这套商业模式下闯出一片天，就得交由市场去验证了。
槽型光电开关的工作原理/测试方法/典型应用/优势特点
人和人工智能最大的区别
整流桥整流后的波形是什么 整流桥出来的电压怎么稳定
人脸识别访客管理需求分析
iPhone7、7plus外观基本确定 配色很多我也是醉了
不再焦虑GPU供应，8芯片挑战5万亿参数大模型
国内的自动驾驶和智能网联示范区简单的分析
2020年区块链将面临的挑战以及未来发展趋势
独石电容与cbb电容区别
物联网设备之间直接通信的新组件
京东方全球电视面板出货量首次超越LGD 跃居全球第一
Apollo自动驾驶出租车服务即将在长沙开放试运营
人工智能以消除我们招聘过程中的偏见了吗？
电连接器分类
盘点各行业应用的10个人工智能用例
LM4732构成的辅助音频功率放大电路图
Sophos Intercept X深度学习技术预测安全
实现移动通信网络监控系统的设计论述
物理隔离的切断IDE数据线
IFA 2023开幕在即，涂鸦携众多创新节能方案推进绿色低碳
sn40l背后的sambanova
sambanova成立于2017年，截至目前已经历了共计6轮融资，参与融资的公司包括谷歌、英特尔和软银等，融资总额高达11亿美元。只不过最近的d轮融资，距今已经有两年多的时间，也难怪sambanova急于推出sn40l这一芯片，毕竟此类初创公司的开发从来都是烧钱的。
其实在sn40l推出以前，sambanova也并非默默无闻，比如美国阿贡国家实验室早在第一代产品sn10推出时就在使用和测试sambanova的系统了，只不过届时基于sn10的sambanova dataflow系统还只是用于消除数据噪声而已。
如果我们现在看阿贡国家实验室的alcf ai测试平台，我们可以看到5大系统，分别是cerebras的cs2、sambanova的dataflow、graphcore的bow pod64、grop系统以及habana的gaudi。而目前用于alcf ai测试平台的sambanova dataflow就是基于sn40l的上一代产品sn30 rdu打造的，该芯片基于台积电的7nm工艺打造。
目前sn30用在阿贡国家实验室的这套系统主要用于一些科学研究领域的ai计算，比如中微子物理、癌症预测、气候建模以及下一代汽车引擎研发等。而我们真正关注的是刚发布的sn40l，以及它在llm这一应用上能提供何种不同的优势。
英伟达gpu的替代方案
目前llm的主流方案，即英伟达的a100、h100 gpu，存在一个很大的问题，那就是缺货。对于任何互联网厂商来说，在市面上找到足够多的gpu都是一件费钱费力的事。而对于云服务厂商来说也是如此，他们也要考虑出租这类服务器时，gpu的算力与容量分配问题。
sn40l芯片和ceo rodrigo liang / sambanova
为了解决“数量”的问题，sambanova推出了sn40l。相较上一代的sn30，该芯片基于台积电5nm工艺打造，每个芯片集成了1020亿个晶体管和1040个核，算力高达638tflops。更夸张的是，sambanova称单个sn40l系统节点（8块sn40l芯片）就能支持到最高5万亿参数的大模型。
与其他ai芯片初创公司不一样的是，他们并没有选择直接将芯片卖给其他公司这条路线，而是选择了售卖访问其定制ai技术栈的访问权，包括其自研硬件和运行超大模型的软件等。这种商业模式或许能吸引一部分互联网公司，但在云服务厂商眼中，他们应该不会觉得这是一套可盈利的方案。
此外，sambanova与其他竞争对手一样，在ai芯片上引入了64gb hbm用于解决内存墙的问题，这也是sn40l与上一代芯片的差异之一。只不过sambanova并没有透露sn40l用的是何种hbm，以及带宽性能如何。
写在最后
虽然sambanova展示了提高llm扩展性的另一条道路，但在没有经过实际验证之前，市场还是会对其持观望态度。此前也有不少ai芯片公司发表过同样大胆的声明，但事实证明这类芯片只适合用于运行那些预训练完成的模型，而训练过程仍需要靠gpu来完成。所以哪怕sambanova的ceo rodrigo liang强调sn40l的训练性能足够优秀，但是否能在这套商业模式下闯出一片天，就得交由市场去验证了。
槽型光电开关的工作原理/测试方法/典型应用/优势特点
人和人工智能最大的区别
整流桥整流后的波形是什么 整流桥出来的电压怎么稳定
人脸识别访客管理需求分析
iPhone7、7plus外观基本确定 配色很多我也是醉了
不再焦虑GPU供应，8芯片挑战5万亿参数大模型
国内的自动驾驶和智能网联示范区简单的分析
2020年区块链将面临的挑战以及未来发展趋势
独石电容与cbb电容区别
物联网设备之间直接通信的新组件
京东方全球电视面板出货量首次超越LGD 跃居全球第一
Apollo自动驾驶出租车服务即将在长沙开放试运营
人工智能以消除我们招聘过程中的偏见了吗？
电连接器分类
盘点各行业应用的10个人工智能用例
LM4732构成的辅助音频功率放大电路图
Sophos Intercept X深度学习技术预测安全
实现移动通信网络监控系统的设计论述
物理隔离的切断IDE数据线
IFA 2023开幕在即，涂鸦携众多创新节能方案推进绿色低碳