墨芯支持Byte MLPerf助力AI应用

在大模型趋势下,墨芯通过领先的稀疏计算优势,助力企业加速ai应用,商业化进程接连取得重要突破。
近日,ai推理评测bytemlperf 公开了墨芯s30计算卡的评测结果。墨芯成为支持bytemlperf的供应商之一。
图:墨芯是适配byte mlperf(推理)的供应商之一
图:byte mlperf基准套件介绍
byte mlperf 的评估会分为三个方面,如下:
1. graph compiler的易用性、扩展性以及覆盖率;
2. 运行精度评估:包括数值误差和模型跑数据集精度;
3. 运行性能评估:不同场景下的(一般指bs不同)的吞吐和延时表现。
墨芯产品与byte mlperf的成功适配,标志着墨芯的商业化进程迈出重要一步,再度印证了稀疏计算在推理性能、能效比等方面的多重优势,展现出墨芯ai计算平台在业务场景中的巨大应用价值。
性能突出
凸显应用价值
图:墨芯ai计算平台在byte mlperf上的性能数据
基于墨芯独创的双稀疏算法与软硬协同设计,墨芯ai计算平台不仅支持byte mlperf 模型库中的多个模型,而且以优秀的性能与高能效比,贴合实际业务场景的需求:
01
大幅降低tco,助力企业降本增效
稀疏计算去除了ai计算中的无效元素,因而提升计算效率,墨芯s30计算卡的峰值功耗仅为 250w,意味着降低ai计算过程中的运营成本、基础设施等成本,缓解算力昂贵等业界难题。
02
应用场景广泛
墨芯ai计算平台支持byte mlperf 模型库中的计算机视觉、语音、自然语言处理等多类任务,适用于识别、检测、推荐、aigc等多种ai应用场景,助力企业拓宽ai业务布局。
软硬协同平台
快速赋能ai落地
墨芯基于性能领先的硬件产品与软件平台,为客户提供企业级端到端的解决方案:墨芯sparsert 软件开发环境全面支持硬件产品,为快速开发提供了完整的可扩展平台并激活稀疏计算的潜力。同时sparsert 可以高效支持通用的ai編程框架,如tensorflow、pytorch、onnx和mxnet等。用户可以在熟悉的tensorflow或pytorch环境里进行开发之后再进行迁移与交付。
sparsert独特的sparseopt为ai模型提供4至32倍的稀疏压缩能力,并且易于集成到现有的模型交付流程中,从而充分释放大模型的实时服务潜力。sparsert提供可视化性能分析工具,支持离线和实时的模型性能分析,帮助开发人员分析模型中存在的瓶颈,并提供模型部署优化建议,使开发人员能将墨芯的软硬件解决方案几乎零成本集成到现有的基础设施和算法交付中。
图 / 墨芯软硬协同ai计算平台
墨芯将持续与客户紧密协作,共同探索更多ai应用场景,以创新的ai计算平台与服务,为各行业的智能化升级创造更多价值。


“光创招证基金”注册成立,目标规模10亿投向半导体产业
土壤盐分测定仪的特点介绍
嵌入式Linux中内存管理详解
笔式电路故障寻迹器电路图解析
钙钛矿晶体,或将是下一个太阳能电池革命的颠覆者
墨芯支持Byte MLPerf助力AI应用
伦佐-皮亚诺太阳能大桥在热那亚正式投运
Japan Display获得官民基金投资750亿元用于OLED研发
人工智能都在哪些领域有所应用
芯耀辉DDR5/4荣膺硬核中国芯“2023年度最佳IP产品奖”
空调型号命名标准
小米平板3开箱图赏:外观神似小米2S,内在升级
高精度过零检测电路原理和案例
快讯:榆林基建“加速度”,源码助力建设物联网太阳能智慧路灯
智能打气泵方案—汽车轮胎充气泵方案
康拓红外9.7亿元收购智能仿真公司获有条件通过 8月8日起复牌
DSP控制的UPS逆变器的谐波调节系统失真的消除
led显示屏由哪些部件组成_led显示屏使用方法
iPhone5将支持LTE iPad3明年3月上市
C语言语句的作用和分类