2023 年注定是属于大模型和向量数据库的巅峰时刻。国内大模型的发展也迎来前所未有之机遇,“百模”激战正酣。在刚闭幕的世界人工智能大会上,国内外科技公司全线加入,三十余款大模型集中亮相,“国家队”尘埃落定,并正式启动大模型测试国家标准制订,掀起新一轮大模型热浪。而作为“大模型记忆体”、aigc 应用开发新范式的重要组成部分,向量数据库的演进也逐渐达到了前所未有的新高度。
milvus自2019年正式开源以来,已经成长为全球最大、最活跃的向量数据库开源项目与开发者社区。作为milvus背后的开发者与运营者,zilliz 一直走在向量数据库的最前沿,始终秉承为开发者提供易用性强、性价比高的向量数据库服务的理念。经过五年的持续打磨,终于在国内推出了基于 milvus的全托管向量数据库云服务产品——zilliz cloud。
经过不断地开发与升级,zilliz cloud 俨然成为向量数据库赛道的领先者。随着 zilliz cloud 在国内全面开启向量数据库云服务,也为向量数据库的高速发展开启了全新的纪元。对于此次在国内的服务落地,zilliz 秉承的使命和目标尤为清晰和明确:
●提供全球最专业的全托管向量数据库云服务。
●打破向量数据库服务集中在北美,国内无可用向量数据库服务的尴尬局面。
●满足向量数据库服务多云的需求,避免业务被单一云环境限制。
●为跨境业务中所需要的统一向量数据库服务和架构提供可行性。
●milvus 开源解决方案、saas、paas 统一接口标准,无缝线下/云上迁移,并大幅度降低混合部署的综合成本。
●提供比开源 milvus 具有更高性价比、更稳定服务支持的产品和解决方案。
成熟稳定,全球率先支持十亿级别向量规模的服务
milvus 自开源以来,一直都是企业用户自建向量数据平台的首选,全套技术解决方案已被上万家企业所采用,其中百度、新浪、理想汽车、华泰证券、沃尔玛、line、bigo 等头部企业在实践中经过反复验证,均已顺利投产。
向量数据库是 aigc 大模型的重要补充,是提供准确可靠、高度可扩展的长短期“记忆”的关键载体。近一年,向量数据库项目如雨后春笋般涌现。然而,大部分向量数据库支持的向量数据规模仅停留在千万量级,并不具备支撑生产环境的能力。
相较之下,milvus 在过去 5 年的客户应用场景覆盖各行各业,早在 2021 年就实现稳定支持十亿级向量规模的线上服务。如今,zilliz cloud 的向量数据库服务可轻松支持十亿级以上规模向量数据,可用性高达 99.9%。
此外,在产品与技术背后,zilliz 亦拥有全球最资深的向量数据库专家团队,可以为每一位企业用户配备 4 名技术支持,“没有人比我们更懂向量数据库”是团队对开源社区与商业化用户的承诺。
高性能+高性价比,性能优异远超同类产品
当前主流的向量数据索引算法是内存算法或内存/ssd 混合,算法内核以矩阵计算为主(类似 hpc),大规模向量检索与分析是计算/内存双重密集的任务。这意味着向量数据库作为基础设施,对于性能与成本更加敏感。
从性能方面来看,zilliz cloud 在 qps 和降低查询延迟方面远超其他同类产品。我们将 zilliz cloud 、milvus、pinecone、elasticcloud 4 个常见的向量数据库(elasticcloud 严格来说不属于向量数据库,但附带向量能力,在传统文本检索领域受众最广,可以视为目前传统数据库支持向量检索的代表)在同等资源及 6 组向量查询任务的同等条件下进行了对比(测试框架已开源,详见 vectordbbench,leaderboard)。
对比结果如下:
在查询吞吐方面,zilliz cloud 在全部6组查询任务中全面力压向量数据库 pinecone,整体性能平均超越2倍以上。与此同时,zilliz cloud 相比 milvus,也有将近一倍的提升,表现令人眼前一亮。elasticcloud 作为传统文本检索服务的代表,向量查询能力主要为补充能力,这 6 组查询任务的 qps 均在 50 以下。
查询延迟方面,zilliz cloud 整体在 10 ms 以下,milvus 整体在 20 ms 以下,pinecone 在 20-40 ms 之间,elasticcloud 差距较为明显。
性价比方面,主要考察 queries per dollar (高并发情况下,单位成本所能支持的查询请求数量)。相较pinecone、elastic,zilliz cloud 的优势十分明显。指标相比第二位的 pinecone 最多可以高出 1 个数量级(q1, q2),在剩下的四组任务中普遍可以高 3 倍左右。(由于 milvus 为开源方案,难以和商业化服务在相同标准下比较,我们在这组测试中将其移除。)
黑科技加持,软硬件性能飙升,全新内核火力全开
zilliz cloud 采用商业化引擎,综合性能超过milvus 开源引擎的 1 倍以上。引擎针对典型场景进行深度优化,性能可提升 3-5 倍。
硬件层面,zilliz 与英伟达、英特尔等一线硬件厂商有着长期稳定的合作,向量算法内核针对 x86、arm、gpu 进行了定制化优化。
软件层面,zilliz cloud 推出了 autoindex 智能索引。智能索引根据用户的向量维度、数据规模、数据分布、查询特性进行持续的自动化调优,免去用户索引类型选型以及参数调优的痛苦。据 zilliz 内部测试,autoindex 智能索引已经达到向量数据库专家手工调优效果的 84%,大幅超越用户的平均水平。在下一阶段,autoindex 智能索引的功能还会得到大幅度增强,支持用户指定 recall 进行优化,保证索引运行在指定查询准确度的最优点。
当然,针对最近大火的 aigc 应用,zilliz cloud 也推出了专门的特性支持:
●动态 schema ,可以根据 aigc 迭代需要,灵活扩展向量特征或标签字段。
●partition key ,支持 aigc 应用多用户知识库的利器,相较单独建表方案,综合成本可下降 2 -3 个数量级。
●支持 json 类型,可以将 json 与 embedding 这两种超强能力相结合,实现基于 json 与 embedding 向量的混合数据表示以及复杂的业务逻辑。
打破 “cap” 不可能三角,给用户灵活选择
向量数据库技术发展到现在并不完美,通常情况下,业务需要在成本(cost)、查询效果与准确度(accuracy)、查询性能(performance)之间做权衡,即向量数据库的 cap 问题。目前来看,cap 是一个不可能三角,zilliz 的解法是在典型的位置给出局部最优解,并给用户以灵活的选择。
事实上,用户的普遍场景可以归纳为性能需求型、容量需求型与成本敏感型。为此,zilliz cloud 在向量数据库实例中也相应提供了三类支持:性能型、容量型和经济型。不同的实例类型由不同的算法与硬件资源组合而成,适用于不同的业务场景。
●性能型实例适用于需要低延迟和高吞吐量的向量相似性检索场景,该类型的实例能够保证毫秒级的响应。
性能型实例的适用场景包括但不限于:生成式 ai、推荐系统、搜索引擎、聊天机器人、内容审核、llm 增强的知识库、金融风控。
●容量型实例可以支持的数据量是性能型的 5 倍,但查询延迟略有增加,因此适用于需要大量存储空间的场景,尤其是需要处理千万级以上向量数据的场景。
容量型实例的适用场景包括但不限于:搜索大规模的非结构化数据(如:文本、图像、音频、视频、药物化学结构等)、侵权检测、生物身份验证。
●经济型实例可支持的数据规模与容量型一致,但价格优惠 7 折左右,性能略有下降,适用于追求高性价比或预算敏感的场景。
经济型实例的适用场景包括但不限于:数据标记或数据聚类、数据去重、数据异常检测、平衡训练集类型分布。
支持大模型与非结构化数据处理全生态覆盖
没有任何一套系统可以满足使用者业务上的所有需求,向量数据库也是如此。在以向量数据库为支撑的业务中,往往需要处理多道流程,包括:
●业务数据的语义结构化,如从文本数据中梳理标题 embedding、内容段落的embedding、一二级主题、阅读时间;
●面向端到端效果的模型选型,如寻找能带来最佳效果的 embedding 模型选型;
●模型与向量数据库的集成,如向量数据库查询驱动的原始数据召回以及后续 llm 对召回内容的总结或重构等。
为了进一步降低应用构建成本,提供标准化组件,zilliz cloud 为开发者提供了双重支持:
●大模型生态对接。2023 年 3 月,zilliz 作为 openai 首批向量数据库合作伙伴,完成了 milvus 与 zilliz cloud 的插件化集成,被纳入官方推荐的向量数据库插件名单。不止如此,zilliz 还与 langchain、cohere、llamaindex、auto-gpt、babyagi 等热门项目进行了深度集成。此外,与国产大模型如文心一言、通义千问、智谱 ai、minimax、360 智脑等对接工作正在进行中,近期将会有更多成果发布。
●面向非结构化数据处理流水线。zilliz cloud 提供了开源的 towhee 工具框架。开发者可以在熟悉的 python 环境,以类似 spark 的算子语法编写自己的流水线,轻松处理文本、图片、音频、视频、化合物结构等非结构化数据的 etl 过程。towhee 同时提供自动化编排工具,一键在 python 环境验证过的流水线组织成基于 triton、tensorrt、onnx 以及一系列硬件加速算法的服务镜像,面向如文本近似搜索、智能问答、知识库等典型场景。当然,towhee 也提供深度优化的标准流水线。
目前,zilliz cloud 提供 saas 和 paas 服务,其中 saas 已覆盖 aws、gcp、阿里云,paas 覆盖 aws、gcp、azure、阿里云、百度智能云、腾讯云和金山云。国内官网已同步上线,更多详情和案例可以访问 https://zilliz.com.cn(海外官网和云服务入口: https://zilliz.com)。
为了加速打磨业界最佳实践,我们即将启动「寻找 aigc 时代的 cvp 实践之星」 专题活动,zilliz 将联合国内头部大模型厂商一同甄选应用场景, 由双方提供向量数据库与大模型顶级技术专家为用户赋能,一同打磨应用,提升落地效果,赋能业务本身。如果你的应用也适合 cvp 框架,且正为应用落地和实际效果发愁,可直接申请参与活动,获得最专业的帮助和指导。(注:cvp 即 c 代表以 chatgpt 为代表的 llms,v 代表 vector db,p 代表 prompt engineering,联系方式参见 business@zilliz.com)
2023 年伴随着 agi 和 llms 的爆发已经过半,加速探索大模型落地之路已经迫在眉睫。行业的高度共识推动着 ai 奇点的来临,大模型将重构企业级应用,重塑人工智能产业的发展方向。zilliz 表示,未来将持续聚焦向量数据库行业发展的最前沿,以各行各业的智能化演进为目标,为大模型时代的企业和开发者提供最具竞争力的“大模型记忆体”。
视频打印机的图像像素/图像存储/打印图像尺寸
再添一艘!汇川大功率水冷变频器助力海工船舶国产化升级
微软收购GitHub已支付13亿现金 微软推出新版Surface Go
科学家成功制造出世界上最小的晶体管,计算能力大大提高
日本研发新型热塑性碳纤维复合材料,适用于半导体等精密部件领域
开源铸剑,五载匠心!Zilliz Cloud云服务盛装登场,引领向量数据库云时代!
关于CSS3 背景知识的详细介绍
电子镇流器是什么
3G内存+骁龙625,小米又曝新机
差动螺管式电感传感器振幅测量
联想 Moto X4将于今年第四季度推出
开箱即用!教你如何正确使用华为云编译构建服务CodeArts Build!
防振电容器如何改变汽车电子控制器单元的可靠性
华为mate10Pro谍照曝光:3D脸部扫描+麒麟970,超强配置无机可挡
整流桥的如何使用?整流桥的接线方法
微软 Surface问世以来首次出现销售额下滑
什么是延时工作量证明dPoW
英国人工智能简史:从艾伦图灵到DeepMind
发电机产生的有害气体应该如何预防?
AI界智能语音的“外星人”,有灵魂的“一丙”即将发售!