华为云ModelArts研发平台升级,全面提升行业AI落地能力

9月25日，在华为全联接2020期间，华为云发布了modelarts 3.0，融合骨干模型、联邦学习、智能评估、智能诊断和高效算力。
“modelarts在多个行业和项目中有了成功落地，离不开华为云ei在人工智能领域的长期投入。”华为云ai首席科学家田奇指出，华为云长期扎根ai基础技术研究，覆盖计算机视觉、语音语义和决策优化三大领域，提出了六大基础研究计划。这些计划产生的许多研究成果以即插即用的方式逐步部署于华为云modelarts，助力行业ai落地。
“华为云发布的modelarts3.0，是面向ai在行业落地提供的ai开发平台，旨在通过ai技术高效解决行业挑战。” 谈及modelarts 3.0发布的初衷，田奇指出，为应对这些难点，华为将骨干模型、联邦学习、智能诊断评估优化、和高效算力并将它们融入到modelarts3.0的开发中。
具体来看，华为云骨干工具链ei-backbone提供了ai开发的新范式。通过整合模型高效、数据高效、算力高效、知识高效，全面提升行业ai落地能力，ei-backbone的能力，已经在10余个行业成功验证，并且斩获10余个业界挑战赛冠军。
众所周知，数据是ai应用的基础，只有基于多样化的数据，才能实现ai智能感知。然而，在实际ai行业落地中，数据是分散在不同的数据控制者之间，这就导致了行业应用的数据孤岛问题，使得ai算法训练效果受到限制。
针对这个问题，华为云modelarts提供联邦学习特性，实现数据不出户的联合建模。用户各自利用本地数据训练，不交换数据本身，只用加密方式交换更新的模型参数，实现协同训练。
目前，华为云ei与中国科学院上海药物所的蒋华良院士合作，将华为自研的fedamp算法和autogenome算法应用到药物研发的ai任务中，精准预测药物水溶解性、心脏毒性和激酶活性，准确度远超传统的联邦学习和深度学习算法。
并且，华为云提供云边协同的服务，支持不同地点、不同客户的数据进行联邦训练，通过加密方式上传服务端，对全局模型进行更新，再将其下发至边缘设备，便捷支持同业态的横向联邦和跨业态的纵向联邦学习。联邦训练参与者可以通过云端，也可以通过华为云边缘设备（如智能小站）的计算能力参与联邦训练，实现行业内联合建模。
众所周知，模型在部署上线前，需要进行充分评估，结果优秀的模型直接投入生产环境，差强人意的则需要进一步优化迭代。
田奇表示，modelarts提供了全面的可视化评估、智能化诊断功能，使得开发者可以直观的了解模型的各方面性能，进而针对性的进行调优或部署生产。
值得关注的是，弹性训练也是modelarts的核心能力之一，可以根据模型训练速度的需求自适应实现资源的最佳分配。
据田奇介绍，modelarts提供两种模式，一是turbo模式，可以充分利用空闲资源加速已有训练作业，训练速度可提升10倍以上，并且不影响模型的收敛精度;二是经济模式，可以通过最大化资源利用率给开发者提供极致的性价比，在大多数典型场景下可以提升性价比30%以上。
此外，为了更好地支持超大算力需求的ai研发，华为modelarts平台在集群规模，任务数量，以及分布式训练都做了针对性的优化。
田奇表示，modelarts研发平台能够管理上万的节点，更好的支持大型训练任务需求。通过优化服务框架，modelarts平台支持10万级别的作业同时运行、支持万级芯片的大规模分布式任务。
“在骨干网络、联邦学习、模型诊断优化、高效算力的加持下，华为云modelarts会加速ai在行业落地。”田奇指出，未来，华为云将持续聚焦于模型高效、数据高效、算力高效和知识高效4个重点方向，扎根于ai基础研究，持续践行普惠ai。