腾讯AI Lab宣布正式开源“Tencent ML-Images”项目

今日，腾讯ai lab宣布正式开源“tencent ml-images”项目，该项目由多标签图像数据集ml-images，以及业内目前同类深度学习模型中精度最高的深度残差网络resnet-101构成。
该项目的开源，是腾讯ai lab在计算机视觉领域所累积的基础能力的一次释放，为人工智能领域的科研人员和工程师提供了充足的高质量训练数据，及简单易用、性能强大的深度学习模型，促进人工智能行业共同发展。
腾讯ai lab此次公布的图像数据集ml-images，包含了1800万图像和1.1万多种常见物体类别，在业内已公开的多标签图像数据集中规模最大，足以满足一般科研机构及中小企业的使用场景。此外，基于ml-images训练得到的深度残差网络resnet-101，具有优异的视觉表示能力和泛化性能，在当前业内同类模型中精度最高，将为包括图像、视频等在内的视觉任务提供强大支撑，并助力图像分类、物体检测、物体跟踪、语义分割等技术水平的提升。
本次正式开源，其主要内容包括：
ml-images数据集的全部图像urls,以及相应的类别标注。因原始图像版权问题，此次开源将不直接提供原始图像，用户可利用腾讯ai lab提供的下载代码和urls自行下载图像。
ml-images数据集的详细介绍。包括图像来源、图像数量、类别数量、类别的语义标签体系、标注方法，以及图像的标注数量等统计量。
完整的代码和模型。腾讯ai lab提供的代码涵盖从图像下载和图像预处理，到基于ml-images的预训练和基于imagenet的迁移学习，再到基于训练所得模型的图像特征提取的完整流程。项目提供了基于小数据集的训练示例，以方便用户快速体验该训练流程。项目还提供了具有极高精度的resnet-101模型(在单标签基准数据集imagenet的验证集上的top-1精度为80.73%)。用户可根据自身需求，随意选用该项目的代码或模型。
以深度神经网络为典型代表的深度学习技术已经在很多领域充分展现出其优异的能力，尤其是计算机视觉领域，包括图像和视频的分类、理解和生成等重要任务。然而，要充分发挥出深度学习的视觉表示能力，必须建立在充足的高质量训练数据、优秀的模型结构和模型训练方法，以及强大的的计算资源等基础能力之上。
各大科技公司都非常重视人工智能基础能力的建设，都建立了仅面向其内部的大型图像数据集，例如谷歌的jft-300m和facebook的instagram数据集。但这些数据集及其训练得到的模型都没有公开，对于一般的科研机构和中小企业来说，这些人工智能基础能力有着非常高的门槛。
当前业内公开的最大规模的多标签图像数据集是谷歌公司的open images, 包含900万图像和6000多物体类别。腾讯ai lab此次开源的ml-images数据集包括1800万图像和1.1万多常见物体类别，或将成为新的行业基准数据集。
此外，基于ml-images训练得到的resnet-101模型，具有优异的视觉表示能力和泛化性能。通过迁移学习，该模型在imagenet验证集上取得了80.73%的top-1分类精度，超过谷歌同类模型（迁移学习模式）的精度，且值得注意的是，ml-images的规模仅为jft-300m的约1/17。这充分说明了ml-images的高质量和训练方法的有效性。详细对比如下表。
注：微软resnet-101模型为非迁移学习模式下训练得到，即1.2m预训练图像为原始数据集imagenet的图像。
腾讯ai lab此次开源的“tencent ml-images”项目，展现了腾讯在人工智能基础能力建设方面的努力，以及希望通过基础能力的开放促进行业共同发展的愿景。
“tencent ml-images”项目的深度学习模型，目前已在腾讯多项业务中发挥重要作用，如“天天快报”的图像质量评价与推荐功能，其后台测试的日调用量已达1000万次。
如下图所示，天天快报新闻封面图像的质量得到明显提高。
左图为优化前，右图为优化后
此外，腾讯ai lab团队还将基于tencent ml-images的resnet-101模型迁移到很多其他视觉任务，包括图像物体检测，图像语义分割，视频物体分割，视频物体跟踪等。这些视觉迁移任务进一步验证了该模型的强大视觉表示能力和优异的泛化性能。“tencent ml-images”项目未来还将在更多视觉相关的产品中发挥重要作用。
自2016年腾讯首次在github上发布开源项目（https://github.com/tencent），目前已累积开源覆盖人工智能、移动开发、小程序等领域的57个项目。为进一步贡献开源社区，腾讯相继加入hyperledger、lf networking和开放网络基金会，并成为lf深度学习基金会首要创始成员及linux基金会白金会员。作为腾讯“开放”战略在技术领域的体现，腾讯开源将继续对内推动技术研发向共享、复用和开源迈进，向外释放腾讯研发实力，为国内外开源社区提供技术支持，注入研发活力。