细粒度图像识别深度学习开源工具库Hawkeye解析
细粒度图像识别是视觉感知学习的重要研究课题，在智能新经济和工业互联网等方面具有巨大应用价值，且在诸多现实场景已有广泛应用…… 鉴于当前领域内尚缺乏该方面的深度学习开源工具库，南京理工大学魏秀参教授团队用时近一年时间，开发、打磨、完成了 hawkeye——细粒度图像识别深度学习开源工具库，供相关领域研究人员和工程师参考使用。本文是对 hawkeye 的详细介绍。
目录
1. 什么是 hawkeye 库
2. hawkeye 支持的模型及方法
3. 安装 hawkeye
4. 使用 hawkeye 训练模型
1. 什么是 hawkeye 库
hawkeye 是一个基于 pytorch 的细粒度图像识别深度学习工具库，专为相关领域研究人员和工程师设计。目前，hawkeye 包含多种代表性范式的细粒度识别方法，包括 “基于深度滤波器”、“基于注意力机制”、“基于高阶特征交互”、“基于特殊损失函数”、“基于网络数据” 以及其他方法。
hawkeye 项目代码风格良好，结构清晰易读，可拓展性较强。对于刚接触细粒度图像识别领域的相关人员而言，hawkeye 较易上手，便于其理解细粒度图像识别的主要流程和代表性方法，同时也方便在本工具库上快速实现自己的算法。此外，我们还给出了库中各模型的训练示例代码，自研方法也可按照示例快速适配并添加至 hawkeye 中。
hawkeye 开源库链接：https://github.com/hawkeye-finegrained/hawkeye
2. hawkeye 支持的模型及方法
hawkeye 目前支持细粒度图像识别中主要学习范式的共 16 个模型与方法，具体如下：
基于深度滤波器
s3n (iccv 2019)
interp-parts (cvpr 2020)
prototree (cvpr 2021)
基于注意力机制
osme+mamc (eccv 2018)
mge-cnn (iccv 2019)
apcnn (ieee tip 2021)
基于高阶特征交互
bcnn (iccv 2015)
cbcnn (cvpr 2016)
fast mpn-cov (cvpr 2018)
基于特殊损失函数
pairwise confusion (eccv 2018)
api-net (aaai 2020)
cin (aaai 2020)
基于网络数据
peer-learning (iccv 2021)
其他方法
nts-net (eccv 2018)
crossx (iccv 2019)
dcl (cvpr 2019)
3. 安装 hawkeye
安装依赖
使用 conda 或者 pip 安装相关依赖：
python 3.8
pytorch 1.11.0 or higher
torchvison 0.12.0 or higher
numpy
yacs
tqdm
克隆仓库：
git clone https://github.com/hawkeye-finegrained/hawkeye.git
cd hawkeye
准备数据集
首先，下载一个数据集(以 cub200 为例)：
cd hawkeye/data
wget https://data.caltech.edu/records/65de6-vp158/files/cub_200_2011.tgz
mkdir bird && tar -xvf cub_200_2011.tgz -c bird/
我们提供了上述 8 个数据集的 meta-data 文件，能够匹配库中的 fgdataset 方便地加载训练集和测试集，训练集和测试集为各个数据集官方提供的划分。使用不同数据集时，只需在实验的 config 文件中修改 dataset 配置即可，方便切换。
在实验的 config 文件中修改 dataset 配置，示例如下：
dataset:
name: cub
root_dir: data/bird/cub_200_2011/images
meta_dir: metadata/cub
4. 使用 hawkeye 训练模型
对于 hawkeye 支持的每个方法，我们均提供了单独的训练模板和配置文件。例如训练 apinet 只需一条命令：
python examples/apinet.py --config configs/apinet.yaml
实验的参数都在相应的 yaml 文件中，可读性高、便于修改，如：
experiment:name: api_res101 2 # 实验名称 log_dir: results/apinet # 实验日志、结果等的输出目录 seed: 42 # 可以选择固定的随机数种子# resume: results/apinet/api_res101 2/checkpoint_epoch_19.pth # 可以从训练中断的 checkpoint 中恢复训练dataset: name: cub # 使用 cub200 数据集 root_dir: data/bird/cub_200_2011/images # 数据集中图像放置的路径 meta_dir: metadata/cub # cub200 的 metadata 路径 n_classes: 10 # 类别数，apinet 需要的数据集 n_samples: 4 # 每个类别的样本数 batch_size: 24 # 测试时的批样本数 num_workers: 4 # dataloader 加载数据集的线程数 transformer: # 数据增强的参数配置 image_size: 224 # 图像输入模型的尺寸 224x224 resize_size: 256 # 图像增强前缩放的尺寸 256x256model: name: apinet # 使用 apinet 模型，见 `model/methods/apinet.py` num_classes: 200 # 类别数目# load: results/apinet/api_res101 1/best_model.pth # 可以加载训练过的模型参数train: cuda: [4] # 使用的 gpu 设备 id 列表，[] 时使用 cpu epoch: 100 # 训练的 epoch 数量 save_frequence: 10 # 自动保存模型的频率# val_first: false # 可选是否在训练前进行一次模型精度的测试 optimizer: name: adam # 使用 adam 优化器 lr: 0.0001 # 学习率为 0.0001 weight_decay: 0.00000002 scheduler: # 本例使用自定义组合的 scheduler，由 warmup 和余弦退火学习率组合而成，见 `examples/apinet.py` name: '' t_max: 100 # scheduler 的总迭代次数 warmup_epochs: 8 # warmup 的 epoch 数 lr_warmup_decay: 0.01 # warmup 衰减的比例 criterion: name: apinetloss # apinet 使用的损失函数，见 `model/loss/apinet_loss.py` 实验的主程序 examples/apinet.py 中的训练器 apinettrainer 继承自 trainer，不需要再写复杂的训练流程、logger、模型保存、配置加载等代码，只用按需修改部分模块即可。我们也提供了训练阶段的多个 hook 钩子，可以满足一些方法特别的实现方式。
日志文件、模型权重文件、训练使用的训练代码以及当时的配置文件都会保存在实验输出目录 log_dir 中，备份配置和训练代码便于日后对不同实验进行对比。
晶圆级多层堆叠技术的可靠性管理
本源量子联合中科大研究团队在二维材料栅控量子点器件研究方向取得新进展
基于NB-IoT的智慧消防系统设计
区块链结合VR和AR技术可以从根本上改变娱乐业的未来
近期有关音圈电机热点问题的答疑
细粒度图像识别深度学习开源工具库Hawkeye解析
欧胜推出世界领先的用于消费性产品的立体声ADC解决方案
厉害吧！高通在可穿戴、无人机、车联网等领域强势布局
什么是物联网控制系统？它具有哪些特点？
网卡的总线类型
纳米软件分享：光伏逆变器ATE测试系统，逆变器测试解决方案
如何列写无源网络传递函数
小米5C进一步确认：4.6英寸屏幕 搭载暗夜之眼镜头
常用彩电行管电源管主要参数
如何选择缓冲正向转换器？
噪声来源、定义及影响
为电脑加装一块发烧级的单端甲类环绕耳机放大器 BH3854
抢先看毫米波器件发展现状及石墨烯毫米波器件优势
聚灿光电第三季度大幅度亏损，LED芯片产业迈入新阶段
数字电位器X9241与PIC单片机的接口及程序设计电路图
目录
1. 什么是 hawkeye 库
2. hawkeye 支持的模型及方法
3. 安装 hawkeye
4. 使用 hawkeye 训练模型
1. 什么是 hawkeye 库
hawkeye 是一个基于 pytorch 的细粒度图像识别深度学习工具库，专为相关领域研究人员和工程师设计。目前，hawkeye 包含多种代表性范式的细粒度识别方法，包括 “基于深度滤波器”、“基于注意力机制”、“基于高阶特征交互”、“基于特殊损失函数”、“基于网络数据” 以及其他方法。
hawkeye 项目代码风格良好，结构清晰易读，可拓展性较强。对于刚接触细粒度图像识别领域的相关人员而言，hawkeye 较易上手，便于其理解细粒度图像识别的主要流程和代表性方法，同时也方便在本工具库上快速实现自己的算法。此外，我们还给出了库中各模型的训练示例代码，自研方法也可按照示例快速适配并添加至 hawkeye 中。
hawkeye 开源库链接：https://github.com/hawkeye-finegrained/hawkeye
2. hawkeye 支持的模型及方法
hawkeye 目前支持细粒度图像识别中主要学习范式的共 16 个模型与方法，具体如下：
基于深度滤波器
s3n (iccv 2019)
interp-parts (cvpr 2020)
prototree (cvpr 2021)
基于注意力机制
osme+mamc (eccv 2018)
mge-cnn (iccv 2019)
apcnn (ieee tip 2021)
基于高阶特征交互
bcnn (iccv 2015)
cbcnn (cvpr 2016)
fast mpn-cov (cvpr 2018)
基于特殊损失函数
pairwise confusion (eccv 2018)
api-net (aaai 2020)
cin (aaai 2020)
基于网络数据
peer-learning (iccv 2021)
其他方法
nts-net (eccv 2018)
crossx (iccv 2019)
dcl (cvpr 2019)
3. 安装 hawkeye
安装依赖
使用 conda 或者 pip 安装相关依赖：
python 3.8
pytorch 1.11.0 or higher
torchvison 0.12.0 or higher
numpy
yacs
tqdm
克隆仓库：
git clone https://github.com/hawkeye-finegrained/hawkeye.git
cd hawkeye
准备数据集
首先，下载一个数据集(以 cub200 为例)：
cd hawkeye/data
wget https://data.caltech.edu/records/65de6-vp158/files/cub_200_2011.tgz
mkdir bird && tar -xvf cub_200_2011.tgz -c bird/
我们提供了上述 8 个数据集的 meta-data 文件，能够匹配库中的 fgdataset 方便地加载训练集和测试集，训练集和测试集为各个数据集官方提供的划分。使用不同数据集时，只需在实验的 config 文件中修改 dataset 配置即可，方便切换。
在实验的 config 文件中修改 dataset 配置，示例如下：
dataset:
name: cub
root_dir: data/bird/cub_200_2011/images
meta_dir: metadata/cub
4. 使用 hawkeye 训练模型
对于 hawkeye 支持的每个方法，我们均提供了单独的训练模板和配置文件。例如训练 apinet 只需一条命令：
python examples/apinet.py --config configs/apinet.yaml
实验的参数都在相应的 yaml 文件中，可读性高、便于修改，如：
experiment:name: api_res101 2 # 实验名称 log_dir: results/apinet # 实验日志、结果等的输出目录 seed: 42 # 可以选择固定的随机数种子# resume: results/apinet/api_res101 2/checkpoint_epoch_19.pth # 可以从训练中断的 checkpoint 中恢复训练dataset: name: cub # 使用 cub200 数据集 root_dir: data/bird/cub_200_2011/images # 数据集中图像放置的路径 meta_dir: metadata/cub # cub200 的 metadata 路径 n_classes: 10 # 类别数，apinet 需要的数据集 n_samples: 4 # 每个类别的样本数 batch_size: 24 # 测试时的批样本数 num_workers: 4 # dataloader 加载数据集的线程数 transformer: # 数据增强的参数配置 image_size: 224 # 图像输入模型的尺寸 224x224 resize_size: 256 # 图像增强前缩放的尺寸 256x256model: name: apinet # 使用 apinet 模型，见 `model/methods/apinet.py` num_classes: 200 # 类别数目# load: results/apinet/api_res101 1/best_model.pth # 可以加载训练过的模型参数train: cuda: [4] # 使用的 gpu 设备 id 列表，[] 时使用 cpu epoch: 100 # 训练的 epoch 数量 save_frequence: 10 # 自动保存模型的频率# val_first: false # 可选是否在训练前进行一次模型精度的测试 optimizer: name: adam # 使用 adam 优化器 lr: 0.0001 # 学习率为 0.0001 weight_decay: 0.00000002 scheduler: # 本例使用自定义组合的 scheduler，由 warmup 和余弦退火学习率组合而成，见 `examples/apinet.py` name: '' t_max: 100 # scheduler 的总迭代次数 warmup_epochs: 8 # warmup 的 epoch 数 lr_warmup_decay: 0.01 # warmup 衰减的比例 criterion: name: apinetloss # apinet 使用的损失函数，见 `model/loss/apinet_loss.py` 实验的主程序 examples/apinet.py 中的训练器 apinettrainer 继承自 trainer，不需要再写复杂的训练流程、logger、模型保存、配置加载等代码，只用按需修改部分模块即可。我们也提供了训练阶段的多个 hook 钩子，可以满足一些方法特别的实现方式。
日志文件、模型权重文件、训练使用的训练代码以及当时的配置文件都会保存在实验输出目录 log_dir 中，备份配置和训练代码便于日后对不同实验进行对比。
晶圆级多层堆叠技术的可靠性管理
本源量子联合中科大研究团队在二维材料栅控量子点器件研究方向取得新进展
基于NB-IoT的智慧消防系统设计
区块链结合VR和AR技术可以从根本上改变娱乐业的未来
近期有关音圈电机热点问题的答疑
细粒度图像识别深度学习开源工具库Hawkeye解析
欧胜推出世界领先的用于消费性产品的立体声ADC解决方案
厉害吧！高通在可穿戴、无人机、车联网等领域强势布局
什么是物联网控制系统？它具有哪些特点？
网卡的总线类型
纳米软件分享：光伏逆变器ATE测试系统，逆变器测试解决方案
如何列写无源网络传递函数
小米5C进一步确认：4.6英寸屏幕 搭载暗夜之眼镜头
常用彩电行管电源管主要参数
如何选择缓冲正向转换器？
噪声来源、定义及影响
为电脑加装一块发烧级的单端甲类环绕耳机放大器 BH3854
抢先看毫米波器件发展现状及石墨烯毫米波器件优势
聚灿光电第三季度大幅度亏损，LED芯片产业迈入新阶段
数字电位器X9241与PIC单片机的接口及程序设计电路图