SAM-Adapter：首次让SAM在下游任务适应调优！
近日，由魔芯科技、浙江大学、湖州师范学院、新加坡科技设计大学(sutd)、北京航空航天大学等多单位联合发表学术论文，发现了sam这一通用大模型在部分下游任务上的性能表现不佳，并首次提出了将任务特定知识和大模型sam学到的通用知识和在下游任务中结合，进行适应调优（而非重新训练）的方法。研究提出了一个轻量的adapter框架将这些任务相关的知识输入进sam中，以实现sam在下游任务的针对性应用。该论文的代码已经在github上开源。
主页：https://tianrun-chen.github.io/sam-adaptor/ 代码（已开源）：https://github.com/tianrun-chen/sam-adaptor-pytorch 论文：https://arxiv.org/abs/2304.09148
这项研究成果开辟了利用大型预训练图像模型在不同领域和工业应用中进行各种下游分割任务研究的新时代。它为研究人员和从业者提供了有价值的见解，展示了如何利用内部知识和外部控制信号来适应预训练模型，以在具有挑战性的任务中实现最先进的性能。该研究成果还为医学图像处理、自然科学、农牧业、遥感等领域的应用提供了新思路。
人工智能研究已经见证了一个由大规模海量数据上训练的模型所带来的范式上的转变。这些模型，或称为基础模型，如bert、dall-e和gpt-3，已经在许多语言或视觉任务中显示出有优秀的结果。
在这些基础模型中，segment anything model（sam）作为一个在大型视觉语料库上训练的通用图像分割模型取得了显著的突破。事实证明，sam在不同的场景下具有成功的分割能力，这使得它在图像分割和计算机视觉的相关领域迈出了突破性的一步。
然而，由于计算机视觉包含了广泛的问题，sam的不完整性是显而易见的，这与其他基础模型类似，因为训练数据不能包含整个语料库，工作场景也会有变化。在本研究中，作者首先在一些具有挑战性的低层次结构分割任务中测试sam，包括伪装物体检测（隐蔽场景）和阴影检测，作者发现在一般图像上训练的sam模型在这些情况下不能完美地 分割任何东西，包括影子检测、伪装物体检测等。
因此，一个关键的研究问题是：如何高效利用大型模型从大规模语料库中获得的能力，并利用它们使下游的任务受益？
在这项工作中，来自魔芯科技、浙江大学、新加坡科技设计大学等单位的研究者提出了sam-adapter，它是一个针对上述研究问题的优秀解决方案。这项开创性的工作首次尝试将大型预训练的图像分割一切模型sam适应于特定的下游任务，并提高其性能。正如其名，sam-adapter是一种非常简单而有效的适应技术，可以同时利用来自大模型的内部知识和针对下游任务设定的外部控制信号。在该方法中，信息是通过视觉提示传达给网络的，这已被证明了在用最少的额外可训练参数，能高效地将一个冻结的大基础模型适应到许多下游任务工作。
图：sam-adapter (ours) 在伪装物体检测上的性能测试
这项工作率先证明了大规模海量数据训练给sam带来的特殊能力可以被应用到其他数据领域。sam-adapter可以被用作这样的迁移。作者在影子检测、伪装物体检测等任务的数据上实现了超过已有算法的高性能(sota)表现。未来，我们相信sam-adapter作为一个通用框架，可以被应用于更多不同领域的各种下游分割任务中，包括在医学影像诊断、农业、工业检测等不同领域。
同方国芯800亿定增解码
戴尔与微软展望乐观，将带动PC产业链受惠
解析将电话系统转移到云技术的担心和难题
路虎DC100一款入门级、双门敞篷的路虎SUV,配备柴油发动机,起价为20万
皮带传送机轴承位磨损如何修复效果会比较好
SAM-Adapter：首次让SAM在下游任务适应调优！
TE Connectivity推出48V汇流条连接器及组件实现数据中心应用设计
一种颠覆传统工艺的超高温热泵除湿机在国内研发成功
8位投资者 分享AR行业的风险和机遇，创业机会
买手机主要看什么？买手机必看这5项！小米6最具性价比，远离联发科
LG手机在CES2013大放异彩
如何测试函数的正确与否呢
华为MATE 30概念图曝光 开孔屏设计加后置四摄惊艳众人
普通路灯改太阳能路灯一年省多少钱？
利用最新的智能可穿戴技术管理健康已成为一种趋势
6.3英寸全面屏手机即出，三星Note8屏占比极高全力狙击iphone8
多款年货精选OLED电视促销大放送
源创通信 BPI-P2 Zero 四核开源物联网开发板介绍
一文教你怎么测量压敏电阻的好坏
传感器技术对于智能车有什么帮助
主页：https://tianrun-chen.github.io/sam-adaptor/ 代码（已开源）：https://github.com/tianrun-chen/sam-adaptor-pytorch 论文：https://arxiv.org/abs/2304.09148
这项研究成果开辟了利用大型预训练图像模型在不同领域和工业应用中进行各种下游分割任务研究的新时代。它为研究人员和从业者提供了有价值的见解，展示了如何利用内部知识和外部控制信号来适应预训练模型，以在具有挑战性的任务中实现最先进的性能。该研究成果还为医学图像处理、自然科学、农牧业、遥感等领域的应用提供了新思路。
人工智能研究已经见证了一个由大规模海量数据上训练的模型所带来的范式上的转变。这些模型，或称为基础模型，如bert、dall-e和gpt-3，已经在许多语言或视觉任务中显示出有优秀的结果。
在这些基础模型中，segment anything model（sam）作为一个在大型视觉语料库上训练的通用图像分割模型取得了显著的突破。事实证明，sam在不同的场景下具有成功的分割能力，这使得它在图像分割和计算机视觉的相关领域迈出了突破性的一步。
然而，由于计算机视觉包含了广泛的问题，sam的不完整性是显而易见的，这与其他基础模型类似，因为训练数据不能包含整个语料库，工作场景也会有变化。在本研究中，作者首先在一些具有挑战性的低层次结构分割任务中测试sam，包括伪装物体检测（隐蔽场景）和阴影检测，作者发现在一般图像上训练的sam模型在这些情况下不能完美地 分割任何东西，包括影子检测、伪装物体检测等。
因此，一个关键的研究问题是：如何高效利用大型模型从大规模语料库中获得的能力，并利用它们使下游的任务受益？
在这项工作中，来自魔芯科技、浙江大学、新加坡科技设计大学等单位的研究者提出了sam-adapter，它是一个针对上述研究问题的优秀解决方案。这项开创性的工作首次尝试将大型预训练的图像分割一切模型sam适应于特定的下游任务，并提高其性能。正如其名，sam-adapter是一种非常简单而有效的适应技术，可以同时利用来自大模型的内部知识和针对下游任务设定的外部控制信号。在该方法中，信息是通过视觉提示传达给网络的，这已被证明了在用最少的额外可训练参数，能高效地将一个冻结的大基础模型适应到许多下游任务工作。
图：sam-adapter (ours) 在伪装物体检测上的性能测试
这项工作率先证明了大规模海量数据训练给sam带来的特殊能力可以被应用到其他数据领域。sam-adapter可以被用作这样的迁移。作者在影子检测、伪装物体检测等任务的数据上实现了超过已有算法的高性能(sota)表现。未来，我们相信sam-adapter作为一个通用框架，可以被应用于更多不同领域的各种下游分割任务中，包括在医学影像诊断、农业、工业检测等不同领域。
同方国芯800亿定增解码
戴尔与微软展望乐观，将带动PC产业链受惠
解析将电话系统转移到云技术的担心和难题
路虎DC100一款入门级、双门敞篷的路虎SUV,配备柴油发动机,起价为20万
皮带传送机轴承位磨损如何修复效果会比较好
SAM-Adapter：首次让SAM在下游任务适应调优！
TE Connectivity推出48V汇流条连接器及组件实现数据中心应用设计
一种颠覆传统工艺的超高温热泵除湿机在国内研发成功
8位投资者 分享AR行业的风险和机遇，创业机会
买手机主要看什么？买手机必看这5项！小米6最具性价比，远离联发科
LG手机在CES2013大放异彩
如何测试函数的正确与否呢
华为MATE 30概念图曝光 开孔屏设计加后置四摄惊艳众人
普通路灯改太阳能路灯一年省多少钱？
利用最新的智能可穿戴技术管理健康已成为一种趋势
6.3英寸全面屏手机即出，三星Note8屏占比极高全力狙击iphone8
多款年货精选OLED电视促销大放送
源创通信 BPI-P2 Zero 四核开源物联网开发板介绍
一文教你怎么测量压敏电阻的好坏
传感器技术对于智能车有什么帮助