基于ZYNQ的内窥镜方案

这一次，熊猫君分享一个内窥镜的技术实现方案。内窥镜的方案很多：主处理器有用专用asic的，比如日、台、韩的相机asic；有用专用cpu的，比如海思、瑞星微和君正等。熊猫君的这个是基于xilinx zynq的低成本方案。
纵观中低端的内窥镜用图像传感器，主要是以ov的为主，熊猫君接触和实现过的主要有ov6946+ov426、ov6948+ov426、ov9734、oh02a1s（带近红外增强）、oh0ta10+普通adc（这颗料据说是业界最小，400×400相素，封装尺寸只有550μm*550μm）、dh01a10等等，接口有模拟的、mipi和lvds；另外还有就是艾迈斯的naneyem，320×320相素，接口用的是内嵌码的lvds，需要高速时钟过采样才能接收，比较麻烦。对ov的sensor而言，模拟输出通过adc采样后一般可以转为lvds或dvp接口，mipi输出的因为分辨率和帧率都较低，速率不会太高（lane速率＜800mbps），完全可以用zynq加电阻网络来接收图像。
一、硬件方案
以下我们以ov的dh01a10为例来叙述，dh01a10实际上算是ov6946的升级版本，同样是400×400相素的，区别是工艺更加先进：（1）近红外波段成像增强；（2）灵敏度高达3600mv/lux-sec（ov6946只有1000mv/lux-sec，整整是3.6倍）；（3）封装尺寸只有550μm×550μm，1/36”（业界最小，差不多是ov6946的1/4）;（4）输出接口驱动能力为4米，可用用ov426接收，也可用其它adc方案来搭。因此，相较于ov6946而言，dh01a10近红外成像，成像质量更高，驱动能力更强，不再有竖条纹状非均匀性现象。那么，对于一般的手术用或检查用台式机，系统的硬件框图如下图1所示。
图1 基于zynq的医疗内窥镜硬件框图
如上图1所示，医疗手持式或台机对体积和功耗没有较高的要求，接口要求比较丰富一些，比如可以通过千兆网和usb接口导出录制的视频和拍摄的照片，可以通过网络配置机器的参数，有按键和触摸屏可以操控机器，有hdmi可以接入到通用显示器等等。一般的，拍照存储为jpeg格式，视频存储为mp4或avi格式，存储在内部的大容量emmc中。通常的，会将摄像头模组做成模块化可拆卸装置，作为一个耗材出现。
二、软件方案
在这个系统中，zynq实现了软硬件协同处理，软件方案图如下图2所示。在pl上，主要实现了sensor驱动（图像采集和寄存器配置等）、isp处理、jpeg视频编码以及edp或lvds屏的驱动。在ps上，上层框架基于qt，实现了产品ui、触摸屏、操控接口、视频的编解码、视频的录制、存储、预览和回放，照片的拍摄、保存和回看等功能，以及配置fpga进行初始化、自动曝光和自动摆平和的配置工作。从器件性能上来说，zynq-7000系列的arm是双核cortex-a9，-2速度的也最多只能跑到766mhz，因此优化这个系统使视频录制和显示达到实时性的要求，所需要做的工作量很大，也需要linux和fpga层面协同做很多的处理，可谓是将芯片的性能运用到了极致。即使这样，arm端实现h.264编码也只能保证400*400/30fps的实时性，高于此规格的均由fpga来进行motion jpeg编码，最终封装为avi视频保存。回放时解码相对简单，arm运算即可满足要求。本系统最高支持1080p/30fps的流处理。在isp上，系统还需针对医疗及sensor做一些特殊的处理，比如大多数的ov6946而言有竖条纹，此时要做非均匀性校正算法，此类senor的动态范围普遍偏低，还需要做一些对比度拉升或锐化处理使之看起来更加的锐利一些，有些还会有针对性进行调色处理等等。
图2 基于zynq的内窥镜软件方案
总体来说，中低端的内窥镜前端设备不会涉及到专业的医疗软件自动成像分析，主要还是检查和手术过程中现场人工查看和分析这些影像。即使有自动软件分析的需求，这些一般是通过接口传输影像数据到pc端后另行专业软件处理。
更为高端的腹腔镜之类，方案有用海思的，也有用zynq ultrascale+ mpsoc带codec那款的，国外的头部的也有用高端fpga+高端的自有asic芯片的，总之整个技术难度要上一个很大的台阶。
另外，现在甚为流行的胶囊内窥镜，则走的另外一条低功耗的路子，传感器性能不一定高，要求无线传输图像，帧率可能是1~2hz，也可能是触发式的，但是有一个极低功耗的要求和一个很小体积的要求，一般要求能够工作（休眠）数个小时。目前市面现有的产品也有采用低功耗fpga（actel的）加msp430单片机的方案（熊猫君拆过研究过一两款现有产品，也动过折腾一款的念头）。
三、其他
在当前的形势下，熊猫君这边的中低端内窥镜方案主要还是集中在基于zynq-7010、瑞星微rv1126这两个平台上，也有海思和zu4ev的，但是这俩一个是拿到芯片不容易，一个是太贵了，代价太高了，风险也太高了，其他的总是差点啥，不是这里性能不够，就是那里接口少了。总之，希望其他国产能够崛起，实现一个小目标：达到海思hi3559的水平。
熊猫君这边有成熟的基于zynq-7000和rv1126的完整方案和整机，也欢迎感兴趣的朋友莅临现场指导。如果您需要，而我恰恰也有的话，我们或许就能愉快的合作一把呢。