SPCA563B实现图像识别系统
详细介绍基于spca563b芯片的图像识别系统的设计思想和硬件电路，给出具体应用实倒。对cmos采集的图像数据进行预处理，然后对其进行分割和提取特征.并利用一定的算法进行图像识别。实验结果证明，本系统对于静止图像的识别是十分有效的。
引言
该系统已实现的功能有：物体颜色和形状识别、字符识别以及手势识别等。利用这些识别的结果，可以开发游戏、趣味教学、智能玩具、文字输入以及智能识别等应用系统。本文通过介绍整个系统以及在这个系统上实现的简单的手势识别，使大家更好地了解此系统在图像识别和文字识别方面的强大功能和易用性。
1 系统硬件架构
如图l所示.图像识别硬件系统主要由spca563b单片机、usb控制器、图像传感器、存储器控制器和语音输出控制器等组成。
1.1 spca563b单片机
spca563b单片机的硬件特征如下：提供320×240的8位cmos图像传感器接口;具有自动白平衡和获得参数控制功能;具有图像颜色校正和图像gamma校正功能;具有7种颜色过滤功能;具有良好的减小噪声的滤波器;能够在一张图片中检测到21个目标物体的大小和位置，并将其结果存放于嵌入在cpu内部的ram中;16位μnsp cpu内核，内嵌1k×16位的ram和32k×16位的rom;具有可选择的外部ram和rom接口;具有usbl.1的接口;3.3v电压供电;128/64脚lqfp封装(其中128脚有可选择的并行接口，48脚则没有)。此系统采用48脚的lqfp封装，其硬件电路如图2所示。
1.2 usb控制器
spca563b内嵌usbl.1的控制器，利用usb接口可以与pc进行通信，结合pc端软件来实现isp及在线调试程序，此外可以利用usb来为系统供电。其电路如图3所示。
1.3 图像传感器
本系统采用spca3010a cmos图像传感器，图像输出为qvga(320×240)大小的rgb格式。spca563b通过i2s接口来控制spca3010a cmos图像传感器。此cmos图像传感器支持stand by省电模式，其电路如图4所示。
1.4 存储器控制器
外扩spr4096a flash存储器，主要用来存储系统需要的语音数据。spr4096a fjash具有如下特征：512k×8位的存储空间;内嵌4k×8位的sram;外部cpu可以通过串行接口或8位并行接口来访问flash/sram;i/o接口的电压范围为2.25～3.6 v，并支持stancl by的省电模式。在数据存储量比较小的情况下，用spr40396a可以大大降低系统的成本。电路如图5所示。
1.5 语音输出控制器
语音输出控制器的主要作用是将spca563b的两路音频输出通过spy0030放大，由扬声器播放。其硬件电路如图6所示。
2 系统软件设计
本图像识别系统的识别功能主要通过软件系统来实现。为了提高程序的可移植性，为将来该系统功能扩展预留空间，整个软件系统采用分模块、分层次的方法编写程序，采用汇编语言实现对寄存器的读/写以及对中断的控制，并为上层的开发提供灵活的接口。上层采用c语言编写，通过调用底层函数来间接对硬件资源进行操作。这样编写程序使整个系统结构清晰，程序可移植性和可扩展性增强，而且占用硬件资源少，为系统功能的扩展和进一步开发预留充分的空间。
整个软件系统由主程序、图像识别功能模块子程序、中断服务子程序和语音输出子程序等组成。主程序负责整个系统的协调和控制工作，通过调用不同的子程序来实现不同的功能。主程序流程如图7所示。
为突出系统的特点，下面通过手势识别的实例来重点描述图像识别原理。手势识别包含两个步骤：手形的轮廓跟踪，提取其轮廓的相关数据;手势的识别，在上一步得到的数据的基础上进行分析判断而得到结果。
2.1 轮廓跟踪算法实现
轮廓跟踪的目的是获得图像的外部轮廓特征(包括目标物体边缘点的坐标和方向)，为图像的形状分析做准备。spca563b的dsp针对肤色有一系列的颜色处理，这样系统就可以方便图像转化为肤色与非肤色的二值图像。通过对暂存在sram中的二值图像进行数据分析，来提取手形的边缘轮廓。
轮廓跟踪算法步骤如下：
①按从上到下、从左到右的顺序扫描图像，寻找第一个非白像素作为边界起始点a[0]，记录a[0]点的坐标(a[0].x，a[0].y)。a[0]是具有最小行和列值的边界点。再定义一个扫描方向变量dir，该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向。其初始化取值为a[0].dir=7;扫描方向定义如图8所示。
假设当前的坐标为(x，y)，则其8个邻域坐标如下：
②按逆时针方向搜索当前像素的3×3的邻域，其起始搜索方向设定如下：
若a[n-1].dir为奇数，则取(a[n-1].dir+7)rood 8;
若a[n-1].dir为偶数，则取(a[n-1].dir+6)mod 8。
在3×3邻域中搜索到的第一个与当前像素相同的像素便为新的边界点a[n]，同时更新记录从上一点搜索到边界点a[n]的方向变量a[n].dir，记录新的边界点的坐标(a[n].x，a[n].y)。
③如果边界点a[n]等于第一个边界点a[0]，即(a[n].x==a[o].x&&a[n].y==a[0].y)。停止搜索。结束跟踪。否则重复步骤②。
由边界点a[o]、a[1]、a[2]、…、a[n]构成的边界便为要跟踪的边界。算法中步骤①的作用足找出第一个边界点，步骤③的作用是找出所有的边界点。如图9所示，左边为原始图像，右边是用该算法仿真的结果。
2.2 手势识别算法实现
我们的主要目的是找出伸出手指的个数。开始用行扫描的方法通过行内从o→1或1→o黑白像素变化的次数来确定伸出手指的个数，但这种算法对于倾斜一定角度的手指数目判断存在一定问题，因此转而采用“提取指尖点算法”。
提取指尖点的方法着眼于从手势轮廓中搜索出指尖点，一个指尖点对应于一根手指，最后根据得到指尖点的个数来判定手指数目。判断是不是指尖：分析手的形状，手指的两边基本上是平行的。一直按逆时针方向前进，每经过一次指尖，手形轮廓的走向发生反向的变化。由于手形轮廓的边缘存在一定的毛刺，因此可以用多点方向的平均来减小毛刺的影响。这里取36点方向的平均，表示为average_dix[i]。是否经过指尖的判断条件1：126<=|average_dir[i-1]一average_dir[i+1]|<=162。(说明：两点方向相反，其方向值差4，3.5×36=126，4.5×36=162。)
再分析手的形状，两手指之间边缘轮廓的走向也满足判断条件l，故必须添加判断条件。如图10所示，当沿着一个方向搜索手的边缘轮廓时，经过指尖走向一定与手指间缺口走向相反。因此，必须假设判定条件2：
is_fingervertex(dir0，dirl，dir2);
这个函数是用来通过连续3点的方向来判断这3点是否为逆时针走向。由于是沿着逆时针方向搜索边缘轮廓的，故在判定条件1成立的前提下加上is_fingervertex(average_dir[i-1]，average_dir[i]，average_dir[i+1])就可以判断是否为指尖，从而判定手指的数目。顺序3点是否为逆时针走向，具体在程序中可以构造一个循环队列来实现。测试结果表明这种算法非常稳定。
结语
该系统具有语音输出提示功能，操作更加人性化，并且可以通过usbl.1接口与pc进行通信;配合pc端的调试工具，还可以大大缩短图像识别功能开发的周期。
铅酸蓄电池充电方法_铅酸蓄电池充电禁忌
基于LabVIEW开发环境实现SOE事件顺序记录系统的设计
变音信号发生器
2023年是多芯片系统的转折点？
一名图像算法工程师的面试经历
SPCA563B实现图像识别系统
浪潮存储已经连续第三次中标中国移动分布式文件存储集采
GD32V系列RISC-V内核32位通用MCU怎么样？
PY32F003系列微控制器概述及应用场景
小米6最新消息:前面板新增一个开孔 莫非是虹膜识别？
动力电池巨头沃特玛到底发生了什么事？全体职工放假半年
高通推出骁龙X Elite——AI赋能的强大平台将为PC带来变革
制造企业向云平台迁移的态度正变得更加急迫和坚决
采用MAX17503测量电源纹波
阴极吸收式密封铅蓄电池的优点都有哪些
天津大学液态全柔性智能机器人研发成功，能被液滴携带进行运动
发展自动驾驶技术，司机变得更懈怠是技术发展的原罪？
一个模拟解像力图表的例子
比特币还能继续火下去吗
诺粉谈诺基亚6回归：也许过去了 就再也回不去了
引言
该系统已实现的功能有：物体颜色和形状识别、字符识别以及手势识别等。利用这些识别的结果，可以开发游戏、趣味教学、智能玩具、文字输入以及智能识别等应用系统。本文通过介绍整个系统以及在这个系统上实现的简单的手势识别，使大家更好地了解此系统在图像识别和文字识别方面的强大功能和易用性。
1 系统硬件架构
如图l所示.图像识别硬件系统主要由spca563b单片机、usb控制器、图像传感器、存储器控制器和语音输出控制器等组成。
1.1 spca563b单片机
spca563b单片机的硬件特征如下：提供320×240的8位cmos图像传感器接口;具有自动白平衡和获得参数控制功能;具有图像颜色校正和图像gamma校正功能;具有7种颜色过滤功能;具有良好的减小噪声的滤波器;能够在一张图片中检测到21个目标物体的大小和位置，并将其结果存放于嵌入在cpu内部的ram中;16位μnsp cpu内核，内嵌1k×16位的ram和32k×16位的rom;具有可选择的外部ram和rom接口;具有usbl.1的接口;3.3v电压供电;128/64脚lqfp封装(其中128脚有可选择的并行接口，48脚则没有)。此系统采用48脚的lqfp封装，其硬件电路如图2所示。
1.2 usb控制器
spca563b内嵌usbl.1的控制器，利用usb接口可以与pc进行通信，结合pc端软件来实现isp及在线调试程序，此外可以利用usb来为系统供电。其电路如图3所示。
1.3 图像传感器
本系统采用spca3010a cmos图像传感器，图像输出为qvga(320×240)大小的rgb格式。spca563b通过i2s接口来控制spca3010a cmos图像传感器。此cmos图像传感器支持stand by省电模式，其电路如图4所示。
1.4 存储器控制器
外扩spr4096a flash存储器，主要用来存储系统需要的语音数据。spr4096a fjash具有如下特征：512k×8位的存储空间;内嵌4k×8位的sram;外部cpu可以通过串行接口或8位并行接口来访问flash/sram;i/o接口的电压范围为2.25～3.6 v，并支持stancl by的省电模式。在数据存储量比较小的情况下，用spr40396a可以大大降低系统的成本。电路如图5所示。
1.5 语音输出控制器
语音输出控制器的主要作用是将spca563b的两路音频输出通过spy0030放大，由扬声器播放。其硬件电路如图6所示。
2 系统软件设计
本图像识别系统的识别功能主要通过软件系统来实现。为了提高程序的可移植性，为将来该系统功能扩展预留空间，整个软件系统采用分模块、分层次的方法编写程序，采用汇编语言实现对寄存器的读/写以及对中断的控制，并为上层的开发提供灵活的接口。上层采用c语言编写，通过调用底层函数来间接对硬件资源进行操作。这样编写程序使整个系统结构清晰，程序可移植性和可扩展性增强，而且占用硬件资源少，为系统功能的扩展和进一步开发预留充分的空间。
整个软件系统由主程序、图像识别功能模块子程序、中断服务子程序和语音输出子程序等组成。主程序负责整个系统的协调和控制工作，通过调用不同的子程序来实现不同的功能。主程序流程如图7所示。
为突出系统的特点，下面通过手势识别的实例来重点描述图像识别原理。手势识别包含两个步骤：手形的轮廓跟踪，提取其轮廓的相关数据;手势的识别，在上一步得到的数据的基础上进行分析判断而得到结果。
2.1 轮廓跟踪算法实现
轮廓跟踪的目的是获得图像的外部轮廓特征(包括目标物体边缘点的坐标和方向)，为图像的形状分析做准备。spca563b的dsp针对肤色有一系列的颜色处理，这样系统就可以方便图像转化为肤色与非肤色的二值图像。通过对暂存在sram中的二值图像进行数据分析，来提取手形的边缘轮廓。
轮廓跟踪算法步骤如下：
①按从上到下、从左到右的顺序扫描图像，寻找第一个非白像素作为边界起始点a[0]，记录a[0]点的坐标(a[0].x，a[0].y)。a[0]是具有最小行和列值的边界点。再定义一个扫描方向变量dir，该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向。其初始化取值为a[0].dir=7;扫描方向定义如图8所示。
假设当前的坐标为(x，y)，则其8个邻域坐标如下：
②按逆时针方向搜索当前像素的3×3的邻域，其起始搜索方向设定如下：
若a[n-1].dir为奇数，则取(a[n-1].dir+7)rood 8;
若a[n-1].dir为偶数，则取(a[n-1].dir+6)mod 8。
在3×3邻域中搜索到的第一个与当前像素相同的像素便为新的边界点a[n]，同时更新记录从上一点搜索到边界点a[n]的方向变量a[n].dir，记录新的边界点的坐标(a[n].x，a[n].y)。
③如果边界点a[n]等于第一个边界点a[0]，即(a[n].x==a[o].x&&a[n].y==a[0].y)。停止搜索。结束跟踪。否则重复步骤②。
由边界点a[o]、a[1]、a[2]、…、a[n]构成的边界便为要跟踪的边界。算法中步骤①的作用足找出第一个边界点，步骤③的作用是找出所有的边界点。如图9所示，左边为原始图像，右边是用该算法仿真的结果。
2.2 手势识别算法实现
我们的主要目的是找出伸出手指的个数。开始用行扫描的方法通过行内从o→1或1→o黑白像素变化的次数来确定伸出手指的个数，但这种算法对于倾斜一定角度的手指数目判断存在一定问题，因此转而采用“提取指尖点算法”。
提取指尖点的方法着眼于从手势轮廓中搜索出指尖点，一个指尖点对应于一根手指，最后根据得到指尖点的个数来判定手指数目。判断是不是指尖：分析手的形状，手指的两边基本上是平行的。一直按逆时针方向前进，每经过一次指尖，手形轮廓的走向发生反向的变化。由于手形轮廓的边缘存在一定的毛刺，因此可以用多点方向的平均来减小毛刺的影响。这里取36点方向的平均，表示为average_dix[i]。是否经过指尖的判断条件1：126<=|average_dir[i-1]一average_dir[i+1]|<=162。(说明：两点方向相反，其方向值差4，3.5×36=126，4.5×36=162。)
再分析手的形状，两手指之间边缘轮廓的走向也满足判断条件l，故必须添加判断条件。如图10所示，当沿着一个方向搜索手的边缘轮廓时，经过指尖走向一定与手指间缺口走向相反。因此，必须假设判定条件2：
is_fingervertex(dir0，dirl，dir2);
这个函数是用来通过连续3点的方向来判断这3点是否为逆时针走向。由于是沿着逆时针方向搜索边缘轮廓的，故在判定条件1成立的前提下加上is_fingervertex(average_dir[i-1]，average_dir[i]，average_dir[i+1])就可以判断是否为指尖，从而判定手指的数目。顺序3点是否为逆时针走向，具体在程序中可以构造一个循环队列来实现。测试结果表明这种算法非常稳定。
结语
该系统具有语音输出提示功能，操作更加人性化，并且可以通过usbl.1接口与pc进行通信;配合pc端的调试工具，还可以大大缩短图像识别功能开发的周期。
铅酸蓄电池充电方法_铅酸蓄电池充电禁忌
基于LabVIEW开发环境实现SOE事件顺序记录系统的设计
变音信号发生器
2023年是多芯片系统的转折点？
一名图像算法工程师的面试经历
SPCA563B实现图像识别系统
浪潮存储已经连续第三次中标中国移动分布式文件存储集采
GD32V系列RISC-V内核32位通用MCU怎么样？
PY32F003系列微控制器概述及应用场景
小米6最新消息:前面板新增一个开孔 莫非是虹膜识别？
动力电池巨头沃特玛到底发生了什么事？全体职工放假半年
高通推出骁龙X Elite——AI赋能的强大平台将为PC带来变革
制造企业向云平台迁移的态度正变得更加急迫和坚决
采用MAX17503测量电源纹波
阴极吸收式密封铅蓄电池的优点都有哪些
天津大学液态全柔性智能机器人研发成功，能被液滴携带进行运动
发展自动驾驶技术，司机变得更懈怠是技术发展的原罪？
一个模拟解像力图表的例子
比特币还能继续火下去吗
诺粉谈诺基亚6回归：也许过去了 就再也回不去了