基于电阻抗成像的多模态手势识别系统构建与算法实现

摘要

本文提出了一种基于电阻抗成像（Electrical Impedance Tomography, EIT）技术的多模态手势识别方法，旨在实现对人体手势动作的非接触式精准识别。系统利用16电极阵列采集手臂在不同手势下的电压信号，结合图像重建与统计特征提取手段构建融合特征向量，最终采用多种机器学习算法进行识别分类。实验结果表明，在融合电压与图像特征后，识别准确率明显提升，其中SVM模型在融合特征下表现最优。该方法为EIT在人机交互、康复辅助等领域的应用提供了新路径。

关键词

电阻抗成像；手势识别；多模态融合；图像重建；机器学习

1 引言

手势识别是人机交互领域的重要研究方向，广泛应用于虚拟现实、辅助控制、康复医疗等场景。传统方法多依赖于视觉图像或肌电信号，但前者易受环境光照、遮挡等干扰，后者则对贴附位置与用户个体差异较敏感。电阻抗成像（EIT）是一种基于表面电极测量体内导电性分布变化的成像技术，具有非侵入、低成本、穿透性强等优势。近年来，EIT在肺功能监测、脑功能成像等方面展现出广泛前景。本文基于EIT原理，提出一种融合空间图像信息与时域电压数据的多模态手势识别方法，构建完整识别流程并验证其实用性与准确性。

2 方法

2.1 数据采集与预处理

采集系统采用16电极环绕前臂布置，设置为相邻驱动与相邻测量模式，采样频率为100 Hz。实验共采集5类标准手势（握拳、张开、OK等），每类手势30次，共计450组样本。每次采集生成256通道电压差向量，作为原始时域特征。随后通过脚本`read_EIT_dataset.m`对数据进行统一读取、标注与格式转换，生成标准MAT数据集。如图1所示。

图1 数据采集与预处理

2.2 图像重建与特征提取

基于EIDORS平台实现图像重建，采用正则化高斯-牛顿（GN-One-Step）算法，输入为目标帧与参考帧的电压差值。为抑制噪声并突出局部阻抗变化区域，引入高通滤波先验函数。每帧图像提取64维统计特征，包括像素均值、方差、最大值位置、重心坐标、能量分布等信息，作为空间特征用于后续融合分析，如图2所示。

图2 图像重建与特征提取

2.3 多模态融合与分类建模

将256维电压特征与64维图像特征进行拼接形成融合特征向量。分类模块基于MATLAB实现，包含支持向量机（SVM）、决策树（Tree）与K近邻（KNN）三种分类模型。训练与测试数据比例为8:2，采用`cvpartition`控制实验可重复性。评估指标为分类准确率与混淆矩阵，对比不同模型与特征组合下的分类效果。

图3 手势识别机器学习分类算法

3 实验结果

3.1 数据集概况

实验共采集450组样本，每类手势90组，均包含256维电压特征与64维图像特征。样本具有良好的时间连续性与动作一致性，适合用于监督学习训练与评估。

3.2 分类准确率分析

实验结果表明，在原始电压、图像特征及融合特征三种输入条件下，融合特征识别效果最佳。不同分类模型在融合特征下的准确率如图4所示。相较之下，SVM在整体分类性能方面表现最优，融合特征可有效提升系统识别精度。

图4 机器学习分类准确率对比图

3.3 可视化与混淆矩阵

通过波形图与热图展示不同手势对应的电压响应与阻抗分布变化，进一步利用混淆矩阵分析各模型误分类来源。结果显示，误判主要集中于形态接近的手势类别（如“握拳”与“OK”），表明在这些类别上进一步引入时序或深度学习模型仍具有改进空间。

图5 混淆矩阵结果图

4 结论

本文提出的基于EIT的多模态手势识别系统，结合了空间阻抗图像与时域电压波形特征，构建了一套从数据采集、图像重建到模型分类的完整流程。实验表明，融合特征在多类机器学习模型下均能显著提升识别准确率，验证了该系统在非接触式手势识别中的有效性。未来将进一步探索深度学习方法与三维动态建模的结合，以提升系统泛化能力与应用场景适配性。

最后，有相关需要，欢迎通过公众 号“320科技工作室”与我们联络。