目的:探讨基于卷积神经网络（CNN）的人体行为识别在新一代院前急救中的应用。方法:从蒙特利尔跌倒视频数据集获取60份视频，按5∶1比例分为模型训练数据和评价测试数据。①数据模型训练：利用奇异值分解对图片进行清晰化处理，通过目标检测与傅里叶变换识别图片中人体的目标边界，将人体曲线描绘出来；利用OpenCv计算机视觉和机器学习软件库人体姿态估计将人体的重要部位（如臀部、膝盖）标出，计算重要部位连线与水平方向的夹角及检测框架的长宽比例，识别人体是否具有异常行为。②评价测试：从模型训练数据集中随机提取6个视频，每个视频抽取10个1帧，将每帧看成一张图片，对每帧进行CNN行为识别，计算正常行为和异常行为的识别率。结果:数据模型训练过程中，对每帧进行人为的标签化，训练CNN人体行为识别模型。评测结果显示，正常行为识别率为（90.33±3.03）%，异常行为识别率为（87.74±2.88）%。结论:在路人发生危险行为时，通过CNN识别人体行为可判断其是否处于危急状态，并及时发出预警，对院前急救起到至关重要的作用。

目的 传统中医体质辨识主要依靠填写体质量表,存在一定的主观性,而后出现了基于舌象辨识体质的方法,为体质辨识客观化奠定了基石,但这些方法往往依赖于舌诊仪、面诊仪等专业设备.研究旨在提出一种仅依赖室内光学摄像头的基于人体骨骼特征的中医体质辨识模型,研讨将体质辨识的输入特征扩展至全身的可行性.方法 采集受试者身高、体质量、性别、全身图像,并让受试者填写体质量表,以量表测试结果作为数据标注,利用深度学习算法提取人体骨骼特征,并利用神经网络建立身高、体质量、性别以及骨骼特征与受试者体质之间的联系,建立基于骨骼特征的中医体质辨识模型,并评估其表现.结果 实验结果表明,基于人体骨骼特征的中医体质辨识模型在样本数据上取得了一定的准确性,在仅依靠室内光学摄像头的条件下,能够达到与基于舌象的体质辨识模型相近的水平.结论 基于人体骨骼特征的中医体质辨识模型能够在仅依靠室内光学摄像头的条件下实现中医体质辨识,相较于传统的体质量表更加具有客观性,相较于基于舌象的方法更加便捷.未来可以对此类方法进行多模态融合,优势互补,进一步完善中医体质辨识客观化、智能化、多模态化.

目的:为完成器械护士机器人手术器械识别及传递任务,提出一种基于多级联深度学习处理器的手术器械检测和姿态估计算法.方法:提出的多级联深度学习处理器CYSP算法级联了添加坐标注意力模块的YOLOX(YOLOX with coordinate attention block,CA-Y OLOX)、分割一切模型(segment anything model,SAM)、主成分分析(principal component analysis,PCA)等功能模组.首先,应用CA-YOLOX进行器械种类识别,完成x、y坐标粗定位;其次,利用SAM分割器明确手术器械在RGB图像中的位置,引入深度信息和相机内部参数获得手术器械点云;最后,对手术器械点云使用PCA算法获得其质心、主方向和法线方向,凭此求解目标坐标系(手术器械质心坐标系)与机械臂基坐标系间的旋转平移(rotation and translation,RT)矩阵,并将该矩阵转换为四元数传递给机械臂控制单元,使机械臂可以到达相应位置拾取器械,完成器械传递任务.在自建的手术器械图像数据集上完成迁移训练并评估提出算法的效果,在七自由度机械臂上进行器械传递实验并评估该算法的成功率.结果:多级联深度学习处理器CYSP算法在手术器械数据集上的识别准确率为98.52％,器械传递实验的成功率为94％,识别平均用时为0.28 s.结论:多级联深度学习处理器CYSP算法具有较好的可靠性和实用性,能有效辅助器械护士机器人完成手术器械识别及传递任务.

针对自动检测医学图像中指定目标时存在的问题,提出了一种基于深度学习自动检测目标位置和估计对象姿态的算法.该算法基于区域深度卷积神经网络和目标结构的先验知识,采用区域生成候选框网络、感兴趣区域池化策略,引入包括分类损失、边框位置回归定位损失和像平面内朝向损失的多任务损失函数,近似优化一个端到端的有监督定位网络,能快速地对医学图像中目标自动定位,有效地为下一步的分割和参数自动提取提供定位结果.并在超声心动图左心室检测中提出利用检测额外标记点(二尖瓣环、心内膜垫和心尖),能高效地对左心室朝向姿态进行估计.为了验证算法的鲁棒性和有效性,实验数据选取经食管超声心动图和核磁共振图像.实验结果表明算法是快速、精确和有效的.

睡姿识别是诊断和治疗体位相关性睡眠呼吸障碍的核心指标,为实现对人体睡眠姿态的无扰检测,设计开发了一种基于心冲击图(Bal istocardiogram,BCG)形态差异的便携式睡姿识别系统.通过集成压电薄膜传感器的床垫采集人体胸廓部位BCG信号,利用三次B样条小波变换和朴素贝叶斯分类方法,实现波形特征的提取和睡姿样本的预测.对11名健康受试者进行模拟睡眠实验,结果表明:心率特征值的估计与参照方法之间差异均值为0.04±1.3 beats/min(±1.96 SD),分段校正后的四种基本睡姿识别准确度超过97％,平均正确识别率达97.9％.该系统在测量舒适性和准确度上表现优异,对日常睡眠监测具有良好的应用价值.

背景:胸主动脉腔内修复是治疗主动脉夹层及胸主动脉瘤的重要手段,手术成功与否取决于覆膜支架是否放置到了正确位置;然而支架置入时,医生在术中X射线图像中看不到主动脉,手术难度高、风险大.配准术前CT血管造影和术中X射线图像可以帮助医生放置支架,提高成功率.目的:提出一种适用于胸主动脉腔内修复的术前CT血管造影与术中X射线图像配准算法.方法:首先,在不同虚拟视角下,对全图CT血管造影和骨骼CT分别做数字重建影像,将两者叠加起来,得到各种视角位置姿态下的数字重建影像库,用于与术中X射线图像配准;其次,提出一种基于分支解码结构的深度神经网络,使用数字重建影像库训练,可对术中X射线图像的位置姿态参数进行估计,从而获知CT血管造影与术中X射线图像之间的空间位置关系;最后,根据X射线图像在CT血管造影坐标系中的位姿参数,将CT血管造影中胸主动脉影像进行重投影,叠加至术中X射线图像中,为医生手术提供导航辅助.结果与结论:①通过实验验证,此文算法与梯度相关、模式强度2种传统算法相比,均方根误差降低17％;②双分支编解码结构网络,在数字重建影像测试集上,参数估计误差减小到无分支结构网络的30％;③在术中X射线图像的实验中,均方根误差也有2％的降低.

对圈养大熊猫(Ailuropoda melanoleuca)开展长期行为监测能及时了解其所处生理周期和健康状况,有助于繁殖饲养机构迅速采取相应繁育保护措施提高饲养管理水平,但目前无法对大熊猫进行24 h监控并及时地获得相应的行为信息.准确的动物姿态估计是动物行为研究的关键,也是诸多下游应用的基础.了解大熊猫的姿态可以促进大熊猫行为研究并提升保护管理水平.为了提高复杂环境下大熊猫姿态估计的准确率,本文以高分辨率网络(High resolution net,HRNet)为基础网络架构提出了一种大熊猫姿态估计方法:针对大熊猫不同部位尺度差异较大的问题,在HRNet-32中引入了空洞空间金字塔池化(Atrous spatial pyramid pooling,ASPP)模块,在提升特征感受野的同时捕获多尺度信息;同时对大熊猫身体关键点进行分组,引人基于部位的多分支结构来学习特定于每个部位组的表征.多次对比实验结果表明本文所用模型具有较高的检测精度:在PCK@0.05中所用模型精度达到了81.51％.本文提出的方法可为大熊猫的行为分析和健康评估提供技术支撑.

患者头部姿态估计技术是神经外科手术机器人自主化与智能化感知的关键技术之一.本研究利用基于数据驱动的深度学习方法帮助神经外科手术机器人估算患者头部姿态,为神经外科手术的智能化打下基础.首先,建立患者头部姿态估计任务的基本数学关系;其次,给出一种高效、鲁棒的头部姿态标注方法,解决面部特征缺失情况下的2D头部图像姿态标注问题;之后,通过采集机器人视角下神经外科手术场景照片,构建共包含79个手术场景、合计4 301张照片的患者头部姿态估计数据集;最后,研究HopeNet深度神经网络在患者头部姿态估计问题上的适用性,并通过分布式标签、头部区域自适应裁剪、旋转数据增强以及新提出的旋转速率损失函数等方法提高模型性能.进行网络训练和评价,在包含10个手术场景、386张照片的同源测试集1上,基于单视角的姿态估计在偏航角、滚动角、俯仰角等3个方向平均可以达到±12.76°的预测误差;在8个手术场景、229张照片的异源测试集2上,在上述3个方向平均可以达到±13.41°的预测误差.结果表明,提出的模型能准确估计患者头部姿态,且提出的优化方法可以有效提升算法精度,并提高模型的泛化能力.

当今中国已步入老龄社会,养老安全已成为社会关注的焦点.基于人工智能技术和多元信息融合技术,该文介绍一套结合机器学习算法、物联网设备和云计算等应用,面向社区和居家场景的养老综合安全智能监测系统.通过系列传感器全方位全时段无感采集老年人的日常生活数据,对老年人跌倒、疾病突发、异常出入、燃气烟雾等高危状态实现智能报警.通过人体姿态估计与行为识别技术的创新研究以及多种传感器的信息融合应用,可降低老年人安全事故的发生或因此导致的伤害,改善社区和居家生活环境.

目的 针对目前上肢康复训练设备多为被动式、训练方式单一、患者主动参与度较低等问题,提出一种基于多模态信息融合的上肢连续运动估计算法,实现对肘关节力矩的准确估计.方法 首先,在4种角速度下,采集受试者的表面肌电信号和姿态信号,提取信号的时域特征并利用主成分分析方法进行特征融合;其次,通过附加动量法和自适应学习率对反向传播神经网络(back propagation neural network,BPNN)进行改进,使用粒子群算法(particle swarm optimization,PSO)对神经网络进行优化,构建基于PSO-BPNN的连续运动估计模型;最后,以第2类拉格朗日方程计算的关节力矩作为准确值,对模型进行训练,并与传统BPNN模型进行性能对比.结果 传统BP神经网络模型均方根误差为558.9mN·m,R2系数为77.19％,优化模型后的均方根误差和R2系数分别为113.6 N·m、99.12％,力矩估计准确度进一步提高.结论 本文提出的肘关节连续运动估计方法能够准确地识别运动意图,为上肢外骨骼康复机器人的主动控制提供切实可行的方案.