目的 探索一种在小数据量条件下提高医学诊断神经网络模型准确率和泛化能力的方法,解决在指甲病图像计算机辅助诊断中由于训练数据量小而导致神经网络模型性能不佳的问题.方法 提出融合实例分割与细粒度特征分类的双模型策略,采用第一届全国数字健康创新应用大赛健康医疗大数据主题赛基于图像的指甲病智能诊断模型任务数据集训练基于双模型策略的神经网络模型,该任务数据集涵盖甲母痣、甲沟炎、银屑病甲、甲真菌病、甲下出血、甲黑线、甲周疣、甲黑素瘤8类指甲病,各类别不平衡.评估双模型策略的诊断性能,并与相同软、硬件训练条件下单模型策略[图像分类模型(ResNet50、Swin Transformer)和基于快速区域卷积神经网络(Faster R-CNN)的目标检测模型]进行比较.结果 纳入任务数据集包括甲母痣210例、甲沟炎186例、银屑病甲69例、甲真菌病203例、甲下出血149例、甲黑线71例、甲周疣93例、甲黑素瘤67例共1 048例样本,其中90％的样本用于训练不同策略的模型,10％用于评估模型.基于ResNet50的图像分类模型的micro F1值为0.324,基于Swin Transformer的图像分类模型为0.381,基于Faster R-CNN的目标检测模型为0.572,基于双模型策略的Mask R-CNN+Swin Transformer模型为0.714.双模型策略预测各指甲病的准确度为甲母痣80.95％(17/21)、甲沟炎89.47％(17/19)、银屑病甲100.00％(7/7)、甲真菌病70.00％(14/20)、甲下出血73.33％(11/15)、甲黑线14.29％(1/7)、甲周疣55.56％(5/9)、甲黑素瘤42.86％(3/7).双模型策略在该任务1 000例测试集中的micro F1值为0.844.结论 双模型策略可以有效结合功能不同的模型,更好地完成小数据量训练条件下的指甲病图像智能诊断任务.

目的:探讨基于计算机深度学习经皮椎板间脊柱内镜下手术视野的多元素识别网络模型的研究及应用价值。方法:回顾性队列研究。纳入2021年9月—2022年3月徐州中心医院脊柱外科行经皮椎板间脊柱内镜下腰椎间盘切除术的腰椎间盘突出患者62例，其中男34例、女28例，年龄27~77（50.0±14.7）岁。收集患者内镜手术视频，选取4 840张经皮脊柱内镜手术视野图片（包含各种组织结构及手术器械）建立图片数据集，按照2∶1∶2分为训练集、验证集和测试集，开发8种基于实例分割的卷积神经网络模型（模型的分割头部分别为Solov2、CondInst、Mask R-CNN及Yolact，主干网络分别设置为ResNet101、ResNet50）。采用边框检测、轮廓分割的均值平均精度（mAP）及图像实时识别的每秒帧数（FPS）来衡量各模型对（神经、黄韧带、髓核等）解剖结构，以及（内镜钳、高速金刚石磨钻等）手术器械的分类、定位及图像实时识别的性能。结果:（1）8种卷积神经网络模型在图像边界框检测的精度方面由高到低依次为Mask R-CNN（ResNet101）、CondInst（ResNet101）、CondInst（ResNet50）、Mask R-CNN（ResNet50）、Yolact（ResNet101）、Yolact（ResNet50），其中，Mask R-CNN（ResNet101）模型精度最高（mAP=68.7%），Yolact（ResNet50）精度最低（mAP=49.7%）。（2）8种卷积神经网络模型在图像轮廓分割的精度方面由高到低依次Solov2（ResNet101）、Solov2（ResNet50）、Mask R-CNN（ResNet101）、CondInst（ResNet101）、Mask R-CNN（ResNet50）、CondInst（ResNet50）、Yolact（ResNet101）、Yolact（ResNet50）。其中，Solov2（ResNet101）精度最高（mAP=70.1%），Yolact（ResNet50）精度最低（mAP=55.2%）。（3）在图像实时识别方面，Yolact模型速度最快，其次为Solov2模型、Mask R-CNN模型，CondInst（ResNet101）速度最慢。结论:基于计算机深度学习的经皮椎板间脊柱内镜手术视野多元素识别模型可以实时识别和跟踪解剖组织及手术器械。其中，Mask R-CNN（ResNet101）模型可用作脊柱内镜操作虚拟教育工具，Solov2（ResNet101）模型可应用于脊柱内镜术中实时辅助系统。

目的:探究计算机视觉人工智能技术在腹腔镜胃癌根治术场景中对器械和脏器检测识别的可行性和准确性。方法:收集国内4家大型三甲医院［解放军总医院第一医学中心（3份）、辽宁省肿瘤医院（2份）、江苏省人民医院溧阳分院（2份）、复旦大学附属肿瘤医院（1份）］共计8份完全腹腔镜远端胃癌根治术手术视频。使用PR软件每5~10 s进行抽帧转换为图帧，转换后进行人工去重，去除明显雷同图帧和模糊图帧以确保质量。转换并去重后，抽帧图像共3 369张，图像分辨率为1 920×1 080 PPI，用LabelMe实例分割图像；共计23个类别包括静脉、动脉、缝针、持针器、超声刀、吸引器、出血、结肠、钳子、胆囊、小纱布、Hem-o-lok夹、Hem-o-lok钳子、电钩、小肠、肝圆韧带、肝脏、网膜、胰腺、脾脏、吻合器、胃和Trocar穿刺器。将抽帧图像按照9∶1比例随机分为模型训练集和模型验证集，使用YOLOv8深度学习框架进行模型训练和验证。采用精确度、召回率、精确度均值和平均精确度均值（mAP）评价检测识别准确性。结果:训练集3 032帧图像，23个类别共计30 895个实例分割数量；验证集337帧图像，共计3 407个实例分割数量。使用YOLOv8m模型训练，训练集损失曲线中损失值随迭代计算轮次增加而逐步平滑下降。训练集中，23个类别检测识别AP值均达0.90以上，23个类别mAP为0.99。验证集中，23个类别mAP为0.82。单一类别中，超声刀、持针器、钳子、胆囊、小纱布和吻合器的AP值分别为0.96、0.94、0.91、0.91、0.91和0.91。模型成功推理应用于时长为5 min的腹腔镜下缝合胃肠共同开口视频片段。结论:本研究初步证实了计算机视觉可高效准确并实时地检测腹腔镜胃癌根治术各手术场景中的脏器和器械。

目的:研发胎儿脊髓圆锥末端尾侧椎体骨化中心智能计数模型并评估其应用效果。方法:回顾性选取2021年1月至2022年10月深圳市妇幼保健院及珠海市人民医院采集的3 000帧胎儿脊柱骶尾段正中矢状面声像图，其中2 800张图像进行椎体骨化中心与脊髓圆锥的人工精细标注与训练，采用Yolov8算法搭建实例分割模型进行分割训练并通过后处理的方式进行椎体骨化中心拟合与自动计数。另外200张图像分别由人工智能(AI)模型、中级医师(D1)以及初级医师(D2)对胎儿脊髓圆锥末端尾侧椎体骨化中心个数进行计数并计时，由专家对AI模型和D1、D2的计数是否准确进行评估。比较AI模型、D1和D2的准确率以及耗时差异。结果:经过专家评估，AI圆锥分割拟合与计数的准确率达95.00%(190/200)，与D1的准确率(94.50%，189/200)差异无统计学意义( P＝0.823)，但高于D2 88.50%(177/200)，差异有统计学意义( P＝0.012)。D1、D2与AI计数耗时分别为5.00(4.25，6.00)s、7.00(7.00，8.00)s、0.09(0.08，0.10)s，AI明显少于D1、D2，差异有统计学意义(均 P<0.001)。 结论:经过训练的AI模型可以高效、准确地完成圆锥末端的椎体骨化中心计数，相当于中级医师的水平，该模型有望进一步应用于胎儿脊柱裂筛查，提高产前超声筛查的自动化与智能化水平。

目的:利用卷积神经网络实现基于锥形束CT(cone-beam computed tomography,CBCT)体素数据的牙齿实例分割和牙位标定.方法:本文所提出的牙齿算法包含三个不同的卷积神经网络,网络架构以Resnet为基础模块,首先对CBCT图像进行降采样,然后确定一个包含CBCT图像中所有牙齿的感兴趣区域(region of interest,ROI).通过训练模型,ROI利用一个双分支"编码器-解码器"结构网络,预测输入数据中每个体素所对应的相关空间位置信息,进行聚类后实现牙齿的实例分割.牙位标定则通过另一个多类别分割任务设计的U-Net模型实现.随后,在原始空间分辨率下,训练了一个用于精细分割的U-Net网络,得到牙齿的高分辨率分割结果.本实验收集了 59例带有简单冠修复体及种植体的CBCT数据进行人工标注作为数据库,对牙齿算法的预测结果使用实例Dice相似系数(instance Dice similarity coefficient,IDSC)用来评估牙齿分割结果,使用平均 Dice 相似系数(the average Dice simi-larity coefficient,ADSC)评估牙齿分割及牙位标定的共同结果并进行评定.结果:量化指标显示,IDSC为89.35％,ADSC为84.74％.剔除了带有修复体伪影的数据后生成了有43例样本的数据库,训练网络得到了更优良的性能,IDSC为90.34％,ADSC为87.88％.将得到的结果进行可视化分析,牙齿算法不仅可以清晰地分割出CBCT中牙齿的形态,而且可以对牙齿的分类进行准确的编号.结论:该牙齿算法不仅可以成功实现三维图像的牙齿及修复体分割,还可以准确标定所有恒牙的牙位,具有临床实用性.

目的:比较Mask-RCNN深度学习模型与Mimics 三维软件在上颌窦建模中的应用.方法:应用Mask-RCNN 及Mimics对纳入的50例患者锥形束CT影像资料进行上颌窦重建并测量上颌窦体积,比较两者重建的效果并对上颌窦体积进行数据分析.结果:在上颌窦建模过程中,应用Mask-RCNN对上颌窦进行图像分割、后处理及重建仅需30余秒,使用Mimics对每例患者上颌窦图像进行手动阈值分割后重建需数十分钟;两者测量的上颌窦体积无显著性差异(P＞0.05).结论:Mask-RCNN深度学习算法优于Mimics,可以更快速准确的重建上颌窦,体现了人工智能在口腔颌面医学影像学领域的辅助诊断价值.

针对脊柱磁共振成像(magnetic resonance imaging,MRI)结构复杂,存在多余组织、噪声及伪像的问题,本研究设计了一种联合自适应核和Transformer的脊柱MRI实例多类别分割网络.以Swin Transformer作为骨干网络,通过引入稠密连接模块减少前向通道的信息丢失,以更好地捕获图像中的细节和局部信息.同时,为进一步捕获复杂空间的多尺度特征,采取自注意力核选择的方式构建跨尺度稠密连接,使模型在训练过程中能自适应学习到合适的卷积核尺寸,提高模型对不同尺度信息的感知能力,提高分割性能.通过在 215 例受试者的T2 加权MRI图像 2D切片上进行验证,实验结果显示,该算法的平均交并比(mean intersection over union,mIoU)、平均召回率(mean recall rate,mRecall)和平均骰子系数(mean dice coefficient,mDice)分别为 82.63%、89.37%和 88.85%.结果表明,本研究算法的分割性能较好,可实现脊柱MRI中椎体及椎间盘的精准分割,为临床医生提供辅助诊断工具.

面向人工假体视觉条件下的避障问题,提出改进的实例分割模型SOLOv2-RS,为植入者在低分辨率人工视觉中更准确地感知导航任务的相关实例对象提供基础.根据视觉注意力机制,采取视野中心距离和目标尺度作为各实例重要性计算准则,以得到的重要性分数作为对需规避障碍物进行分级表达的依据;同时,采用边缘信息提示盲道,并对其进行形态学膨胀处理以避免光幻视有限导致的边缘信息缺失.人工假体视觉仿真结果表明本研究提出的人工假体视觉分级优化处理策略能有效实现盲道和障碍物的优化表达,为植入者更高效地完成室外避障任务提供便利,为人工假体视觉设备图像处理研究提供良好思路.

目的:通过全局注意力多任务网络提升CT图像细小骨折检测的感知,通过多任务实现实例级别细小骨折目标的检测,快速、准确地从大量CT图像中识别并定位骨折,以辅助临床及时开展治疗.方法:引入分组非局部(non-local)网络方法,计算CT图像连续切片任何位置和通道之间的远程依赖关系,将多目标检测模型3D RetinaNet单级检测器与医学图像语义分割(3D U-Net)架构相融合,实现端到端的多任务3D卷积网络,以多任务联合的方式实现对细小骨折的实例级别检测.选择医学图像计算与计算机辅助干预(MICCAI)2020挑战赛提供的肋骨骨折公开数据集(Rib Frac Dataset)600例CT扫描图像,通过5∶1的比例划分为训练集(500例)和验证集(100例),测试多任务3D卷积网络的精度性能.结果:多任务3D卷积网络方法的检测精度性能优于单任务网络FracNet、3D RetinaNet及3D Retina U-Net,其平均精度与3D RetinaNet和3D Retina U-Net网络相比分别高出7.8%和11.4%,且优于3D Faster R-CNN、3D Mask R-CNN两种单任务网络检测方法,平均精度分别高出约6.7%和3.1%.结论:全局注意力多任务网络融合不同模块,对于细小骨折检测性能均有提升,引入分组非局部(Non-local)网络方法能够进一步提升对细小骨折目标的检测精度性能.

颅内出血由颅内血管破裂引起,出血体积对治疗决策和预后分析具有重要的临床意义,而基于CT影像的血肿分割是体积测量的基础.全监督方法依赖于人工勾画的标签,十分耗时和繁琐,现有弱监督分割方法的鲁棒性差,容易受伪影干扰.为此,本研究提出了基于多实例学习的弱监督颅内出血分割网络MIL-ICH,由双分支结构组成.首先,由多实例学习解码器生成热图定位出血区域;然后,在热图基础上使用CT值阈值和像素自适应优化模块提取并优化伪标签,训练分割解码器;最后,两个分支同时训练,提高训练效率并且利用多分支协同作用进一步提升分割性能.在来自RSNA颅内出血数据集的200例CT扫描上的测试结果表明,MIL-ICH网络的Dice相似性系数和体积相似度分别达到了 0.822和0.896,本网络测量的出血量与实际出血量的相关性优于临床常用的多田公式估测法.所提出的方法能够提高颅内出血弱监督分割性能,有助于为临床提供出血体积测量和预后评价的依据.