目的:探究计算机视觉人工智能技术在腹腔镜胃癌根治术场景中对器械和脏器检测识别的可行性和准确性。方法:收集国内4家大型三甲医院［解放军总医院第一医学中心（3份）、辽宁省肿瘤医院（2份）、江苏省人民医院溧阳分院（2份）、复旦大学附属肿瘤医院（1份）］共计8份完全腹腔镜远端胃癌根治术手术视频。使用PR软件每5~10 s进行抽帧转换为图帧，转换后进行人工去重，去除明显雷同图帧和模糊图帧以确保质量。转换并去重后，抽帧图像共3 369张，图像分辨率为1 920×1 080 PPI，用LabelMe实例分割图像；共计23个类别包括静脉、动脉、缝针、持针器、超声刀、吸引器、出血、结肠、钳子、胆囊、小纱布、Hem-o-lok夹、Hem-o-lok钳子、电钩、小肠、肝圆韧带、肝脏、网膜、胰腺、脾脏、吻合器、胃和Trocar穿刺器。将抽帧图像按照9∶1比例随机分为模型训练集和模型验证集，使用YOLOv8深度学习框架进行模型训练和验证。采用精确度、召回率、精确度均值和平均精确度均值（mAP）评价检测识别准确性。结果:训练集3 032帧图像，23个类别共计30 895个实例分割数量；验证集337帧图像，共计3 407个实例分割数量。使用YOLOv8m模型训练，训练集损失曲线中损失值随迭代计算轮次增加而逐步平滑下降。训练集中，23个类别检测识别AP值均达0.90以上，23个类别mAP为0.99。验证集中，23个类别mAP为0.82。单一类别中，超声刀、持针器、钳子、胆囊、小纱布和吻合器的AP值分别为0.96、0.94、0.91、0.91、0.91和0.91。模型成功推理应用于时长为5 min的腹腔镜下缝合胃肠共同开口视频片段。结论:本研究初步证实了计算机视觉可高效准确并实时地检测腹腔镜胃癌根治术各手术场景中的脏器和器械。

目的:研发胎儿脊髓圆锥末端尾侧椎体骨化中心智能计数模型并评估其应用效果。方法:回顾性选取2021年1月至2022年10月深圳市妇幼保健院及珠海市人民医院采集的3 000帧胎儿脊柱骶尾段正中矢状面声像图，其中2 800张图像进行椎体骨化中心与脊髓圆锥的人工精细标注与训练，采用Yolov8算法搭建实例分割模型进行分割训练并通过后处理的方式进行椎体骨化中心拟合与自动计数。另外200张图像分别由人工智能(AI)模型、中级医师(D1)以及初级医师(D2)对胎儿脊髓圆锥末端尾侧椎体骨化中心个数进行计数并计时，由专家对AI模型和D1、D2的计数是否准确进行评估。比较AI模型、D1和D2的准确率以及耗时差异。结果:经过专家评估，AI圆锥分割拟合与计数的准确率达95.00%(190/200)，与D1的准确率(94.50%，189/200)差异无统计学意义( P＝0.823)，但高于D2 88.50%(177/200)，差异有统计学意义( P＝0.012)。D1、D2与AI计数耗时分别为5.00(4.25，6.00)s、7.00(7.00，8.00)s、0.09(0.08，0.10)s，AI明显少于D1、D2，差异有统计学意义(均 P<0.001)。 结论:经过训练的AI模型可以高效、准确地完成圆锥末端的椎体骨化中心计数，相当于中级医师的水平，该模型有望进一步应用于胎儿脊柱裂筛查，提高产前超声筛查的自动化与智能化水平。

目的 基于YOLOv8神经网络开发针对结直肠息肉内镜图像的语义分割模型.方法 收集2018年6月至2024年2月期间的结直肠息肉内镜数据,包括静态图像和视频.所有样本均经过病理学验证,分为锯齿状病变和腺瘤性息肉两类.使用LabelMe工具进行了图像的多边形标注,并转换为YOLO模型兼容的格式.利用这些数据,进行了不同规模的YOLO神经网络模型的迁移学习和微调训练.模型的性能在验证集和测试集上进行了评估,包括精确率(Precision)、检测速度、准确率(ACC)、平均交并比(mIoU)等指标.结果 本研究开发了 5种不同版本大小的YOLOv8语义分割模型,包括v8n、v8s、v8m、v8l、v8x.其中YOLOv8l在速度(107.5帧/s)和精确率(94.50％)达到了最佳平衡,在内部验证集中YOLOv8l的准确率达0.924,mIoU达83.06％,Dice系数达0.941.在外部测试集中,准确率为0.902,mIoU为80.08％,Dice系数为0.923.结论 基于YOLOv8l构建的结直肠息肉语义分割模型具有良好地预测性能,能够自动对息肉进行定位和分类,并精确描述息肉的像素级轮廓.

目的:针对巡检机器人对指针式仪表识别准确率不够高、对被遮挡仪表识别效果较差的问题,提出一种基于改进YOLOv8模型的巡检机器人目标检测方法.方法:首先,以YOLOv8n模型作为基础目标检测模型,在此基础上引入坐标注意力机制,加强模型对输入数据的空间结构理解;其次,将损失函数由完整交并比(complete IoU,CIoU)损失函数替换为高效交并比(efficient IoU,EIoU)损失函数,加快模型检测框的收敛速度;最后,采用柔性非极大值抑制(soft non-maximum suppression,Soft-NMS)函数替代传统的非极大值抑制(non-maximum suppression,NMS)函数,以更加平滑地抑制冗余的边界框,进一步提高检测的准确率.为验证改进模型对检测目标的识别效果,将YOLOv8n模型与改进后的YOLOv8模型(YOLOv8nxt模型)进行对比.结果:与YOLOv8n模型相比,YOLOv8nxt模型的位置损失值降低了 1.3％,mAP_0.5:0.95提高了 1.7％,检测准确率提高了 0.87％,模型大小仅为6.2 M,检测时间仅增加了0.2 ms.结论:基于改进YOLOv8模型的巡检机器人目标检测方法提升了巡检机器人在运动过程中对仪表的识别精度和速度,能有效解决巡检机器人在目标检测阶段存在的问题.

针对结核病病原体在痰涂片图像背景复杂且目标小,人工筛查成本较高的问题,提出了一种基于YOLOv8s的结核病病原体检测方法.首先,采用基于空间和通道重构卷积改进的结构来限制特征冗余.其次,引入了坐标注意力来扩大模型的感受野.再者,使用空间金字塔池化跨阶段局部网络来提取不同尺度上的特征信息.最后,嵌入基于归一化的注意力机制抑制不太显著的特征.实验结果表明,在公开数据集上,改进网络模型与原YOLOv8s模型相比,精确率和召回率分别提升2.7%和1.5%,置信度为0.5时的平均精度均值提高了2.3%,该模型能够有效辅助影像科医师进行诊断.

为提高黄颡鱼表型数据的获取效率,研究开发出一种简易表型获取装置,通过YOLOv8网络模型快速、高效、精确地测量所采集图像中的黄颡鱼表型特征参数.研究共采集1752张黄颡鱼图像数据,基于YOLOv8网络对图像集训练和验证后,完成对584尾黄颡鱼的体面积、头面积、全长、体长、头长、体高、头高、体宽、头宽、腹部面积、胸鳍长度共11种表型特征数据的测量.结果表明,利用该系统测量长度相关的表型性状的平均相对误差均在1％左右,在测量面积相关的表型性状的平均相对误差在3％左右,且所有表型性状的测量时间均在1s之内.进而,将获得的表型数据与鱼体重进行相关性分析、通径分析、回归分析.结果显示,头高对黄颡鱼体重的直接作用最大,其次为头宽、体面积、体长、腹部面积、胸鳍长度,并以这6个性状建立多元回归模型对体重拟合,得到最大的相关指数(0.948),表明这些性状是影响黄颡鱼体重的重要性状.研究提供了一种快速测量黄颡鱼表型数据的技术,为黄颡鱼的良种创制提供基础.

目的:针对眼科超声图像数量有限、标注成本高和模型泛化能力不强的问题,提出一种基于改进YOLOv8的超声生物显微镜(ultrasonic biological microscopy,UBM)图像眼前节参数测量方法.方法:首先,使用StyleGAN3进行数据增强,降低YOLOv8模型对UBM图像的敏感度,提高模型的泛化性能;其次,借鉴半监督学习中的伪标签自训练的方法,使用以原始UBM图像为数据集的YOLOv8模型生成虚拟UBM图像的伪标签;最后,使用扩充后的数据集训练YOLOv8模型,同时使用全局上下文网络(global context network,GCNet)模块改进YOLOv8模型,使用关键点排序算法对YOLOv8的预测结果进行排序,结合先验知识筛选出合格图像后,计算眼前节生理参数的测量值.结果:与眼科专家的手工标注结果相比,经StyleGAN3数据增强和自训练的YOLOv8模型的定位误差为(61.94±40.66)μm,测量前房角间距、瞳孔直径、睫状沟间距、中央角膜厚度、前房深度、晶状体厚度的平均相对误差分别为0.62％、1.35％、0.68％、4.87％、0.93％、0.75％.结论:提出的方法能够提高UBM图像眼前节参数测量的精度,且能满足实时性的需求.

目的 探讨基于注意力机制的深度学习(deep learning,DL)模型在骶髂关节(sacroiliac joint,SIJ)MRI冠状位T1序列图像预测中轴型脊柱关节炎(axial spondylarthritis,axSpA)患者新骨形成进展的临床价值.材料与方法 回顾性分析2010年1月至2022年12月期间在南方医科大学第三附属医院诊断为axSpA的351例患者的初诊和随访1年、2年或3年的MRI图像,以8∶1∶1的比例随机分入训练集,验证集和测试集.开发基于注意力机制的Bifpn-YOLOv8模型,同时构建三个基线模型(YOLOv8、YOLOv7、Faster-RCNN)用于同Bifpn-YOLOv8比较模型效能.使用全类平均准确度(mean average precision,mAP)、F1分数、准确度、召回率、具体情境的常规物体(Common Objects in Context,COCO)指标评估各模型预测新骨形成进展的性能.其中,mAP50 和mAP50:95 分别代表不同交并比阈值下的全类平均准确度,COCO指标的平均准确度(average precision,AP)如AP,AP50,AP75同理.结果 Bifpn-YOLOv8模型在验证和测试集上均取得了良好的预测性能.同基线模型相比,该模型在测试集上取得了最优的mAP50和mAP50:95,为83.8%和50.4%,结果同三个基线模型差异均存在统计学意义(P均<0.05).同样,Bifpn-YOLOv8模型在测试集上获得了较基线模型更优的COCO指标,AP、AP50、AP75 分别为50.5%、82.3%、58.6%.结论 基于注意力机制的Bifpn-YOLOv8模型可以利用MRI图像有效预测axSpA患者SIJ新骨形成进展,该模型有望成为评估新骨形成进展的临床工具,辅助医师对axSpA患者进行临床决策和管理.

目的:开发和评估基于深度学习的人工智能模型,将其应用于临床教学,帮助临床医生学习识别解剖标志,提升学习兴趣,增强手术能力.方法:开发和训练深度学习模型以识别以下解剖标志,包括子宫、输卵管、圆形韧带、卵巢、子宫-卵巢韧带、膀胱、子宫-膀胱空间(膀胱分离安全区)、子宫骶韧带和子宫切除手术期间KOH阴道切除器的边缘.采用P(精度)、mAP(平均精度)、F1-置信曲线、R(召回率)来评估模型的准确性,采用临床分组教学应用的方式来验证该模型是否能对临床教学提供帮助.结果:在达芬奇机器人系统构建的手术视频库上训练人工智能模型.该模型P值为94.80％,mAP值为99.10％,F1得分为96.00％,R为99.00％.将其应用于临床教学后,试验组学员对机器人腹腔镜下妇科解剖结构辨认熟练程度,在8个方面均有显著提高(P＜0.05),尤其是子宫-卵巢韧带、膀胱、子宫-膀胱空间(膀胱分离安全区),有了明显提升,培训后两组医师妇科专业理论成绩的提升有统计学意义(均P＜0.05),试验组成绩优于对照组.结论:人工智能可用于识别手术领域的解剖结构,帮助临床医生更快更好地学习解剖标志识别,加强临床医生的手术能力,为降低术中不良事件的风险提供帮助.

针对道路交通环境中车辆及行人目标较小或被遮挡造成的检测精度低以及误检、漏检问题,提出一种基于改进YOLOv5s模型的车辆及行人目标检测方法.针对小目标和遮挡目标,引入SIoU边界框损失函数,增加小目标检测层,增强对小尺度特征的获取;改进特征金字塔结构,增加横向特征图传递,并使用CSP stage替换C3_F特征提取网络,使其获得更多的语义信息和图形信息;改进后处理NMS算法,优化冗余边界框剔除方法,筛选出高质量检测结果.试验结果表明:改进YOLOv5s模型算法的Precision、Recall、mAP@0.5和mAP@0.5:0.95指标均优于Faster-RCNN、YOLOv3-tiny和YOLOv8s算法,与原YOLOv5s模型算法相比Precision下降了0.4％,但Recall、mAP@0.5和mAP@0.5:0.95提高了3.4％、2.1％和6.0％,分别达到了86.1％、92.9％和70.0％,对小目标和遮挡目标的检测效果明显提高,证明此改进方法有效解决了对小目标和遮挡目标检测精度低以及误检、漏检问题.