目的 采用超声瓣膜图像与CT 心腔图像拼接融合,为3D打印心脏提供更丰富的解剖信息及新的图像处理方法.方法 回顾性分析41例心房颤动患者经食管三维超声心动图(3D-TEE)及心脏CT的医学数字成像和通信(DICOM )图像,使用Mimics软件对数据进行后处理.单模态组只使用心脏CT作为数据源,多模态组使用CT和超声作为数据源.对3D重建瓣膜结构进行评分,并测量两组瓣环周长、面积等参数,将单模态组与多模态组两组图像重合,测量两者瓣环平面夹角,计算各测值的绝对差值,并行统计学分析.结果 超声重建瓣膜评分均高于CT重建瓣膜;两组瓣环相关参数差异无统计学意义( P ＞0 .05) ,且一致性良好;图像配准检验时二尖瓣及主动脉瓣瓣环平面夹角均值及标准差分别为(3 .15 ± 0 .88)°、 (2 .87 ± 0 .76)°.结论 超声瓣膜与CT心脏图像融合精准,且超声瓣膜形态显示更佳,有助于提高3D打印心脏模型的仿真性.

目的 为了评估前列腺癌放疗中直肠并发症的预后,提出一种新型的基于多模态特征及多分类器融合的预测模型.方法 本研究回顾性收集了44例接受外照射放疗的前列腺癌患者的临床数据,从中提取临床参数特征和剂量学特征两种不同模态特征,并利用筛选后的特征子集分别对五种基分类器(向量机、决策树、K近邻、随机森林和XGBoost)进行训练得到不同模态下的多个基分类器,然后采用一种新型的基于多准则决策的权重分配算法依次对同一模态下多个基分类器以及不同模态信息的模型进行融合,最终实现基于多模态特征及多分类器融合的预测模型.本研究采用五折交叉验证方法和ROC曲线下所围面积(AUC)、准确率、灵敏度和特异性四种评价指标来定量评价所提出的预测模型.此外,本研究还将所提出模型与不同特征选择方法、不同的权重分配算法、基于单模态单分类器的模型,以及两种使用其他融合方法的集成模型进行定量比较.结果 五折交叉验证结果显示本研究所提出的模型的平均准确率、AUC、特异性、灵敏度分别为:0.78、0.83、0.79、0.76.结论 与基于单模态单分类器的模型以及其他融合模型相比,本文所提出的基于多模态特征及多分类器融合的模型能更准确地预测前列腺癌放疗中的直肠并发症.

目的 研究超声单模态融合成像技术在微波消融治疗原发性肝癌(PLC)患者中的应用价值.方法 2018年3月～2019年12月我院诊治的88例PLC患者,其中44例采用超声单模态融合成像(观察组),另44例采用CT/MRI多模态融合成像(对照组)指导微波消融治疗.结果 观察组配准评估时间为(3.8±1.3)min,显著短于对照组[(5.2±1.7)min,P<0.05],观察组和对照组融合成像成功率分别为63.6％和56.8％,无显著性差异(P>0.05);在44例观察组发现52个病灶,单模态融合成功36个病灶(69.2％),在44例对照组发现54个病灶,多模态融合成功32个病灶(59.3％),两组病灶融合成功率比较,无显著性差异(P>0.05);两组肿瘤完全消融率分别为97.7％和93.2％,无显著性差异(P>0.05);观察组消融治疗后发热、局部疼痛、胆道出血和胆漏并发症发生率分别为9.1％、20.5％、4.5％和0.0％,与对照组的13.6％、27.3％、9.1％和2.3％比,差异无统计学意义(P>0.05);随访3～20个月,观察组生存32例(72.7％),总体生存(OS)为15.1(5.0,20.0)个月,无进展生存(PFS)为12.8(4.9,20.0)个月,对照组生存32例(72.7％),OS为14.2(4.8,20.0)个月,PFS为13.3(4.7,20.2)个月(Log rank x2=0.592,P=0.442;x2=1.103,P=0.294).结论 超声单模态融合成像与CT/MRI多模态融合成像均可用于指导微波消融治疗PLC患者,但超声单模态融合成像更为简便,经济,可提供即时影像学资料,为后续治疗提供依据.

目的:基于级联3D U-Net,利用配对患者头颈部数据[CT和磁共振图像(MRI)],取得比仅CT数据更高分割精度的视交叉自动分割结果.方法:该级联3D U-Net由一个原始3D U-Net和改进的3D D-S U-Net(3D Deeply-Supervised U-Net)组成,实验使用了60例患者头颈部CT图像及MRI图像(T1和T2模态),其中随机选取15例患者数据作为测试集,并使用相似性系数(DSC)评估视交叉的自动分割精度.结果:对于测试集中的所有病例,采用多模态数据(CT和MRI)的视交叉的DSC为0.645±0.085,采用单模态数据(CT)的视交叉的DSC为0.552±0.096.结论:基于级联3D U-Net的多模态自动分割模型能够较为准确地实现视交叉的自动分割,且优于仅利用单模态数据的方法,可以辅助医生提高放疗计划制定的工作效率.

本文提出一种基于Wasserstein Gan的无监督单模配准方法.与现有的基于深度学习的单模配准方法不同,本文的方法完成训练不需要Ground truth和预设的相似性度量指标.本文方法的主要结构包括生成网络和判别网络.首先,生成网络输入固定图像(正例图像)和浮动图像并提取图像间潜在的形变场,通过插值方式预测配准图像(负例图像);然后,判别网络交替输入正例图像和负例图像,判断图像间的相似性,并将判断结果作为损失函数反馈,进而驱动网络参数更新;最后,通过对抗训练,生成网络预测的配准图像能欺骗判别网络,网络收敛.实验中随机选取30例LPBA40脑部数据集、25例EMPIRE10肺部数据集和15例ACDC心脏数据集用作训练数据集,然后将剩下的10例LPBA40脑部数据集、5例EMPIRE10肺部数据集和5例ACDC心脏数据集用作测试数据集.配准结果与Affine算法、Demons算法、SyN算法和VoxelMorph算法对比.实验结果显示,本研究算法的DICE系数(DSC)和归一化相关系数(NCC)评价指标均是最高,表明本文方法的配准精度高于Affine算法、Demons算法、SyN算法和目前无监督的SOTA算法VoxelMorph.

为促进语义匹配技术在智慧医疗的发展,第5届中国健康信息处理大会(CHIP2019)举办医疗文本迁移学习比赛,通过竞赛的方式比较分析不同模型的性能,研究语义匹配模型在医疗领域的应用情况.针对头部队伍的模型研究表明,BERT类模型F1值比传统深度学习模型平均高出4％～5％.其中,效果最好的是Roberta,单模F1值超过0.86,准确率接近90％,和人类水平相当.此外,加入疾病领域知识后,模型训练收敛更快,F1值能提升约1％.说明随着自然语言处理(NLP)技术的发展,传统深度学习模型已被BERT(bidirectional encoder representations from transformer)类模型全方位超越,基于迁移学习的BERT类模型可能会是智能医疗问答系统日后的发展趋势.

目的 运用田纳西节奏音调测试初步探讨一侧植入人工耳蜗、对侧选配助听器(即双模式聆听)的聋儿的音调感知能力是否优于单侧人工耳蜗(Cochlear Implant,CI单模)聋儿的音调感知能力.方法 选择20名年龄在7-13周岁,并且在3.5岁前植入人工耳蜗的聋儿,应用田纳西节奏音调测试(Tennessee-Test of Rhythm and Intona-tion Patterns,T-trip)的材料开展音调旋律轮廓结合节奏的测试评估同一个体在双模与单模CI下的音调感知能力.测试材料共有8个项目:项目1和2得分为1分,项目3至6得分为2分,项目7和8得分为4分(总计18分),分值越高表明音调感知能力越强.测试结束后,将双模组(Cochlear Implant-Hearing Aid,CIHA)、单模(CI)组2组得分数据录入SPSS 22.0软件进行独立样本t检验分析,以P<0.05为差异具有统计学意义的标准,比较双模组的评估得分是否高于CI单模组.结果 双模聆听条件下的测试得分为14.25±0.49;CI单模聆听下得分为5.75±0.50;所有样本总得分为10±0.76.两组样本得分存在显著性差异,即双模聆听得分与CI单模得分的差别具有统计学意义,双模聆听得分均比CI单模聆听得分高.结论 单侧耳蜗植入者双模式聆听下音调感知能力较CI单模式聆听下音调感知能力好.

目的 为了解决UNet框架上采样过程中信息丢失的问题,本文采用青少年脑部MRI研究网络学习能力弱和脑部边缘区域配准精度不高的问题.材料与方法 本文采用公开可用的脑部MRI数据集:HBN和LPBA40,提出了一种结合多尺度注意力机制的生成对抗网络(multiscale attention mechanisms generative adversarial networks,MAM_GAN)配准模型,实现了单模态脑图像配准.该方法由配准网络和鉴别网络组成.通过在鉴别网络中添加多尺度注意力机制(multiscale attention mechanisms,MAM)模块获取不同尺度下的上下文信息,在对抗训练过程中提取到更有效的大脑结构特征.其次,在配准网络中引入了图像相似性的局部互相关损失函数,约束移动图像与固定图像之间的相似性,在两个网络的对抗训练过程中进一步提高图像配准的性能.本文使用Dice系数(Dice coefficient,Dice)、结构相似度(structural similarity,SSIM)和皮尔森相关系数(Pearson's correlation coefficient,PCC)衡量配准图像与固定图像的配准精度.结果 MAM_GAN方法在Dice指标上相对于传统的方法,脑脊液(cerebrospinal fluid,CSF)、脑灰质(gray matter,GM)和脑白质(white matter,WM)精度分别提高了0.013、0.023和0.028,PCC指标提高了0.004,SSIM指标提高了0.011.由此可见,该方法配准效果好.结论 MAM_GAN方法能够更好地学习到脑部结构特征,提升了配准的性能,为青少年多动症临床诊断和体质检测提供技术基础.