[201912专家论坛]深度学习人工智能在胶囊内镜领域中的应用

学习论坛
学习论坛
点击标题下「微信名:中华消化内镜杂志」快速关注
特别提醒

本刊刊登文章版权归中华医学会所有,未经授权,不得转载,摘编本刊文章


深度学习人工智能在胶囊内镜领域中的应用

Application of Deep Learning Artificial Intelligence in Capsule Endoscopy

夏季 潘骏 夏天 廖专  李兆申

海军军医大学附属长海医院消化内科,上海 200433

通信作者:廖专,Email: liaozhuan@smmu.edu.cn

《中华消化内镜杂志》2019年第12期


【摘要】胶囊内镜经过长期临床验证,其适应证已基本明确。因胶囊内镜一次检查可产生约6万张图像数据,不仅会占用医生大量阅片时间,而且人工阅片产生疲劳后,会增加漏诊率。因此多项图像处理技术依靠人工智能强大的计算能力,不断在胶囊内镜领域被尝试用于胶囊定位与疾病辅助诊断,以减少阅片时间,提高检查效率。本文简要总结在胶囊内镜领域中基于深度学习人工智能技术的应用与其发展前景。

【关键词】胶囊内窥镜;机器学习;人工智能;图像解释,计算机辅助

基金项目:上海市青年科技英才扬帆计划(18YF1422800)

DOI:10.3760/cma.j.issn.1007-5232.2019.12. 001

胶囊内镜(capsule endoscopy,CE)最初于2000年被研发用于小肠腔内的可视化成像[1],自其诞生以来,经过长期临床验证,各项适应证也基本明确,包括隐性消化道出血、克罗恩病、小肠息肉等疾病[2-3]。胶囊内镜图像数据由胶囊摄像头以2~35帧/s的速度拍摄获取,每次长达约10 h的胶囊内镜检查过程中产生约6万张图像数据,占用医生大量阅片时间,易产生疲劳进而增加漏诊率。因此多项基于人工智能的图像处理技术不断在胶囊内镜领域被尝试用于胶囊定位与疾病辅助诊断,以减少漫长的阅片时间,提高医生效率。本文简要总结在胶囊内镜领域中基于深度学习人工智能技术的应用与其发展前景。

一、基于深度学习的计算机辅助诊断系统的出现

自21世纪初,内镜数字图像拍摄系统的发展推动计算机辅助决策支持系统(computer-aided decision support system,CADSS)与辅助系统(supportive system)的研究。其中CADSS旨在通过对异常图像进行分类以提高诊断准确性,而后者用于图像增强、信息提取和内镜定位。人工智能(artificial intelligence,AI)作为计算机科学的一门分支,被用以模拟人类思维,在经历近三十年蓬勃发展后,其强大的图像处理功能于医学影像方面被广泛应用[4]

自2007年以来,基于人工智能技术的计算机视觉(computer vision)、机器学习(machine learning)与深度学习(deep learning)算法被设计用以检出病变,减少阅片时间,定位胶囊或病灶,以提高诊断效率和诊断准确性[5]。其中机器学习算法为了检测病变,通常将颜色和纹理信息作为主要图像提取特征。使用支持向量机(support vector machine,SVM)、神经网络(neural network)或二分类器(binary classifier)等框架算法,根据图像中提取的特征信息将其分类归纳入相对应的分类集中[6-10]。虽然识别固定特征的机器学习分类方法在检测各种病变时有较高的正确率,但它始终存在训练和测试不充分与人工特征设计不完善等问题。

在早期的计算机视觉技术中,与病变结构相对应的角和边等图像特征被用来标注目标物体的几何形状并推断其性质[11]。这些原始特征会因诸如图像拍摄角度旋转和平移、光线照明变化、遮挡、背景混杂因素等成像条件变化产生改变[12-13]。工程师在解决特征经变换后识别等诸多问题后,计算机视觉技术便在病变图像的分类中表现出了良好的性能[14]。但它们在大规模数据集上的计算能力较低,仍不足以应用于临床实际[15]

而卷积神经网络的深度学习算法基于对图像的分层解构,对产生的单元数据进行运算提取特征信息进行抽象学习,具有对大量数据有良好的运算识别能力的特点,能解决计算机视觉和机器学习算法对大量数据的学习与运算问题,已被广泛用于医学影像识别领域[16]

二、深度学习人工智能在胶囊内镜领域中的应用

1.小肠出血:消化道出血是一种常见的临床症状,可发生在消化道的任意部位。临床表现包括呕吐和血便,严重者可引起休克甚至死亡[17]。传统消化道出血诊断方法为放射性核素扫描、数字减影血管造影和内镜检查,都具有一定的侵入性与副作用,使患者接受度降低。胶囊内镜代表了消化道尤其是小肠出血无创诊断的革命性突破。通过吞服胶囊并无线传输读取消化道影像以完成检查。虽然效果卓著,但因其产生的庞大图像数量,病变的隐蔽性与不低的漏检率无疑增加了医生的阅片负担。

Jia和Meng[18]设计了一项基于卷积神经网络深度学习的小肠出血识别算法,并以2 050张小肠出血阳性图像与6 150张正常小肠黏膜阴性图像进行训练,后以800张阳性图像与1 000张阴性图像作为测试集进行算法性能测试,测试得出人工智能诊断性能准确率为99.9%,灵敏度为99.2%。因出血常伴随强烈的颜色变化,算法设计及特征提取都较容易,所以其诊断准确率及灵敏度均较高。

另外,消化道血管扩张症(gastrointestinal angiectasia,GIA)作为常见的消化道出血诱因,直观表现为黏膜层内由迂曲成簇的扩张毛细血管组成、分界清晰、鲜红色的平坦型病变。胶囊内镜作为目前公认的适合不明原因消化道出血患者检查方法,其诊断率约为60%,诊断该疾病同样需要医生耗费大量精力[19]。Leenhardt等[19]提出了一种基于卷积神经网络的语义分割(semantic segmentation)图像算法。从200例胶囊内镜病例中,选取20 000张正常和2 946张血管病变图片。在排除连续性图像后选取典型病变与正常图像各600张进行人工智能训练与测试。最终算法测试的灵敏度为100%,特异度为96%,阳性预测值为96%,阴性预测值为100%,整个识别过程只需39 min。

2.小肠溃疡与糜烂:黏膜损伤包括糜烂和溃疡,是胶囊内镜在小肠中发现的最常见病变。这主要由长期使用非甾体抗炎药、克罗恩病或小肠恶性肿瘤引起。因此,早期发现及诊断对鉴别与治疗十分重要。在早期关于基于颜色特征的人工智能溃疡识别算法文献报道中,与毛细血管扩张、出血相比,不易检测到小肠黏膜糜烂和溃疡,考虑此系损伤黏膜与正常黏膜之间颜色差异较小所致[20-21]

Fan等[22]使用2 000张溃疡图像、2 720张糜烂图像和5 600张正常图像对AlexNet卷积神经网络进行训练,之后分别使用500张溃疡、690张糜烂和1400张正常图像进行测试,最终溃疡和糜烂检测准确率分别为95.16%和95.34%,敏感度为96.80%和93.67%,特异度为94.79%和95.98%。两种病变受试者工作特征(ROC)曲线下面积均>0.98。而Aoki等[23]使用5 360张糜烂和溃疡图像,训练了一项基于多分类单杆检测器(single shot multibox detector)的深度卷积神经网络系统。经440幅糜烂和溃疡图像与10 000幅正常小肠图像的测试,结果人工智能只需要233 s便完成对10 440张测试图像的评估诊断。糜烂和溃疡检测的ROC曲线下面积为0.958。在概率评分的临界值为0.481时,人工智能算法的敏感度、特异度和准确率分别为88.2%、90.9%和90.8%。

3.小肠钩虫病:在热带和亚热带发展中国家,由于卫生条件差,小肠钩虫病是母婴中常见的疾病。钩虫感染严重威胁人类健康,将损害儿童的体格和智能发育。据悉,钩虫已影响全球6亿多人。最近胶囊内镜已应用于钩虫检测。He等[24]提出了第一种专门检测钩虫病的深度钩虫检测框架(deep hookworm detection framework,DHDF),该框架同时识别了钩虫的视觉外观和管状特征。从11例患者的440 000幅图像中,检出病变的准确率和敏感度分别为88.5%和84.6%。相比Alexnet和GoogLeNet算法,前者准确率更高(分别为96.0%和93.7%),但灵敏度较低(分别为48.1%和77.1%)。可见不同的算法设计及训练直接影响算法的实际应用效果及针对性。

4.小肠乳糜泻:乳糜泻是人群中常见的疾病之一,其发病率达全球人口的约1%。该病是由摄入谷蛋白后引起异常的自身免疫反应导致的十二指肠、空肠以及回肠损伤,表现为十二指肠球部微小结节、黏膜下血管或小肠黏膜镶嵌型。胶囊内镜作为小肠黏膜可视化的有效手段,其针对乳糜泻的人工智能评估系统也应运而生。

Zhou等[25]回顾性收集11例乳糜泻患者和10例对照患者的胶囊内镜检查视频,在其中随机选择6例乳糜泻和5例对照来训练GoogLeNet系统,其余用于测试该算法。该研究引入评估置信度(evaluation confidence,EC)的测量方法,将乳糜泻严重程度进行量化,此方法在测试中显示了100%的灵敏度和100%的特异度。而根据一项汇总了6项研究共166例乳糜泻患者的荟萃分析显示,内镜医师对乳糜泻诊断的总敏感度为89%,特异度为95%。可见使用深度学习算法辅助识别,可提高乳糜泻诊断的准确率[26]

5.小肠息肉:虽然小肠占胃肠道黏膜表面积的90%,但小肠肿瘤却极为罕见,仅占消化道肿瘤的3%。良性小肠病变包括脂肪瘤、淋巴管瘤、平滑肌瘤、神经纤维瘤、结节性淋巴样增生和腺瘤,其中许多都具有恶变潜能。一些息肉综合征也与小肠息肉相关,包括家族性腺瘤性息肉综合征、lynch综合征、Peutz-Jeghers综合征、Cowden综合征和幼年性息肉综合征。因与小肠出血相似,该病病灶图像仅占海量图片中的数帧,且与正常黏膜的相似性高,故增加了医生阅片难度和阅片时间[27]

在胶囊内镜领域,小肠息肉的人工智能识别多使用计算机视觉技术与机器学习算法,基于神经网络深度学习框架的息肉识别算法较少。2011年Karargyris等[8]使用Log Gabor滤波分割(Log Gabor filters and segmentation)、Susan边缘检测(Susan edge detector)与几何特征提取(geometric features extraction)三种计算机视觉与机器学习算法使对小肠息肉的敏感度为100%而特异度仅为67.5%。其较低特异度也暴露了人工特征设计的局限性。

6.结肠息肉:结直肠癌是全球发病率排名第三,死亡率排名第四的高发恶性肿瘤,近年来发病率于我国呈上升趋势。息肉作为结直肠癌的癌前病变,早期发现并切除能有效降低罹患结直肠癌风险,其发病率可下降23%,死亡率下降31%。而结肠胶囊镜(colorectal capsule endoscopy,CCE)的应用无疑减少了结肠镜筛查的侵入性与痛苦,提供了结直肠癌筛查的新思路。

Yuan和Meng[28]提出了一种基于图像流形约束的堆叠自编码器(stacked sparse autoencoder with image manifold constraint,SSAEIM)算法。他们对35例患者的4 000幅图像(1 000张息肉病变图像,1 000张气泡图像,1 000张浑浊图像,1 000张正常图像)测试准确率达到了98%。对胶囊内镜图像的平均总体识别准确率(average overall recognition accuracy,ORA)为98.00%。对息肉、气泡、浑浊图像、正常图像的准确率分别为98.00%、99.50%、99.00%、95.50%。与同期其他机器学习人工智能息肉识别算法相比,SSAEIM优于其他算法,具有更高的总体识别准确率。Blanes-Vidal等[29]于2018年研发一种息肉识别算法,在学习255例患者的结肠镜数据,并与结肠胶囊内镜图像相匹配后,其息肉识别准确率96.4%、灵敏度97.1%,特异度已达93.3%。

7.全消化道异常识别:Iakovidis等[30]提出了一种仅区分消化道异常与否的算法(包括胃黏膜隆起、小肠溃疡与息肉等),并设计了一项三阶算法结构:弱监督卷积神经网络的异常分类(weakly supervised convolutional neural network,WCNN),使用深度显著性检测(deep saliency detection,DSD)算法检测来自WCNN更深层的显著点,使用迭代簇统一(iterative cluster unification,ICU)算法定位消化道异常。分别使用1千多名志愿者的1万张图像(D1数据集)和2 352张图像(D2数据集)进行训练。与其他基于深度学习和机器学习的方法相比,由于他们为算法设计了一个复杂的多级结构,其大数据集训练结果展现出更优的性能,其ROC曲线下面积0.963,敏感度90.7%,特异度88.2%,准确率89.9%。较小的D2数据集性能结果却较差,其灵敏度仅36.2%。这可能由于训练集图像数量太少,导致人工智能未能充分学习。

8.其他应用:目前基于卷积神经网络的深度学习人工智能技术大多应用于传统内镜,且技术相对成熟。胶囊内镜领域中大多聚焦于小肠病变,食管、胃部与胶囊内镜辅助技术相关文献发表较少。2017年,Dimas等[31]设计了一项基于卷积神经网络深度学习的多层感知机(multi-layer perceptron,MLP)框架算法,可在小肠中估算胶囊运动路程,平均误差最小可达(2.70±1.62)cm。人工智能在胶囊内镜领域拥有广阔的发展空间,但仍需广大科研人员开拓挖掘。

三、总结与展望

随着人工智能技术的飞速发展,基于卷积神经网络的深度学习算法凭借其优异与强大的运算能力,在医学影像领域不断提高诊断准确性的同时,也在逐渐解放医生劳动力,在面对胶囊内镜庞大的数据量面前其优势尤为明显。但至今胶囊内镜相关人工智能技术皆处于理论试验阶段,并未应用于临床。一是其普遍缺乏大数据量训练,无法保证其性能;二是缺少前瞻性的临床研究,可靠性有待进一步证明。同时局限于小肠胶囊镜,未向食管、胃胶囊镜检查扩展。在系线胶囊、磁控胶囊发展至今,全消化道多病种人工智能辅助识别算法必定是未来发展方向,其功能也将不限于辅助诊断与识别,未来的人工智能技术将致力于自主诊断、远程诊断、胶囊镜检质控等多方面,并将进一步完善并放大胶囊镜检查无创、无痛、便捷等优势,提高病变检出率。

参考文献

[1]Iddan G, Meron G, Glukhovsky A, et al. Wireless capsule endoscopy[J]. Nature, 2000,405(6785):417. DOI: 10.1038/35013140.

[2]Fisher LR, Hasler WL. New vision in video capsule endoscopy: current status and future directions[J]. Nat Rev Gastroenterol Hepatol, 2012,9(7):392-405. DOI: 10.1038/nrgastro.2012.88.

[3]Kwack WG, Lim YJ. Current Status and Research into Overcoming Limitations of Capsule Endoscopy[J]. Clin Endosc, 2016,49(1):8-15. DOI: 10.5946/ce.2016.49.1.8.

[4]Liedlgruber M, Uhl A. Computer-aided decision support systems for endoscopy in the gastrointestinal tract: a review[J]. IEEE Rev Biomed Eng, 2011,4:73-88. DOI: 10.1109/RBME.2011.2175445.

[5]Iakovidis DK, Koulaouzidis A. Software for enhanced video capsule endoscopy: challenges for essential progress[J]. Nat Rev Gastroenterol Hepatol, 2015,12(3):172-186. DOI: 10.1038/nrgastro.2015.13.

[6]Iakovidis DK, Koulaouzidis A. Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software[J]. Gastrointest Endosc, 2014,80(5):877-883. DOI: 10.1016/j.gie.2014.06.026.

[7]Lv G, Yan G, Wang Z. Bleeding detection in wireless capsule endoscopy images based on color invariants and spatial pyramids using support vector machines[J]. Conf Proc IEEE Eng Med Biol Soc, 2011,2011:6643-6646. DOI: 10.1109/IEMBS.2011.6091638.

[8]Karargyris A, Bourbakis N. Detection of small bowel polyps and ulcers in wireless capsule endoscopy videos[J]. IEEE Trans Biomed Eng, 2011,58(10):2777-2786. DOI: 10.1109/TBME.2011.2155064.

[9]Pan G, Yan G, Qiu X, et al. Bleeding detection in Wireless Capsule Endoscopy based on Probabilistic Neural Network[J]. J Med Syst, 2011,35(6):1477-1484. DOI: 10.1007/s10916-009-9424-0.

[10]Mamonov AV, Figueiredo IN, Figueiredo PN, et al. Automated polyp detection in colon capsule endoscopy[J]. IEEE Trans Med Imaging, 2014,33(7):1488-1502. DOI: 10.1109/TMI.2014.2314959.

[11]Canny J. A computational approach to edge detection[J]. IEEE Trans Pattern Anal Mach Intell, 1986,8(6):679-698.

[12]Mikolajczyk K, Schmid C. Scale & afne invariant interest point detectors[J]. Int J Comput Vis,2004,60(1):63-86.

[13]Yang J, Xiao Y, Cao Z. Toward the Repeatability and Robustness of the Local Reference Frame for 3D Shape Matching: An Evaluation[J]. IEEE Trans Image Process, 2018,27(8):3766-3781. DOI: 10.1109/TIP.2018.2827330.

[14]Felzenszwalb PF, Girshick RB, McAllester D, et al. Object detection with discriminatively trained part-based models[J]. IEEE Trans Pattern Anal Mach Intell, 2010,32(9):1627-1645. DOI: 10.1109/TPAMI.2009.167.

[15]Cen F, Wang G. Boosting Occluded Image Classification via Subspace Decomposition-Based Estimation of Deep Features[J]. IEEE Trans Cybern, 2019.DOI: 10.1109/TCYB.2019.2931067.[Epub ahead of print]

[16]Zhang X, Jiang L, Yang D, et al. Urine Sediment Recognition Method Based on Multi-View Deep Residual Learning in Microscopic Image[J]. J Med Syst, 2019,43(11):325. DOI: 10.1007/s10916-019-1457-4.

[17]ASGE Standards of Practice Committee; Fisher L, Lee Krinsky M, et al. The role of endoscopy in the management of obscure GI bleeding[J]. Gastrointest Endosc, 2010,72(3):471-479. DOI: 10.1016/j.gie.2010.04.032.

[18]Jia X, Meng MQ. A deep convolutional neural network for bleeding detection in Wireless Capsule Endoscopy images[J]. Conf Proc IEEE Eng Med Biol Soc, 2016,2016:639-642. DOI: 10.1109/EMBC.2016.7590783.

[19]Leenhardt R, Vasseur P, Li C, et al. A neural network algorithm for detection of GI angiectasia during small-bowel capsule endoscopy[J]. Gastrointest Endosc, 2019,89(1):189-194. DOI: 10.1016/j.gie.2018.06.036.

[20]Shahidi NC, Ou G, Svarta S, et al. Factors associated with positive findings from capsule endoscopy in patients with obscure gastrointestinal bleeding[J]. Clin Gastroenterol Hepatol, 2012,10(12):1381-1385. DOI: 10.1016/j.cgh.2012.08.035.

[21]Goenka MK, Majumder S, Kumar S, et al. Single center experience of capsule endoscopy in patients with obscure gastrointestinal bleeding[J]. World J Gastroenterol, 2011,17(6):774-778. DOI: 10.3748/wjg.v17.i6.774.

[22]Fan S, Xu L, Fan Y, et al. Computer-aided detection of small intestinal ulcer and erosion in wireless capsule endoscopy images[J]. Phys Med Biol, 2018,63(16):165001. DOI: 10.1088/1361-6560/aad51c.

[23]Aoki T, Yamada A, Aoyama K, et al. Automatic detection of erosions and ulcerations in wireless capsule endoscopy images based on a deep convolutional neural network[J]. Gastrointest Endosc, 2019,89(2):357-363.e2. DOI: 10.1016/j.gie.2018.10.027.

[24]He JY, Wu X, Jiang YG, et al. Hookworm Detection in Wireless Capsule Endoscopy Images With Deep Learning[J]. IEEE Trans Image Process, 2018,27(5):2379-2392. DOI: 10.1109/TIP.2018.2801119.

[25]Zhou T, Han G, Li BN, et al. Quantitative analysis of patients with celiac disease by video capsule endoscopy: A deep learning method[J]. Comput Biol Med, 2017,85:1-6. DOI: 10.1016/j.compbiomed.2017.03.031.

[26]Rokkas T, Niv Y. The role of video capsule endoscopy in the diagnosis of celiac disease: a meta-analysis[J]. Eur J Gastroenterol Hepatol, 2012,24(3):303-308. DOI: 10.1097/MEG.0b013e32834fa914.

[27]de Latour RA, Kilaru SM, Gross SA. Management of small bowel polyps: A literature review[J]. Best Pract Res Clin Gastroenterol, 2017,31(4):401-408. DOI: 10.1016/j.bpg.2017.06.003.

[28]Yuan Y, Meng MQ. Deep learning for polyp recognition in wireless capsule endoscopy images[J]. Med Phys, 2017,44(4):1379-1389. DOI: 10.1002/mp.12147.

[29]Blanes-Vidal V, Baatrup G, Nadimi ES. Addressing priority challenges in the detection and assessment of colorectal polyps from capsule endoscopy and colonoscopy in colorectal cancer screening using machine learning[J]. Acta Oncol, 2019,58(sup1):S29-36. DOI: 10.1080/0284186X.2019.1584404.

[30]Iakovidis DK, Georgakopoulos SV, Vasilakakis M, et al. Detecting and Locating Gastrointestinal Anomalies Using Deep Learning and Iterative Cluster Unification[J]. IEEE Trans Med Imaging, 2018,37(10):2196-2210. DOI: 10.1109/TMI.2018.2837002.

[31]Dimas G, Spyrou E, Iakovidis DK, et al. Intelligent visual localization of wireless capsule endoscopes enhanced by color information[J]. Comput Biol Med, 2017,89:429-440. DOI: 10.1016/j.compbiomed.2017.08.029.

(收稿日期:2019-08-04)

(本文编辑:周昊)


消化内镜编辑部

《中华消化内镜杂志》官方微信平台   长按二维码加关注


联系地址:南京市紫竹林3号《中华消化内镜杂志》编辑部  210003

联系电话:025-83478997/83472831

投稿网站:www.zhxhnjzz.com 

全文网站:www.xhnj.com

投稿邮箱:xhnj@xhnj.com


↓↓↓ 点击"阅读原文" 【订阅杂志】  


标签
推荐