Computer Knowledge and Technology电脑知识与技术

本栏目责任编辑：唐一东多媒体技术及其应用

第8卷第22期 (2012年8月)

基于盲取证的医学图像检索及语义表达研究综述

张丽丽 1，刘昌余 2, 3

（1.广东白云学院 机械工程系，广东 广州 510450；2.华南理工大学 广东省计算机网络重点实验室，广东 广州 510640；3.School of Computer Science,Carnegie Mellon University, Pittsburgh, PA 15213, USA）摘要：为了找到本研究领域关键问题的切入点，该文对基于盲取证的医学图像检索及语义表达进行了一次广泛的文献调研，并就盲

取证、图像检索、医学图像检索以及医学图像语义表达这几个方面进行了详细的文献综述。最后，列举了已有研究尚存在的可以值

得切入的几个问题点。

关键词：盲取证；医学图像检索；语义表达

中图分类号: TP309 文献标识码: A 文章编号：1009-3044(2012)22-5450-04Research on Medical Image Retrieval and Semantic Expression Based on Blind Forensics: A ReviewZHANG Li-li1, LIU Chang-yu2, 3

(1.Department of Mechanical Engineering, Guangdong Baiyun University, Guangzhou 510450, China; 2.Communication & ComputerNetwork Lab of GD, South China University of Technology, Guangzhou 510642, China; 3.School of Computer Science, Carnegie Mel⁃lon University, Pittsburgh, PA 15213, USA)

Abstract: In order to find the key problems in such research area, this paper gives a comprehensive literature survey on the medical imageretrieval and semantic expression that based on the blind forensics, and reviews detailed from the aspects of blind forensics, image retrieval,medical image retrieval and semantic expression for medical image. At last, this paper lists some valuable research problems.

Key words: blind forensics; medical image retrieval; semantic expression

我国人口众多，医疗手段和诊断水平的高低直接关系到十几亿人口的切身利益，提高我国的医疗水平势在必行。近些年，我国

各大医院纷纷引进了大批先进的医学影像设备，如X片、CT、MRI、US、PETCT和SPECT等。这些设备一方面极大的提高了临床和鉴

别诊断以及手术和相关研究的水平，另一方面也产生了大量的难于管理的医学图像数据。因此，研究如何高效的管理（例如：图像

检索方式）这些海量的医学图像数据是当前的热点之一。

传统的做法是将一般的基于文本的图像检索技术（Text-Based Image Retrieval，TBIR）引入到医学领域中，即采用基于文本（例

如：病人姓名、病单号和症状名等）的医学图像检索（Text-Based Medical Image Retrieval，TBMIR）技术来管理这些海量的医学图像数

据，以提高检索水平。然而，TBMIR技术存在着许多问题，不仅需要预先对这些海量图像进行人工标注，而且被描述的文本会受到

主观因素的影响。为此，研究者在医学应用中引入了基于内容的图像检索（Content-Based Image Retrieval，CBIR）技术。这种基于内

容的医学图像检索（Content-Based Medical Image Retrieval，CBMIR）技术由于采用了图像的内在特征来匹配，不需要文本形式的标

注，所以极大地提高了在海量数据中快速检索具有类似症状图像的效率。然而，CBMIR本质上是一种基于内容的图像检索，也存在

着著名的“语义鸿沟”问题。为此，近些年一些学者研究了基于内容的医学图像语义检索（Content-Based Medical Image Semantic Re⁃trieval，CBMISR）技术。

医学领域需要CBMIR有更加严格的安全机制。虽然目前的计算机网络为远程医疗、远程诊断和远程手术提供了可能，但在利

用这些公用网络检索图像时也会存在不少的可以带来灾难性的安全问题，例如：被伪造或篡改过的已确诊的头部MRI等。近些年

发展起来的图像取证技术，为解决该问题给出了一种新的途径。图像取证是指对图像的篡改、伪造和隐密进行分析、鉴别和认证，

可分为主动与被动两种。主动技术包括防伪技术、防篡改技术和认证技术。被动取证（即盲取证）仅根据待认证的图像本身判断其

是否经过伪造处理，不需要事先对数字图像做任何预处理。在医学领域引入盲取证技术，不仅可以鉴别图像的篡改或伪造操作，而

且可以提升图像检索效率以及方便图像存储和管理。

1盲取证的研究现状

图像盲取证的主要任务包括：① 篡改检测，即判断由成像设备获取的图像是否被恶意修改过，并尽可能的对这些修改区域进行

恢复；② 来源鉴别，即判断图像的出处（如：成像设备的品牌和型号等），并在可能的情况下识别这些成像设备。因此相应的盲取证

收稿日期：2012-07-16基金项目：国家自然科学基金资助项目（61070092）作者简介：张丽丽（1982-），女，山东临沂人，助教，硕士研究生，主要研究方向为机械设计制造及其自动化；刘昌余（1984-），男，安徽

宣城人，博士研究生，主要研究方向为图像/视频检索以及高性能计算。

E-mail: eduf@cccc.net.cnhttp://www.dnzs.net.cn

Tel:+86-551-5690963 5690964ISSN 1009-3044Computer Knowledge and Technology 电脑知识与技术

Vol.8, No.22, August 2012.

5450

Computer Knowledge and Technology电脑知识与技术

多媒体技术及其应用本栏目责任编辑：唐一东

第8卷第22期 (2012年8月)

研究现状就分为篡改检测的研究现状和来源鉴别的研究现状。

1.1篡改检测

1.1.1拷贝-移动检测

最简单的篡改是拷贝-移动操作，即为了掩盖或伪造新目标，将同一幅图像中的一块区域拷贝到其他区域。被篡改的图像中会

出现两块或多块在自然物体图像中有很小概率出现的相似区域，这可以作为篡改证据。Fridrich等首次对拷贝-移动检测进行了研

究，将沿图像逐像素拖动的矩形窗口的DCT变换系数作为小块特征来进行字典排序。随后，Popescu、吴琼以及魏为民等分别采用主

成份变换、奇异值分解小波低通子带以及Pearson系数的方法来研究拷贝-移动检测。

1.1.2重采样检测

图像重采样是一类常用的篡改操作，如旋转和缩放等。这些操作往往伴随着插值操作，并导致像素之间的相关性发生变化，是

判别图像是否被修改的一种依据。Popescu采用期望最大化EM算法来检测重采样操作，并把重采样后像素间的相关性变换归结为

原始信号和周期信号的叠加，然后对应于EM算法输出的傅立叶频谱图中的规律性亮点。同济大学的朱秀明提出通过增加小补偿

量的办法来避免EM算法可能遇到的奇异点，对Popescu的算法进行了改进。某些情况下，图像的旋转和缩放操作是合理的，所以单

一的重采样检测就会有很大的局限性。

1.1.3图像拼接检测

图像拼接是篡改中的基础操作。Farid和Ng都采用了双相干特征系数来检测图像拼接。Chen等采用相位叠合和小波系数的特

征函数矩来捕捉拼接带来的图像边缘和噪声分布的变化，并将这两者输入SVM对图像分类。张震等将原始图像划分成若干区域以

提取区域质量评价值和基于隐马尔可夫模型的区域矩特征，然后输入SVM对拼接图像进行鉴别。Shi等认为图像拼接是可以产生

复杂异常的局部操作，并采用多尺寸离散余弦块变换（MBDCT）和Markov模型来捕捉这些局部异常，将Markov模型的转移概率矩和

MBDCT低阶矩输入SVM对图像分类。

1.1.4模糊操作检测

模糊操作是另一类常用的篡改操作，常用的是高斯模糊。王波等认为模糊会破坏由成像系统带来的局部图像色彩的相关性，

并提出基于异常色调率检测和定位的方法。Hsiao等提出利用DCT变换的高频相对缺失来衡量模糊程度，过高的区域被认为是篡

改区域。Sutcu提出利用图像小波系数的规律性来估计图像边缘的清晰度和模糊度，以检测篡改。周琳娜等分析了离焦模糊和人工

模糊边界的不同特性，用同态滤波和形态学滤波增强模糊图像边缘并分离这两类边缘，以实现定位。王鑫等利用Elder-Zucker方法

衡量局部块的模糊程度以判断是否存在景深相似但模糊程度有较大差异的图像块。

对篡改检测的研究，除了上述常用的四种方法外，还包括 JPEG图像双重压缩检测和图像修复检测。JPEG图像双重压缩部分，

相关的研究包括Fridrich的对第一次压缩估计的量化矩阵方法，戴蒙采用的抖动模式分析方法，以及张静的 JPEG2000格式的双重

压缩检测方法。图像修复检测部分，由于经常采用Criminisi等提出的用样本纹理来填充大块区域的修复方法会导致图像中有异常

相似的纹理区域，吴琼等通过用模糊隶属度表示图像块的连通性的方式来描述了这种相似性，并作为图像篡改判别依据。

1.2来源鉴别

1.2.1 CFA插值检测

CFA插值系数和插值模式是数码相机成像系统中可以用来鉴别图像来源的重要参数。Bayram等指出不同数码相机采用的

CFA插值系数和插值模式不一样，分别采用Popescu方法和Gallagher方法获得两组Fourier谱图极值点特征，然后被SFFS算法筛选

输入SVM进行分类。吴旻等提出和Bayram结论相反的利用CFA插值对数码相机进行分类的方法，并只选择边缘的非平滑区域（不

同品牌数码相机图像的平滑区被认为采用类似的插值方法）用以估计插值系数，然后输入SVM来鉴别相机的品牌和型号。

1.2.2模式噪声检测

模式噪声产生于特有相机的拍摄过程中，分为固定模式噪声FPN和图像响应非一致噪声PRNU。FPN是指当传感器阵列没有

曝光时点对点的差别，取决于曝光时间和温度。PRNU是自然图像模式噪声中的主体部分，其核心是像素非一致性PNU，即像素对

光的灵敏性。PNU在拍摄中保持稳定并且不依赖于环境温度，因此能够表征传感器的本质特性。

1.2.3色差检测

色差是最常见的一类由于光学系统不能很好聚焦不同波长的光线而导致的失真模式。图像的篡改或伪造操作，通常会破坏这

种固有的区域色差模式，这种区域色差不一致可以作为图像被篡改的一种证据。Johnson方法利用了横向色差模型，进一步的研究

可加入纵向色差模型或其他的光学失真模型，从而提高图像篡改检测的灵敏性和准确性。

2图像检索的研究现状

2.1 TBIR检索技术

早期的图像检索使用的是TBIR技术，即用文本对被检索的图像进行描述，用精确或概率匹配执行查询操作。然而，完全的

TBIR要求通过用自动标注取代改变手工标注的方式来减少标注的不准确、不完整以及主观性。此外，图像中所包含的丰富视觉特

征往往无法用文本来客观地描述。通过相关的调研得知，当前已有的自动标注算法有如下分类：① 相关模型方面，包括：跨媒体相

关模型CMRM，连续相关模型CRM，多伯努利相关模型MBRM和一致性语言模型CLM；② 生成式模型方面，包括：概率隐语义分析

模型 PLSA，高斯混合模型GMM，高斯-隐荻利克雷分配模型模型Guass-LDA，相关隐荻利克雷分配模型Corr-LDA；③ 传播式模型

5451

Computer Knowledge and Technology电脑知识与技术

本栏目责任编辑：唐一东多媒体技术及其应用

第8卷第22期 (2012年8月)

方面，包括：基于流形的自动图像标注和基于流形的多种相似性综合；④ 利用词汇间关系的标注方法方面，包括：互相关标记传播模

型CLP，WordNet多测度混合模型和利用随机游走进行标注改善。

2.2 CBIR检索技术

CBIR涉及的关键技术包括：图像特征的提取和表达方法、图像相似性比较方法、相关反馈机制、性能评价、压缩域检索、以及图

像高维特征压缩和索引。CBIR从提出到现在，在国内外已经取得了不少的成就：① 技术上，各种新的方法层出不穷，如一些用于降

维的特征提取方法和分割方法；② 学术上，已有一些较为知名的学术专刊和专集，如ACM Multimedia和SPIE每年专门的CBIR国际

会议等；③ 应用上，已经有许多CBIR系统，如 IBM的QBIC系统，哥伦比亚大学开发的VisualSEEK以及UIUC的MARS，MTI的Photo⁃Book，UC Berkeley的Chabot系统等等。

3医学图像检索的研究现状

3.1 TBMIR检索技术

TBMIR是传统的TBIR在医学方面的应用。首先，对待检索的医学图像按照病人姓名、病单号和症状名等文本进行手工标注。

然后，采用TF-IDF文字向量内积的方式执行查询操作。TBMIR的优点包括：检索速度快，引擎等技术比较成熟，实现较简单；其缺

点有：医学图像被标注的文本需要手工完成，且依赖于医师的个人见解。另外与其他类型的图像相比，医学图像由于所含信息量

大、灰度和空间分辨率高、图像相似性大以及颜色类型少等，具有极强的复杂性，比较容易产生“语义鸿沟”问题，使得TBMIR中精

确、客观和完整的文本不易得到。因此，CBMIR检索技术就是在这种情况下产生的。

3.2 CBMIR检索技术

目前，研究者们开发了一些既包括针对病理学、检验学和影像学等单一来源的图像检索系统，也包括多来源、多分类的特定应

用的CBMIR系统。在放射学中，乳腺照片是最经常被用来进行分类和CBMIR研究的。美国的普渡大学和芝加哥大学、英国的曼彻

斯特大学、加拿大的卡尔加里大学在研究乳腺癌方面做了广泛和深入的研究。ASSERT是专用于高分辨CT肺部图像的项目，它针

对影像中某些局部病灶特征来建立相似性准则。综上，目前对CBMIR的研究已经取得了不少进展，但在体现医学图像固有性质方

面还需要加强，因此人们对CBMISR检索技术进行了研究。

3.3 CBMISR检索技术

目前，CBMISR检索技术已经被应用到X片、CT和MRI等医学图像中。德国亚琛工业大学的Thomas M. Lehmann等研制的 IR⁃MA是目前较为成熟的 IRMA与PACS结合的医学图像语义检索系统，美国密苏里大学的Adrian S. Barb等通过医学视觉特征建立了

HRCT图像中肺部语义变量层次化模型。目前，医学图像语义理解的研究已得到普遍的关注，然而要缩小“语义鸿沟”，理论上仍有

许多复杂且艰巨的问题需要解决。

4医学图像语义表达的研究现状

医学图像语义是指关于图像的全部或部分的结构性和诊断意义的文字描述，内容包括：器官组织的名称、属性、相互之间的约

束关系以及图像表述的病症信息等。医学图像语义的表达涉及到用视觉特征来表达的图像内容，这些视觉特征不能直接反映符合

人类的理解习惯的图像语义。为此，有不少学者专门研究了医学图像内容的语义表达方式，可分为以下几种。

4.1利用语义网

2000年T. Lehmann提出一种层次化医学图像语义网络，首先根据全局特征对图像进行分类，其次提取感兴趣区的局部特征，并

在多分辨率下建立一个层次化的语义网，然后赋予每个节点相关的图像语义，最后实现基于语义的医学图像检索系统。2004年

Hongshun Su用多层语义网络表达肺部结构和特征模型，用几个特征描述的节点来表示肺部的器官和组织。节点检测的过程就是从

低层表达到高层表达的转换过程，即首先经过图像处理、特征提取后，由推理引擎完成与肺部模型的匹配，进而根据综合隶属度选

择最佳匹配，以完成检测。

4.2利用分类码

医学图像的分类码指：医学设备类型、人体定位信息、解剖结构和生物信息等。2002年Zrimec T.提出了利用分类码表达初步医

学图像内容信息的CBMIR系统。

4.3利用图像模型

2002年Zrimec T.建立了基于元数据和图像视觉特征的医学图像模型，该模型可接受任意数量的图像属性和图像特征。2003年

Richard Chbeir提出了包含图像元数据、视觉特征和语义特征的医学图像模型和图像区域模型，其中图像元数据包括基于上下文的

和基于特定领域的与图像有关的元信息，视觉特征包括用数值表示的低层物理特征，语义特征包括用关键词表达的空间关系特征

和与医学知识有关的语义。不同类型设备和不同部位的医学图像，其使用的语义是不同的，即不存在一个抽象化的一般性关键词

汇集合。

5尚存的可切入研究点

以上是对相关研究现状的简要综述，可以发现这些研究还存在如下几个值得研究的地方。

5.1语义表达方面的关键问题

医学图像语义检索的关键在于语义表达和相似度度量，而图像语义表达的核心任务是从低层视觉特征提取出需要的高层语

5452

Computer Knowledge and Technology电脑知识与技术

多媒体技术及其应用本栏目责任编辑：唐一东

第8卷第22期 (2012年8月)

义，来弥补“语义鸿沟”问题。现有的医学图像检索系统大都只利用了图像的底层视觉特征进行图像语义描述，这些并不能表达医

学图像的真正含义。

5.2图像检索方面的关键问题

图像检索方面的关键问题主要包括：① 融合多种有权重特征的医学图像。医学图像检索中，如何将底层的物理特征、高层语义

特征和相关文本结合起来，以及如何设置他们的权重，使检索结果尽可能完善是CBMIR需要研究的重点问题之一。② CBMIR与

PACS结合。目前两者的结合运用效果并不是特别好。为了能有效存储海量的医学图像数据以及实现远程医疗资源共享，这些大

中型医院就需要考虑如何有效地管理和访问的问题。③ 快速准确的配准与分割技术。图像的变形和三维复杂性以及病灶的存在

对特征提取的结果影响较大，需要配准技术来提高检索的准确性。另外，医学影像的临床诊断决策一般是根据图像局部特征（ROI）来进行的，这些感兴趣的区域由于特定的设备和运用环境等在分割中存在不确定性。

5.3图像取证方面的关键问题

图像取证方面的关键问题主要包括：① 数字图像来源鉴别方面。现有的算法尽管在鉴别不同设备类型获取的数字图像方面已

经能够达到比较好的效果，但是对于不同型号设备，这些方法的鉴别效果不是很好。② 数字图像篡改伪造检测方面。现有算法存

在较低的查全率和查准率，难以达到准确取证分析的目的，而且对于检测出的篡改伪造图像，难以分辨究竟是正常的图像处理操

作，还是恶意的篡改伪造操作。③ 数字图像篡改伪造定位方面。这方面的难题主要在于计算量过大的对整幅图像相似块的遍历搜

索。

参考文献：

[1] Bin Xu,Jiajun Bu,Chun Chen,et.al.Efficient Manifold Ranking for Image Retrieval[C].In Proceeding of the 34th international ACM SIGIRconference on Research and development in information retrieval,ACM, 2011: 525-534.

[2] Haifeng Z,Wenhua J.An adaptive fuzzy clustering method for Query-By- Multiple-Example image retrieval[C].Inst.of Elec.and Elec. Eng.Computer Society: Jiangong Jinjiang, Shanghai, China,2007:997-1004.

[3] Guangda Li,Meng Wang,Yan-Tao Zheng,et.al.Shot Tagger: Tag Location for Internet Video[C].In Proceedings of the 1st ACM Internation⁃al Conference on Multimedia Retrieval. ACM,2011.

[4] Tomoko Kajiyama.Botanical Data Retrieval System Supporting Discovery Learning[C].In Proceedings of the 1st ACM International Confer⁃ence on Multimedia Retrieval. ACM,2011.

[5] Rong Yan, Alexander G.Hauptmann.A review of text and image retrieval approaches for broadcast news video[Z]. Information Retrieval,Springer, 2007:445-484.

[6] Micah Kimo Johnson.Lighting and optical tools for image forensics[D].New Hampshire:DARTMOUTH COLLEGE,2007.[7] Anindya Sarkar.Novel image data-hiding methodologies for robust and secure steganography with extensions to image forensics[D].Santa

Barbara:UNIVERSITY OF CALIFORNIA,2010.[8] Tian Tsong Ng.Statistical and geometric methods for passive-blind image forensics[D].Ann Arbor:Columbia University,2007.[9] Gennadiy Makovoz.Latent Semantic Analysis as a Method of Content-Based Image Retrieval in Medical Applications [D].Ann Arbor:Nova

Southeastern University,2010.[10] 吴琼.面向真实性检测的数字图像盲取证方法研究[D].长沙:国防科学技术大学,2008.[11] 王鑫.数字图像盲取证技术研究[D].郑州:解放军信息工程大学,2009.[12] 蒋历军.应用网格和水印技术对基于内容的肝脏CT图像检索的研究[D].上海:上海交通大学,2008.[13] 梁洪.基于内容的医学图像检索及语义建模关键技术研究[D].哈尔滨:哈尔滨工程大学,2010.

（上接第5449页）

参考文献：

[1] RudinL I,Osher S,Fatemi E.Nonlinear total variation based noise removal algorithms [J]. Physica D,1992,60(1):259-268.[2] Tomasi C, Manduchi R. Bilateral filtering for gray and color images [C]//Proceedings of the Computer Vision Sixth International Confer⁃

ence.Bombay,India:Narosa Publishing Hose,1998:839-846.[3] Portilla J,Strela V. Image denoising using scale mixtures of Gaussians in the wavelet domain [J].IEEE Transactions on Image Processing,

2003,12(11):1338-1351.[4] Buades A，Coil B，Morel J M.A Review of Image Denoising Algorithms with a New OneIJ].Multiscale Modeling&Simulation,2005,4(2)：

490-530.[5] Buades A，Coil B，Morel J M .Image Denoising Methods.A New Nonlocal Principle[J].SIAM Review,2010,52(1):113-147.[6] Tian Jing，Yu Weiyu，Xie Shengli.On the Kernel Function Selection of Nonlocal Filtering for Image Denoising[C]//Proc.of IEEE Int’1

Conf.on M achine Learning and Cybern etics. Kunm ing，China：[s.n.]，2008.5453