基于颜色特征的图像检索算法的实现
- 格式:doc
- 大小:456.06 KB
- 文档页数:23
基于颜色自相关图和互信息的图像检索算法沈新宁;王小龙;杜建洪【期刊名称】《计算机工程》【年(卷),期】2014(40)2【摘要】颜色特征是重要的图像视觉特征,颜色相关图则是当前基于内容的图像检索中常用的特征描述符,但现有基于颜色相关图的图像检索算法存在计算复杂度高、检索精确度低的问题。
为此,提出基于颜色自相关图和互信息的图像检索算法。
给出一种新的颜色特征描述符--颜色互信息,通过计算颜色相关图特征矩阵中每个颜色与其周围颜色的平均互信息,得到不同颜色之间的全局及空间分布特性,并作为新的颜色特征矢量,以降低计算复杂度。
同时采用外部特征矢量归一化方法结合颜色互信息与颜色自相关算法,以提高检索精确度。
实验结果表明,该算法可有效降低计算复杂度,提高实时响应性能和检索精度。
%Color is an important visual feature. Color Correlogram(CC) algorithm is commonly used in the color based image retrieval as a feature descriptor, but most of the existing methods based on CC have problems of high computational complexity and low retrieval accuracy. Aiming at this problem, this paper proposes an image retrieval algorithm based on color autocorrelogramand mutual information. It presents a novel color feature descriptor, namely Color Mutual Information(CMI). The new color feature vector which describes the global and spatial distribution relation among different colors is obtained by calculating the average mutual information between one color and all the colors around it in the CC feature matrix, thusreducing the computational complexity. Inter-feature normalization is applied in the combination of CMI and color autocorrelogram to enhance the retrieval accuracy. Experimental result shows that this integrated method can reduce the computational complexity, improves real-time response speed and retrieval accuracy.【总页数】4页(P259-262)【作者】沈新宁;王小龙;杜建洪【作者单位】复旦大学信息科学与工程学院,上海 200433;复旦大学信息科学与工程学院,上海 200433;复旦大学信息科学与工程学院,上海 200433【正文语种】中文【中图分类】TP911.73【相关文献】1.基于颜色-纹理自相关算法的内镜图像检索 [J], 王李冬;魏宝刚;孙亚萍;邰晓英2.一种基于颜色自动相关图与小波变换的图像检索算法研究 [J], 张笃振3.基于分块颜色相关向量的图像检索算法 [J], 唐波;孙茂印4.基于颜色相关图和纹理矩的图像检索 [J], 李永芳5.基于颜色相关图和纹理矩的图像检索 [J], 李永芳因版权原因,仅展示原文概要,查看原文内容请购买。
基于颜色直方图的图像检索算法研究近年来,随着数字图像的大规模应用,图像检索技术已经成为了计算机视觉领域的热门研究方向。
基于内容的图像检索技术是其中最为重要的一种,在利用颜色、纹理、形状等图像特征实现图像检索的方法中,基于颜色直方图的图像检索算法备受关注和推崇。
本文将对该算法进行深入的研究和探究,旨在加深人们对于该算法的认识和了解。
一、颜色直方图的构建原理颜色直方图是一种表示图像颜色分布的方法,通过将图像中每一个像素的颜色值分配到相应的颜色区间中,然后累加各区间的像素数目,最终得到的一张颜色频次分布直方图,即为颜色直方图。
构建颜色直方图需要进行以下步骤:1. 设定颜色分量划分区间。
一般情况下,将RGB三个分量分成16×16×16的划分区间,得到4096个颜色分量;2. 对于一张待检索的图像,遍历其每个像素,将其RGB值分别映射到16×16×16颜色分量划分区域中,计算每个区域内像素数量,最终得到一幅4096维的颜色直方图。
二、基于颜色直方图的图像检索算法基于颜色直方图的图像检索算法(CBIR)属于一种典型的基于内容的图像检索方法,首先将待检索图像的颜色直方图和数据库中已知图像的颜色直方图进行比较,计算它们之间的相似度,将相似度高的图像作为检索结果返回给用户。
CBIR算法具体包括以下步骤:1. 对图片进行预处理,提取出颜色直方图;2. 对于每一张待检索的图像,计算该图片颜色直方图与数据库中每张图像颜色直方图之间的相似度。
相似度计算方式一般采用欧式距离、切比雪夫距离、余弦距离等方式进行计算。
通常情况下,欧式距离的计算方式是最为常见的方法;3. 将相似度高的图像作为检索结果展示给用户;4. 用户可根据检索结果向系统提出进一步检索请求,不断优化检索结果。
三、基于颜色直方图的图像检索算法的优缺点基于颜色直方图的图像检索算法具有以下优点:1. 颜色直方图能够准确描述图像的颜色分布及特征,对各种图像类型都适用;2. 颜色直方图具有较高的计算效率,能够满足大规模图像检索的需求;3. 相较于其他基于内容的图像检索方法,基于颜色直方图的图像检索算法表现较为稳定,对噪声的容忍度较好。
基于颜色直方图的图像检索(实验分析)1.概述在过去的十几年间,有许多知名机构都对图像检索系统进行了深入的研究,病开发出了相应的检索系统,例如IBMAlmaden研究中心研制的QBIC系统,Virage公司研发的VIRAGE系统,麻省理工大学多媒体实验室研发的Photobook系统,哥伦比亚大学研发的ViualSeek系统,斯坦福大学研发的WBIIS系统,U.C.伯克利分校研发的Blobworld系统等等。
2.相关知识2.1.RGB颜色空间RGB颜色模型中每种颜色都是由红绿蓝三种颜色组成。
这种颜色模型在许多CRT显示器和彩色光栅图形设备中被广泛使用。
这三种颜色被认为是其他颜色的添加剂,对于所需要的颜色通过对这三种颜色进行不同的比例进行相加即可得到。
RGB模型可以用如下的颜色坐标系表示。
注意从(0,0,0)到(1,1,1)的对角线,白色代表了灰阶,RGB色彩模式俯视从白色开始的。
2.2.HSV颜色空间(也称HIS颜色空间)HSV字母分别代表了色度(Hue),饱和度(Saturation),色调。
上面的锥形图说明HSV的颜色模型。
Value代表了颜色的强度,他是从图像信息中分离出来,可以表示相关信息的部分。
色度和饱和度代表了颜色在人眼中的生理特征。
色度与红色等颜色从0到1的表示不同,色度是从红色通过黄,绿,青,蓝,洋红色,再回到红色。
饱和度的区分是从0到1,他通过值大小来影响颜色的饱和度。
对于色调,也是从0到1,随着他的增大,图像的颜色就会越来越亮。
2.3.颜色模型之间的转换为了针对特定的应用更好的使用颜色,颜色空间的颜色转换是非常必要的。
一个好的颜色空间必须能够很好的表示两种颜色之间的颜色差别。
也就是说,数值表示的颜色可以近似的表示人类可以感觉的颜色的差别。
2.4.距离3.算法原理一个图像的颜色直方图是通过统计图像各个颜色的像素个数构成的。
其处理过程:1、选择颜色空间;2、对颜色空间进行量化;3、统计直方图;4、推到直方图的距离函数;5、通过索引指出最相近的图像。
收稿日期:2008-09-01基金项目:国家“63”高技术研究发展计划资助项目(Z3);山东省自然科学基金资助项目(Y G )作者简介:郑秋梅(6),女,山东高密人,教授,硕士,主要研究方向为图形图像处理。
基于全局颜色直方图的图像检索算法考虑了图像的整体颜色,较为简便和直观,但忽略了图像目标和背景的主次关系。
为了能够突出图像的主体部分,本文将边缘检测技术应用到基于颜色特征的图像检索中,提出了一种基于内外边缘颜色特征的图像检索算法(Edge Color-BasedImage Retrieval ,简称ECBIR )。
ECBIR 算法运用数学形态学方法提取图像的边缘信息,即在结构2010年工程图学学报2010第2期J OURNAL OF ENG INEERING GRAPHICSNo.2基于内外边缘颜色特征的图像检索算法郑秋梅,王红霞,闵利田(中国石油大学计算机与通信工程学院,山东东营257061)摘要:算法的基本思路是提取边缘部分的颜色特征进行图像检索,将边缘分为内外边缘区别对待,加大内边缘(对应目标部分)的比重,通过多尺度多结构元的数学形态学方法实现。
通过设置内外边缘的权重充分考虑了目标的重要性,克服了全局颜色直方图不能反映空间信息的缺陷。
实验结果表明,该算法有效地提高了检索系统的效率。
关键词:计算机应用;图像检索;数学形态学;边缘颜色特征中图分类号:TP 391.41文献标识码:A文章编号:1003-0158(2010)02-0110-06Image Retrieval Algorithm Based on the Color Feature ofInner and Outer EdgeZHENG Qiu-mei,WANG Hong-xia,MIN Li-tian(College of Comput er and Communication Engineering,Chi na University of Petroleum,Dongying Shandong 257061,China )Abstr act:The basic idea of the algorithm is to extract the color feature of edge area for image retrieval.The edges are divided into inner edge and outer edge and the weight of inner edge (target part)is increased.This is realized through the method of mathematical morphology with multi-scale and multi-structuring elements.By setting a weight for inner and outer edge,the algorithm takes the important of the target into account and overcomes the shortcoming of color histogram which loses the location information .Experimental results show that this method improves the image retrieval performance effectively.K ey words:computer application;image retrieval;mathematical morphology ;edge color feature82007AA0901200721194-元素的选取时,内边缘采用多尺度多结构元素的方法,外边缘采用单一结构元素的方法。
基于颜色特征图像检索基于颜色特征图像检索技术是一种常用的计算机视觉技术,其主要目的是根据图像的颜色特征对目标图像或相似图像进行检索。
本文将介绍颜色特征图像检索的一般流程和关键技术。
一、颜色特征提取颜色特征是图像检索的重要特征之一。
在颜色特征提取方面,目前有许多方法可供选择,包括直方图、颜色均值、颜色协方差矩阵等。
其中,直方图是最常用也是最简单的颜色特征提取方法之一。
它可以对图像中每个像素的颜色值进行统计,获得不同颜色的出现次数,进而形成颜色直方图。
在实现颜色直方图时,一般采用离散化颜色空间的方法将图像转换为灰度图像或颜色空间。
常用的颜色空间包括RGB、HSV、LAB等。
离散化颜色空间还可以进行一些优化处理,例如将颜色空间划分为若干小块,以减少计算量。
二、特征向量量化特征向量量化是将颜色直方图转换为方便计算和比较的向量表示的过程。
颜色直方图通常是一维的,而特征向量表示可以是任何维度。
特征向量量化的目标是通过将直方图从一维投影到多维空间中,使得向量在这个空间中更容易分离和分类。
在特征向量量化方面,常常采用的方法是利用聚类算法,例如K-Means,将颜色直方图分成若干个聚类中心,并将颜色直方图映射到每个聚类中心的空间中。
这样,颜色直方图可以用它在每个聚类中心上的投影(即用每个聚类中心的坐标来表示颜色直方图)来表示。
三、相似度度量相似度度量是用于量化两个特征向量之间的相似度的方法。
在颜色特征图像检索中,最常用的相似度度量方法是欧氏距离和余弦相似度。
对于欧氏距离,它通常被定义为两个向量之间所有元素差的平方和的平方根。
对于余弦相似度,它通常被定义为两个向量之间的夹角余弦值。
四、图像检索通过上述步骤进行颜色特征提取、特征向量量化和相似度度量后,可以利用检索算法对目标图像进行检索。
常用的检索算法包括基于单幅图像的检索方法和基于多幅图像的检索方法。
基于单幅图像的检索方法通常是通过将查询图像的特征向量与图像数据库中所有图像的特征向量进行比较,然后从数据库中找到与查询图像最相似的图像。
25卷 第4期2008年4月微电子学与计算机M ICROEL ECTRON ICS &COMPU TERVol.25 No.4April 2008收稿日期:2007-07-27基于颜色直方图的图像检索技术高美真1,申艳梅2(1焦作师范高等专科学校计算机与信息工程系,河南焦作454001;2河南理工大学计算机科学与技术学院,河南焦作454003)摘 要:使用颜色空间分布熵来表示图像的颜色空间分布特征,结合图像的颜色直方图特征,采用加权综合法和比例系数法表示图像的综合特征,设计了基于颜色直方图和图像空间分布熵的图像检索算法.利用查全率和查准率对算法进行了评价.通过实验分析比较可知,所设计的方法具有较好的查准率和查全率.关键词:图像检索;颜色直方图;颜色空间分布熵中图分类号:TP391.41 文献标识码:A 文章编号:1000-7180(2008)04-0025-03Histogram 2B ased Color Im age R etrievalGAO Mei 2zhen 1,SHEN Yan 2mei 2(1Department of Computer and Information Engineering ,Jiaozuo Teachers College ,Jiaozuo 454001,China ;2College of Computer Science &Technology ,Henan Polytechnic University ,Jiaozuo 454003,China )Abstract :The theory of image information entropy is adopted as color distribution ,and the color spatial distribution en 2tropy is adopted as the spatial descriptor color.The writer also uses weighted 2synthetical method and proportion 2coefficient method to indicated the image characteristics and designs a image retrieval algorithm based on color histogram and its color spatial distribution entropy.According to the analysis and comparison ,this kind of algorithm has a very good retrieval a 2bility of image.K ey w ords :image retrieval ;color histogram ;color spatial distribution entropy1 引言基于内容的图像检索技术(Content 2Based Im 2age Retrieval ,CB IR )主要是利用图像的视觉特征如图像中物体的颜色、形状、纹理等特征以及这些特征的组合和上下文联系分析提取出图像的内容特征作为图像的索引特征来得到所需图像.颜色特征是图像检索中应用最广泛的视觉特征,目前有很多基于颜色特征的图像检索算法,颜色直方图是一种重要的基于颜色特征进行的图像检索方法,文献[123]中给出的几种算法各有利弊,文中吸取其优点,将颜色直方图与图像空间分布熵相结合,设计了新的图像检索算法,实验证明具有较好的检索性能.2 基于颜色直方图特征的图像检索颜色直方图是常用的图像颜色特征表示方法,反映图像颜色的统计分布,描述的是图像的整体颜色特征.对于一幅图像I ,其颜色(或灰度)由L 级组成,每一种颜色(或灰度)值为c i (i =1,2,…,L ).在整幅图像中,具有c i 值的像素个数为h i ,则一组像素的统计值h 1,h 2,…,h L 就称为该图像的颜色直方图[4].为了使HSV 颜色空间能更好地符合人的视觉特性,更有利于图像颜色特征的提取.文献[5]中提出的颜色空间量化方法,将图像的颜色量化为36柄,量化方法如式(1)所示,这样可以将很多虽然深浅不同但在视觉上仍属于同一类的颜色量化在同一区间内,使量化结果符合人类的视觉感受.H=0,H∈[0°,60°) 1,H∈[60°,120°) 2,H∈[120°,180°) 3,H∈[180°,240°) 4,H∈[240°,300°) 5,H∈[300°,360°)S=0,S∈[0,0.25) 1,S∈[0.25,1]V=0,V∈[0,0.3)1,V∈[0.3,0.8)2,V∈[0.8,1.0)(1)由于色调在色度轴上的分布是连续过渡的,而且色调之间并不存在明显的界限,上述划分方法忽视了颜色在各个区间分界处的相似连续性.为使提取到的颜色特征更符合人的视觉心理,上述量化的基础上对色调H分量进行了第二次量化,第二次量化的方法如式(2)所示.将式(1)和式(2)得到的量化值逐项求平均值作为图像的颜色直方图特征,然后使用该颜色特征进行了基于颜色直方图的图像检索.H=0,H∈[30°,90°)1,H∈[90°,150°)2,H∈[150°,210°)3,H∈[210°,270°)4,H∈[270°,330°)5,H∈[330°,360°)∪[0°,30°)S=0,S∈[0,0.25) 1,S∈[0.25,1]V=0,V∈[0,0.3)1,V∈[0.3,0.8)2,V∈[0.8,1.0)(2)3 基于颜色空间分布熵特征的图像检索3.1 颜色空间分布熵特征的提取对于数字图像而言,图像由像素组成,不同灰度的像素出现次数的不同及其分布空间位置的不同,使得图像呈现不同的形状.因此,不同形状的图像所包含的熵也是不尽相同的,因而可以用熵描述图像的形状特征.设I为一幅R1×R2的彩色图像,像素p1=(x1,y1)∈I,p2=(x2,y2)∈I,像素间的空间距离可定义为|p1-p2|=max{|x1-x2|,|y1-y2|}(3)对于R1×R2的图像,像素间的距离满足0≤|p1-p2|≤max{R1-R2}-1,图像被划分为不同的矩形区间.为了保持图像的尺度不变性,需要进行归一化处理,即p ij=|A ij||A i|(4)利用熵的特性,设计采用颜色空间分布熵来描述颜色的空间分布特性.颜色i的空间分布熵表示如下:e i=-∑Nj=1p ij log2(p ij)(5)空间分布熵反映了具有某种颜色的像素在图像空间中的平均分散程度,颜色空间分布熵越大,表明具有该颜色的像素在图像空间中越分散,否则,表明具有该颜色的像素在图像空间的分布比较集中. 3.2 算法设计为了有效地利用颜色空间分布熵特征和颜色直方图特征进行图像检索,对图像的颜色直方图特征和图像的颜色空间分布熵这两个特征采用了加权综合法和比例系数法形成图像检索用的综合特征,设计了两种图像检索方法.3.2.1 加权综合法对于两幅图像的直方图特征,采用直方图相交法来进行相似性度量:d1(H,H′)=1-∑ni=1min(h i,h i′)min(∑ni=1h i,∑ni=1h i′)(6)对于图像颜色的空间分布熵,采用L1距离来进行相似性度量:d2(E,E′)=∑ni=1|e i-e i′|(7)由于颜色直方图间的距离d1及颜色空间分布熵间的距离d2代表了不同的含义,并且它们的取值也差别很大,因此不能简单地将两个距离相加来表示两幅图像间的距离,需要进行归一化处理,以保证构成总相似度中的每一个特征都具有相同的重要性.实验中,权重都取0.5,将图像的颜色直方图与颜色空间分布熵赋予了同等重要性.3.2.2 比例系数法对于任意的示例图像I和数据库图像I′,它们之间的相似性可以定义如下:d(I,I′)=1-∑ni=1min(h i,h i′)×min(e i,e i′)max(e i,e i′)(8)式中,图像间的相似性共包括两部分,第一部分min(h i,h i′),表示直方图相交法的结果,它度量了62微电子学与计算机2008年图像颜色直方图h i 和h i ′之间的相似性;第二部分min (e i ,e i ′)max (e i ,e i ′)度量了颜色i 的空间分布上的相似性.由于min (e i ,e i ′)max (e i ,e i ′)的结果为一个比例系数,因此该方法不需要进行特征间的归一化处理.4 实验结果为了比较算法的检索性能,将文中设计的两种算法与颜色直方图法进行了比较.采用的图像库包含有1000幅各类图像,包括交通工具、动物、建筑物和自然景观等类型的图像.在图像库中选取了5类图像组成检索集来检验算法的检索效果.采用查准率和检索率作为算法检索效果的评价的标准.其中,查准率表示检索结果队列中检索的目标图像数与队列中图像数之比,查全率定义为检索结果队列中检索的目标图像数与图像库中全部的目标图像数之比.对于不同的图像检索算法,在相同的检索率条件下检索的精确度越高,则表明该算法的检索效果越好.从每类图像中分别抽取5幅图像来进行检索,共形成25次检索结果,将25次检索结果查准率和查全率的平均值作为算法的平均检索结果.图1给出了三种算法的查准率和查全率对比曲线.需要说明的是,为了能更清晰地表示查全率和查准率的对比效果,图1中的坐标原点是(0.2,0.68).5 结束语由于图像颜色直方图一个主要缺点是没有反映颜色的空间分布信息,因此采用了图像的空间分布熵表示图像颜色的空间分布特征,综合使用了图像的颜色直方图特征和颜色的空间分布熵特征进行加图1 加权综合法、比例系数法、颜色直方图法查全率和查准率对比曲线权综合法图像检索和比例系数法图像检索比只使用图像的颜色直方图特征进行图像检索具有较好的检索性能.参考文献:[1]Li J ,Wang J Z ,Wiederhold G.IRM :integrated regionmatching for image retrieval [C ]//Proceeding of ACM A :Standford University ,2000.[2]Stricker M ,Orengo M.Similarity of color images [C ]//Proceeding of SPIE Storage and Retrieval for Image and Video Database.Swiss :Swiss Federal Institute of Technol 2ogy Publication ,1995(2420):381-392.[3]王宇生,陈纯.一种新的基于色彩的图象检索算法[J ].计算机研究与发展,2002,39(1):105-109.[4]魏宝刚,李向阳,鲁东明,等.彩色图像分割研究进展[J ].计算机科学,1999,26(4):59-62.[5]何清法,李国杰.综合分块主色和相关反馈技术的图像检索方法[J ].计算机辅助设计与图形学学报,2001,13(10):912-917.作者简介:高美真 女,(1970-),讲师.研究方向为多媒体技术、计算机基础教学.(上接第24页)[3]Saito.Call admission control in an A TM network using up 2per bound of cell loss probability[J ].IEEE Trans Commun ,1992(40):1512-1521.[4]姚正林,刘金刚.基于大偏差技术的自相似流CAC 算法[J ].微电子学与计算机,2004,21(3):65-68.[5]Stathis C ,Maglaris B.Modelling the self -similar be 2haviour of network traffic [J ].Computer Nerworks ,2000(34):37-47.[6]Norros.On the use of fractional brownian motion in thetheory of connectionless networks[J ].IEEE J.Select.Ar 2eas Common ,1995,13(6):953-962.[7]Wang L Jonathan ,Erramilli A.A connection admissioncontrol algorithm for self -similar traffic [C ]//G lobal Telecommunications Conference 1999.Rio de Janeiro ,Brazil ,1999(2):1623-1628.作者简介:胡 英 女,(1982-),硕士研究生.研究方向为计算机网络.谭献海 男,(1963-),博士,副教授,硕士生导师.研究方向为计算机网络.72 第4期高美真,等:基于颜色直方图的图像检索技术。
目录摘要 (1)关键字 (1)1绪论 (1)1.1 基于内容的图像检索的概念 (1)1.2 基于内容的图像检索的发展历史 (1)1.3 基于内容的图像检索的特点和主要应用 (1)1.4 基于内容的图像检索的关键技术 (2)1.5 国内外研究现状 (3)1.5.1 国外研究现状 (3)1.5.2 国内研究现状 (4)2 基于颜色特征的图像检索方法 (4)2.1 颜色度量体系 (4)2.2 颜色空间 (5)2.2.1 RGB颜色空间 (5)2.2.2 HSV颜色空间 (5)2.2.3 CMY颜色空间 (6)3 颜色特征的表达 (7)3.1 颜色直方图 (7)3.2 累加直方图 (8)4 图像特征的相似性匹配 (9)4.1 距离度量方法 (9)4.2直方图的交集的方法 (9)4.3 欧式距离法 (9)5 图像检索算法实现 (10)5.1程序开发运行环境 (10)5.2 程序检索逻辑 (10)5.3 算法具体实现 (11)5.4 实例演示 (14)6 全文总结与展望 (15)6.1 全文总结 (15)6.2 展望 (15)致谢 (15)参考文献 (16)英文摘要 (16)基于颜色特征的图像检索算法的实现摘要:文章介绍了一种基于颜色特征的图像检索技术的算法并给出了程序实现。
首先介绍了基于内容的图像检索技术、发展历史及基于内容的图像检索技术的特点和主要应用,并在此基础上探讨了该领域所用到的一些关键技术。
文章着重探讨了图像的颜色空间、图像特征提取及图像相似性度量等内容,并利用matlab技术实现了一个简单图像检索的程序。
文章最后则对当前基于内容图像检索技术研究热点和今后的发展方向进行简单的阐述。
关键字:基于内容的图像检索;颜色特征;颜色直方图;相似度度量方法1 绪论1.1 基于内容的图像检索的概念基于内容的图像检索[1](Content Based Image Retrieval, CBIR)是一项从图像数据库中找出与检索式内容相似的图像的检索技术。
它利用从图像中自动抽取出来的底层特征,如颜色、纹理、轮廓和形状等特征,进行计算和比较,检索出符合用户需求的结果图像集。
目前图像检索系统技术实现的基础是对底层特征信息的计算和比较,也即是“视觉相似”。
1.2 基于内容的图像检索的发展历史图像检索技术的发展[2]可以分为两个阶段,第一阶段始于70年代,当时的图像检索是通过人工的标注来实现的,随着计算机技术和通信网技术的发展,特别是因特网的快速发展,图像数据的容量越来越大了,这种“以关键字找图”的方法越来越不适应检索技术的发展了。
由于图像内容的丰富内涵以及人们对图像内容进行抽象时的主观性不同的人对同一幅图像有不同的理解,这就引入了主观多义,不利于检索。
为了克服文本标注检索的弊端,90年代研究者提出了基于内容的图像检索,其方法是:根据图像的颜色特征、纹理特征、形状特征以及空间关系等作为索引,计算查询图像和目标图像之间的相似距离,然后按相似度匹配进行检索,这种技术很大程度地利用了人们的视觉客观特性,避免不同人对图像主观理解的不同而达不到理想的搜索效果。
从研究方向的层面来看,基于内容的图像检索可分为三层:第一层是根据图像的底层特性来进行检索,如颜色、纹理,形状等等,涉及图像信息处理、图像分析和相似性匹配技术;第二层是基于图像对象语义,如图像中实体及实体之间的拓扑关系的检索,对象级检索技术建立在下层特征基础上,并引入了对象模型库、对象识别和人工智能等图像理解技术;第三层是基于图像的抽象属性如行为语义,情感语义和场景语义的推理学习来进行检索。
需要用到知识库和更加有效的人工智能和神经网络技术。
这三个层次由低到高,与人的认知接近,下一个层次通常包含了比上一个层次更高级的语义,更高层的语义往往通过较低层的语义推理获得。
尽管经过了多年的研究,较为成熟的基于内容的图像检索技术目前仍处于底层水平,由于底层研究是上层研究的基础,为了给上层建立准确、有效的图像特征提取方法,底层的研究仍在不断的发展。
1.3 基于内容的图像检索的特点和主要应用基于内容的图像检索技术有以下特点[3]:一是它突破了传统的基于表达式检索的局限,从媒体内容中提取信息线索。
利用图像内容特征建立索引进行检索,使得检索更加有效,适应性更强。
二是基于内容的图像检索是一种近似匹配,即按照某种相似性度量,比较图像特征间的差异度。
相似度较低的图像将作为检索结果返回给用户。
三是它是大型数据库的快速检索。
在实际的多媒体数据库中,数据量巨大,而且种类和数量巨大,因此要求CBIR技术快速地实现对多媒体信息的检索。
四是以相关反馈为有效手段。
为了提高检索的准确性,整个过程是个逐步逼近和相关反馈的过程。
用户的交互性增强了表达查询、评价查询结果和基于评价结果进行进一步检索的能力。
CBIR己经成功地应用于一些专门领域。
典型应用领域[4]包括:(1)搜索引擎:随着各种电子商务网站的发展,图像搜索引擎将成为这些网站的重要工具。
(2)家庭用图像检索:数码科技使得普通家庭也会产生成千上万的图像,家庭图像检索系统将是家庭PC的一个基本工具。
(3)数字图书馆:数字图书馆实际上是一个数字信息资源库,其中有字符数值库、文本库、声音库、图像库等。
因此,如何快速、高效地从数字图书馆中找出用户所需的信息就成为现代图书馆研究的热点和关键技术之一。
(4)商标检索系统:可在收录了己注册商标的数据库中查找是否有与注册商标类似的,防止商标权受侵害。
(5)法律及公安:它是图像数据库技术的一个重要应用领域。
典型的例子有:面部数据库、指纹数据库、犯罪纪录数据库以及建筑物保安数据库等。
我国在“人脸”及“指纹”数据库建立方面已做了不少工作,并有一批实用性的成果投入应用。
(6)邮票资料库:主要用于邮票资料的管理与查询,也可以提供邮票鉴定等更高级的应用服务。
(7)教育与培训:在教育与培训领域,例如远程教学、交互式培训、自学教育及雇员再教育等有着广阔的应用前景。
国外在培训系统领域已投入了大量的经费,开展了相关课题的研究工作。
我国多媒体教学研究工作也已经开展,网上教学与辅导已进入实用阶段,这些都为图像数据库应用于教育培训领域提供了广阔的前景。
(8)工业与商业:工业应用包括企业多媒体信息系统、CAD/CAM等商业应用有电子商务、在线广告、在线购物、股票等。
(9)保健及医疗:图像数据库在该领域中应用范围很广,除了专用的图像管理与检索系统外,还包括建立多媒体医疗信息管理系统,将庞杂的医疗数据管理起来.这些数据包括病历、病人的图像信息(如X光片、CT扫描及MRI照片等)以及描述手术过程的视频信息等。
它为现有的医学系统带来了一场革命,其中最有前景的应用是远程医疗(Telemedicine)、远程外科手术(Tele-surgery)及远程诊断(Tele-diagnoses)等。
1.4 基于内容的图像检索的关键技术[5]目前,对于通用的静止图像检索,用于检索的特征主要有颜色(Color)、纹理(Texture)、形状(Shape)等,其中颜色、纹理、形状应用尤为普遍;活动视频检索脱胎于序列图像分析中的技术。
本文主要研究对静止图像检索,其中数据库是专用的图像库。
对于目标图像和检索图像进行颜色空间转换、亮度图像的边缘提取和二值分割、提取目标区域的颜色特征。
颜色内容包含两个一般的概念,一个对应于全局颜色分布,一个对应于局部颜色信息。
按照全局颜色分布来索引图像可以通过计算每种颜色的像素的个数并构造颜色灰度直方图来实现,这对检索具有相似的总体颜色内容的图像是一个很好的途径。
局部颜色信息是指局部相似的颜色区域,它考虑了颜色的分类与一些初级的几何特征。
比如Smith等提出了颜色集合(color set)方法来抽取空间局部颜色信息并提供颜色区域的有效索引。
运用颜色直方图进行检索有如下三种方式:(1)指明颜色组成--该法需要用户对图像中的颜色非常敏感,而且使用起来也不方便,检索的查准率和查全率并不高,因此暂时不做进一步开发。
(2)指明一幅示例图像--通过与用户确定的图像的颜色直方图的相似性匹配得到查询结果,这是该课题研究方法的根本。
(3)指明图像中一个子图--分割图像为各个小块,然后利用选择小块来确定图像中感兴趣的对象的轮廓,通过建立更复杂的颜色关系(如颜色对方法)来查询图像,该方法是进一步优化检索的一个设想。
在颜色空间选取方面,最常用的颜色空间是RGB颜色空间。
通常,人们采用欧氏距离来刻画两种颜色之间的差异,RGB空间存在的一个严重问题是其中所计算出来的两种颜色之间的距离无法正确表征人们实际所感知到的这两种颜色之间的真实差异。
HSV空间比较直观并且符合人的视觉特性。
HSV颜色模型有两个重要的特点作为基础。
首先,V分量与彩色信息无关,其次H和S分量与人感受彩色的方式紧密相连,其中H分量尤其影响人类的视觉判断。
这些特点使得HSV模型非常适合基于人视觉系统对彩色感知特性的图像处理。
得到图像特征的统计直方图后,不同图像间的特征匹配可借助计算直方图间的距离来进行。
一般意义上直方图匹配方法有直方图相交法,直方图匹配法,欧氏距离法,中心矩法,累积直方图匹配法共6种。
本文重点讨论欧氏距离法,并将其作为系统编程实现的主要方法。
所以,颜色特征的图像检索关键技术路径如图1:图1 颜色特征的图像检索关键技术路径1.5 国内外研究现状[6]1.5.1 国外研究现状基于内容的图像检索技术是当前研究的热点,许多著名杂志如IEEE Trans.On PAMI 、IEEE Trans.On Image processing 等纷纷设专刊介绍该领域研究的最新成果,著名的国际会议如:IEEE conference of CVPR 、 ACM conference on multimedia等纷纷设立专题交流最新的研究成果。
各大研究机构和公司都推出了他们的系统:(1)IBM的QBIC系统IBM的QBIC是第一个商业化的基于内容的图像检索系统,它的系统结构包括图像入库、特征计算、查询阶段三部分,允许使用例子图像、用户构建的草图和图画、选择的颜色和纹理模式、镜头和目标运动和其他图形信息等,对大型图像和视频数据库进行查询。
它的系统框架和结构对后来图像检索系统具有深远的影响。
(2)新加坡大学和MIT媒体实验室的Photobook系统该系统是用于交互式浏览和搜索图像库的工具。
图像在装入时按形状、纹理和人脸的面部外形三种特征自动分类,同时还能结合文本关键字进行查询,图像根据类别通过显著语义特征压缩编码。
(3)Virage公司的Virage系统该系统是基于内容的图像搜索引擎,比QBIC更进一步,支持基于颜色、颜色布局、纹理和结构(对象边界信息)及这四个原子查询的任意组合。
VirageVirageEngine主要有3方面的功能:图像分析、图像比较和图像管理,技术的核心是VirageEngine以及在图像对象层上的操作。