当前位置:文档之家› 1第二章信息检索的数学模型(7~8学时)

1第二章信息检索的数学模型(7~8学时)

1第二章信息检索的数学模型(7~8学时)
1第二章信息检索的数学模型(7~8学时)

信息检索模型研究概述

信息检索模型研究概述 【摘要】随着信息量的日益增长,用户要在巨大的信息海洋中查找自己所需的信息就变得复杂,这就需要对信息进行相关性选择,以提高查询的检全率和检准率。为此,人们提出了一系列检索模型,本文介绍了这些检索模型以及在此基础上的发展。 【关键词】信息检索;检索模型;认知心理学;综述 一、引言 信息检索是寻找相关信息的过程,而检索过程始终都涉及相关性问题。相关性是信息需求内容与文献内容之间的一种关系,为了正确地解释检索过程,就必须给相关性一个合理的衡量。为此,人们提出了一系列检索模型,本文就讨论介绍了这些信息检索模型研究的进展。文中笔者将检索模型分为基于系统的检索模型、基于认知心理学的检索模型和基于本体的检索模型三大类。 二、基于系统的信息检索模型 在基于系统的检索模型中,可以分为逻辑模型、模糊模型、向量空间模型和概率模型。 1.逻辑模型及其发展 1957年,巴-希列尔(Y.Bar-Hille)提出布尔逻辑模型。布尔逻辑式构造简单,但其不易全面反映用户的需求,匹配标准存在某些不合理的地方,且检索结果不能按照用户定义的重要性排序输出,很难控制输出量的大小,对用户的素质有很高的要求。 为了克服传统布尔逻辑模型的一些缺陷,Waller和Kraft在1979年提出了加权布尔逻辑检索模型。加权布尔逻辑检索模型通过对标引词进行加权,解决了传统布尔逻辑检索模型的一些缺点,比如无法排序、不能区分检索词的重要程度,但同时也带来了一个问题,即布尔逻辑操作算符在不加权布尔逻辑查询情形下的许多算律(如交换律、结合律等)已不再成立。 在Waller和Kraft之后,Salton于1983年提出扩展布尔模型。扩展模型是传统布尔逻辑检索模型完全匹配的严格性和向量模型提问的无结构性的折中,在保持布尔逻辑检索的结构式提问的同时,也吸取了模糊检索和向量检索模型的长处。而且该模型中巧妙地引入了一个模型参数p,通过适当调节这个参数,Salton 模型可以分别表现为布尔模型、向量空间模型和模糊模型。 2.模糊模型及其发展 布尔模型和扩展的布尔模型主要是基于康托(Contor)的经典集合论,但经典集合论容不得模糊的概念,这对于信息检索过程中所存在的模糊性的解释造成一定的困难,用户对检索结果的满意程度也具有不确定性。为了解决这种模糊性引起的不确定问题,人们引入模糊集合理论来构建模糊集合模型。 模糊集合模型是基于美国自动控制专家扎得(L.A.Zadeh)的“模糊集合”理论,模糊检索将文献看成是与某提问在一定程度上相关,对于每一个标引词,都存在一个模糊的文献集合与之相关;对于某一给定的标引词,用隶属函数表示每一文献与该词相关的程度,即隶属度,其取值在[0,1]上。在模糊集合检索中,对于布尔模型的用户信息需求的处理通常是把表达用户需求的布尔逻辑式转换成析取范式的形式。基于模糊集合模型的检索结果是建立在文献集上的,且其隶属度就是文献集对用户提问的相关程度的模糊子集。但目前而言,还无法十分精

计算机信息检索02139自考资料

第一章信息检索概述 1.信息检索:指将信息按一定的方式组织和存储起来,并根据信息用户的需要找出有关信息的过程。 2.根据检索手段的不同,信息检索可以分为手工检索、光盘检索、联机检索和网络检索。 3.信息检索的基本原理 通过对大量的、分散无序的文献信息是进行搜集、加工、组织、存储,建立各种各样的检索系统,并通过一定的方法和手段使存储与检索这两个过程所采用的特征标识达到一致,以便有效地获得和利用信息源。 4.信息检索语言 信息检索语言是人们在加工、存储和检索信息时用来描述信息内容和信息需求的词汇或符号及其使用规则构成的供标引和检索的工具。 5.五个信息检索阶段:手工检索、机械信息检索、脱机批处理检索、联机检索、网络信息检索,后三 者统称为计算机信息检索。 6.与手工检索相比,计算机信息检索的特点表现在: (1)速度快、效率高,仅几分钟就可以从成千上万条记录中找到所需信息; (2)检索范围广,可以迅速而方便地浏览相关学科或主题的所有数据库中的记录,在 网络中,几乎每一台个人计算机都可以成为信息源; (3)检索不受时空的限制,只要拥有相应的软件和硬件设备,就可以在任何地方借助 光盘和通信网络查询所需信息。 7.信息检索的模型:就是运用数学的语言和工具,对信息检索系统中的信息及其处理过程加以翻译和 抽象,表述为某种数学公式,再经过演绎、推断、解释和实际校验,反过来指导信息检索实践。 信息检索的三个经典模型是:布尔模型、向量空间模型和概率模型。 8.信息检索系统是具有信息存储和信息查询功能的一类信息服务设施。 9.信息检索系统是信息检索所用的硬件资源、系统软件以及信息资源集合的总和。 10.数据库由字段、记录和文档构成。 11.根据载体的不同,数据库可分为:联机数据库、光盘数据库和网络数据库三种。 12.信息检索系统评价的核心是检索性能评价。 13.检索性能评价:根据一定的评价指标对实施信息检索活动所取得的成果进行客观科学评价,以进一 步完善检索工作的过程。 评价检索效果的最主要的指标:查全率和查准率。 14.查全率 查全率是指检出文献中合乎需要的文献数量占数据库中存在的合乎该需要的所有文献的比例。 15.查准率 查准率是指检出文献中合乎需要的文献数量占检出文献全部数量的比例。 第二章网络信息检索的方法与技术 1.布尔逻辑检索的主要运算符 布尔逻辑检索的主要运算符有:逻辑与(“AND”)、逻辑或(“OR”)、逻辑非(“NOT”)。 它们分别代表的含义是:(1)逻辑“与”。表示检索结果中必须包含所有的检索词;(2)逻辑“或”。表示检索结果中只要包含任何一个检索词即可;(3)逻辑非。表示检索结果中一定不能出现“NOT”后面的检索词。 2.邻近检索 邻近检索是用一些特定的算符来表达检索词与检索词之间的顺序和词间距的检索。 3.短语检索:短语用“”表示,检索出与“”内形式完全相同的短语,以提高检索的精度和准确度, 因而也有人称之为“精确检索” 4.截词检索 是指在检索标识中保留相同的部分,用相应的截词符代替可变化部分。检索中,计算机会将所有含有相同部分标识的记录全部检索出来。截词符一般用“?”或“*”表示,但不同的数据库中有所差别。 常用的截词检索方法有前截词、中间截词和后截词。 5.在信息检索过程中,为了提高查全率或查准率,需要将检索范围限制在特定的字段中,即字段限制 检索。 6.模糊检索:模糊检索是指使用某一检索词进行检索时,能同时对该词的同义词、近义词、上位词、 下位词进行检索,以达到扩大检索范围、避免漏检的目的。

信息检索的概率模型-

信息检索的概率模型 一、综述 一、信息检索技术 由于以因特网为主体的信息高速公路的不断普及和发展,信息技术已经渗透到我们社会生活的各个角落,正以前所未有的速度和能力改变着我们的生活的工 作方式,我们真正处于一个“信息爆炸”的时代。一方面,因特网上面蕴含的海 量信息远远超过人们的想象;另一方面,面对信息的汪洋大海,人们往往感到束手无策,无所适从,出现所谓的“信息过载”和“信息迷向”的现象。于是一个 极富挑战性的课题:如何帮助人们有效地选择和利用所感兴趣的信息,尽量剔除不相关的信息。同时保证人们在信息选择方面的个人隐私权利?成为学术界和企 业界所十分关注的焦点。 随着在线文本的日益增多,其中包括新闻、电子杂志、电子邮件、技术报告、文档以及网上图书馆。如此众多的信息,仅仅依靠大脑来收集和整理所需要的信 息显然是不够的。所以,自动收集和整理所需要的各类信息成为信息产业面临新 的挑战和新的发展契机。根据不同的应用背景和不同的使用目的,信息处理技术已经演化信息检索、信息过滤、信息分类、问题回答等方向。 由于目前网上信息的表现形式大多数为文本,而且文本也是广大用户所习惯接收的形式。因此我们在下面主要讨论中文文本检索和相关的评价方案。 1、信息检索技术的发展 信息检索(Information Retrieval)是指信息按一定的方式组织起来,并根据 信息用户的需要找出有关的信息的过程和技术。狭义的信息检索就是信息检索过程的后半部分,即从信息集合中找出所需要的信息的过程。 信息检索起源于图书馆的参考咨询和文摘索引工作,从19世纪下半叶首先开始发展,至20世纪40年代,索引和检索成已为图书馆独立的工具和用户服务 项目。1945年,Vannevar Bush的论文《就像我们可能会想的……》第一次提出 了设计自动的,在大规模的存储数据中进行查找的机器的构想。这被认为是现在信息检索技术的开山之作。进入50年代后,研究者们开始为逐步的实现这些设 想而努力。在50年代中期,在利用电脑对文本数据进行检索的研究上,研究者 1

信息检索原理与技术考试大纲重点整理

信息检索原理与技术考试大纲重点整理

序移动,是一次、二次、三次文献信息的演变过程。对于“文献信息链”的研究,有利于从整体的角度了解文献信息的有序化、动态性特征,从而探索文献信息的产生、演变规律及其结构形态。 (1)信息检索:广义理解分为信息的存储与检索。信息的存储主要包括在某一专业领域范围内的信息选择的基础上对信息的内外特征进行描述、加工并使其有序化,形成信息集合。信息的检索是指借助一定的设备与工具,采用一系列方法与策略从信息集合中查询所需的信息。狭义的信息检索仅指该过程的后一部分。存储是检索的基础、检索是存储的反过程。信息检索的本质是用户的信息需求和一定的信息集合的匹配。 (2)信息检索系统:指为了满足用户的信息需求而建立的存储,经过加工了的信息集合,拥有一定的输入、匹配、输出的技术设备,提供一定的检索服务功能的一种相对独立的实体。 (3)信息检索入口:又称检索点或检索知识,是指用以标识信息的外部特征和内容特征的属性值的集合。检索知识包括主题词、分类号、著者、标题、机构、代码等。 (4)信息检索的一般原理:P7 (5)检索系统由物理构成(硬件、软件和数据库)和逻辑构成(文献与数据的选择与抽取子系统、词表子系统、标引子

系统、查询子系统、用户与系统交互子系统、匹配子系统)(6)检索工具的构成:编辑说明与凡例、分类表与主题表、正文、辅助索引、资料来源目录与附录。 (7)检索系统的功能:报道功能、存储功能、检索功能。(8)信息检索理论:标引理论、检索模型、检索结果的可视化。 (9)现代信息检索技术与方法:全文检索、多媒体检索、超文本及超媒体检索、联机检索、网络信息检索、智能检索、跨语言检索、跨平台检索。 第2章信息检索模型 (1)最初的信息检索模型是以数学知识为基础的原因:第一,数学是个有几千年历史的学科,被大家所熟知,并且通俗易懂。第二,人们的信息有很大的模糊性,甚至用文字不能表达,而文字具有很大程度的抽象性和概括性,这样就很容易表达出人们信息检索的需求,能够很方便快捷地组建信息检索模型。 (2)信息检索模型的类型:P18 (3)布尔检索模型:采用布尔代数和集合论的方法,用布尔表达式表示用户提问,通过对文献标识与提问式的逻辑运算来检索文献。 (4)布尔逻辑运算符:逻辑与(AND)、逻辑或(OR)、逻

信息检索检索 向量空间模型

信息检索检索向量空间模型 一:算法描述 在文本挖掘、搜索引擎应用中,文本的特征表示是挖掘工作的基础,它对文本进行预处理,抽取代表其特征的元数据,这些特征可以用结构化的形式保存,作为文档的中间表示形式。向量空间模型(VectorSpaceModel)是近年来应用较多的文本特征表示方法之一,它是由GerardSlaton等人在1958年提出并发展起来的,是一个关于文献表示的统计模型,具有较强的可计算性和可操作性,已经被广泛地应用于文本检索、自动文摘、关键词自动提取、文本分类和搜索引擎等信息检索领域的各项应用中,并且取得了较好的效果。 文献(document):泛指各种机器可读的记录,可指一篇文章或一个网页,也称为文档。 项(term):亦称索引项,是用来标引被检索内容的关键词等。 项的权重(termweight):对于有n个不同的项的系统,文献D=(t1,t2,,,tn),项 tk(1[k[n)常常被赋予一个数值Wk,表示它在文献中的重要程度,称为项tk的权重。 相似度(Similarity):指两个文档内容相关程度的大小。 确定权重的方法是运用TF-IDF公式,即Wik=tfik/dfk=tfik*idfk,其中tf ik 为特征项Tk在文档Di中的出现频率,称为项频率; dfk则是文档集D中出现特征项Tk 的文档的数量,称为文档频率; idfk为dfk的倒数,称为反转文档频率。

相似度是一个函数,它给出两个向量之间的相似程度。常用的方法有:内积(Inner Product)、余弦(Cosine)。 对于二值向量, 内积是查询式中的词项和文档中的词项相互匹配的数量;对于加权向量, 内积是查询式和文档中相互匹配的词项的权重乘积之和。 余弦相似度计算两个向量的夹角,余弦相似度是利用向量长度对内积进行归一化的结果。 二:数据描述 建立10至15个文件,输入文档集,以供检索。 三:算法参数 文件、项的权重、tf ik、dfk、idfk、相似度 四:实验流程 1.输入文档集; 2.计算词项的特征权重; 3.输入要查询的内容; 4.计算余弦相似度; 5.根据相似度排序,找出相似的文档。

文献信息检索第2章 习题与答案

第2章文献信息检索基础知识 1.简述文献信息检索的定义和类型。 答:1)定义: 文献信息检索就是检索者根据特定的需求,借助于某种检索工具(检索系统),采用一定检索策略、方法和步骤,从信息集合中查找所需文献信息的过程。 2)类型: 按文献信息检索的内容划分:文献检索、事实检索和数据检索 按信息资源检索技术划分:全文文本检索、多媒体检索、超文本检索和网络信息资源检索。 根据检索手段划分:可分为手工检索和计算机检索。 2.概述按文献不同特征的文献信息检索语言的分类。 答:(1)描述文献外部特征的检索语言可简要概述为: 题名——题名索引 著者——作者索引、团体著者索引 报告号索引 外部特征的检索语言文献编号合同号索引 存取号索引 其他——人名索引用文献目录等(2)描述信息资源内部特征的检索语言可概述为: 分类语言 内容特征的检索语言标题词语言 主题语言叙词语言 单元词语言 关键词语言 1

3.了解和掌握《中国图书馆图书分类法》的分类体系。分几大部类和几个大类?计算机网路方面的图书,按《中图法》分类属哪一大类?分类号是什么? 答:《中国图书馆图书分类法》的分类体系共分五大部类22大类;计算机网络方面的图书属于TP类,分类号是TP393。 4.文献信息检索工具的类型有哪些? 答:1) 按文献信息的著录形式划分:目录、题录、文摘、索引;搜索引擎。 2)按文献信息存储介质划分:手工检索工具、计算机检索工具 5.运用布尔逻辑检索技术编写“信息素养对大学生终身学习、自学和创新能力的影响”课题的布尔逻辑检索式。 答:检索式为:信息素养AND(大学生AND(终身学习AND自学AND创新)) 6.文献信息检索的方法、途径分别有哪些?分析课题“自动冲床进料机构的机电一体化技术研究”应选哪种检索方法和检索途径。 答:文献信息检索方法有:直接检索法和间接检索法----循环法、追溯法、常用法(抽查法、逆查法、顺查法) 文献信息检索途径有:分类检索途径、作者检索途径、主题检索途径、题名检索途径、号码途径、引文途径等。 课题“自动冲床进料机构的机电一体化技术研究”的检索方法建议使用间接检索法中的顺查法、循环法;检索途径可使用题名检索或者主题检索。 7.结合“大学生个人理财意识及财商教育研究分析”课题,简述文献信息检索的检索步骤和原文获取的方法。 答:检索步骤: (1)分析课题: 1)文献类型:期刊、学位论文、报纸等文献类型 2)关键词:大学生;个人理财意识;财商教育 3)检索时间:2010-2016年 2

几种信息检索模型比较解读

几种信息检索模型比较 摘要:对信息检索模型研究的主要内容和构建策略进行了描述,给出了几种常用的信息检索模型相关性算法,分析了它们的优缺点,并就存在的问题进行了探讨,总结了信息检索模型的研究现状和发展趋势。 关键词:信息检索模型;相关性;查询;搜索引擎 Abstract:This article described the main contents and the construction strategy of the models of information retrieval,demonstrated a lot of methods in common usages,which is to calculate the model of information retrieval.And in this article,the advantages and disadvantages were analyzed,the problems that is still existing have been researched.In addition,the current situation of this research and the development tendency of the model of information retrieval were deeply summarizad in this article. Keywords:Information retrieval models;Relativity;Inquiry;Search engine 当前,随着互联网的普及和网上信息的爆炸式增长,信息检索系统及其核心技术搜索引擎的性能和效率问题已成为人们研究和关注的焦点。影响一个搜索引擎系统的性能有很多因素,但最主要的是信息检索模型,其研究内容包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制。本文从研究文档与用户查询“相关性”匹配的角度出发,对信息检索模型研究的主要内容和构建策略进行了详细的描述,并给出了几种常用的信息检索模型相关性算法,分析了它们的优缺点及存在的问题,总结了当前信息检索模型的研究现状和发展趋势,其目的在于提高信息检索、查询的性能和效率。 一、构建信息检索模型的策略 当前,构建信息检索模型的主要策略有以下两个: (一)通用的信息检索模型

信息检索考试要点讲解

信息检索考试要点(Word版) 考试题型: 考试分试卷一,试卷二两部分, 试卷一:(客观题80分) (一)单选(20题,20分) (二)多选(20题,40分) (三)判断(20题,20分) 试卷二:(20分) (四)填空题(20空,10分) (五)实务题 1、写检索式(三题,6分) 2、调整检索策略(4分)

第一章绪论 信息素质:在信息化时代,人们认识、利用和创造信息的品质与素养,它是创新人才应具备的素质。 信息素质由信息意识、信息知识、信息能力和信息道德素质四部分构成。 信息:是自然界、人类社会以及思维活动中普遍存在的现象,是一切事物自身存在方式以及它们之间相互关系、相互作用等运动状态的表达。 信息具有客观性、时效性、共享性、价值性、传递性、开发性 知识:是人们在改造世界的实践中所获得的认识和经验的总和,是人的大脑通过思维重新组合的系统化的信息集合。 知识具有意识性、信息性、实践性、规律性、继承性、渗透性 情报:是为了解决一个特定的问题所需要的激活了、活化了的特殊知识或信息。 情报具有知识性、传递性和效用性三个基本属性。 文献:凡是记录有信息或知识的一切载体均为文献。 文献具有三个基本功能:存贮知识、传递信息和交流信息;四个基本要素:知识内容、记录符号、物质载体和记录手段。 文献信息资源类型划分标准: 一、按物质载体和记录形式划分

类型1)印刷型 载体纸张等 记录手段手写、印刷、打印、复印 种类图书、报刊、特种资料等 优点便于阅读及广泛流传,成本低 缺点存储密度低,所占空间大,保管耗较多人力物力,难于实现自动化 类型2)缩微型 载体感光材料 记录手段缩微拍摄 种类缩微平片、缩微胶卷、全息胶片 优点体积小,存储密度高,成本低,传递较为方便 缺点不能直接阅读,需要借助于缩微阅读机,存储要求较高 类型3)声像型 载体磁性、感光材料 记录手段机械装置输入 种类唱片、录音带、录像带、光盘等 优点高密度存储,直观、真切,图文并茂,制作快 缺点不能直接阅读,需要先进的技术设备,制作成本稍高

计算机信息检索02139自考资料

计算机信息检索02139自考资料

第一章信息检索概述 1.信息检索:指将信息按一定的方式组织和存储起来,并根据信息用户的需要找出有关信息的过程。 2.根据检索手段的不同,信息检索能够分为手工检索、光盘检索、联机检索和网络检索。 3.信息检索的基本原理 经过对大量的、分散无序的文献信息是进行搜集、加工、组织、存储,建立各种各样的检索系统,并经过一定的方法和手段使存储与检索这两个过程所采用的特征标识达到一致,以便有效地获 得和利用信息源。 4.信息检索语言 信息检索语言是人们在加工、存储和检索信息时用来描述信息内容和信息需求的词汇或符号及其使用规则构成的供标引和检索的工具。 5.五个信息检索阶段:手工检索、机械信息检索、脱机批处理检索、联机检索、网络信息检索,后 三者统称为计算机信息检索。 6.与手工检索相比,计算机信息检索的特点表现在: (1)速度快、效率高,仅几分钟就能够从成千上万条记录中找到所需信息; (2)检索范围广,能够迅速而方便地浏览相关学科或主题的所有数据库中的记录,在网络中,几乎每一台个人计算机都能够成为信息源; (3)检索不受时空的限制,只要拥有相应的软件和硬件设备,就能够在任何地方借助光盘和通信网络查询所需信息。 7.信息检索的模型:就是运用数学的语言和工具,对信息检索系统中的信息及其处理过程加以翻译 和抽象,表述为某种数学公式,再经过演绎、推断、解释和实际校验,反过来指导信息检索实践。 信息检索的三个经典模型是:布尔模型、向量空间模型和概率模型。 8.信息检索系统是具有信息存储和信息查询功能的一类信息服务设施。 9.信息检索系统是信息检索所用的硬件资源、系统软件以及信息资源集合的总和。 10.数据库由字段、记录和文档构成。 11.根据载体的不同,数据库可分为:联机数据库、光盘数据库和网络数据库三种。 12.信息检索系统评价的核心是检索性能评价。 13.检索性能评价:根据一定的评价指标对实施信息检索活动所取得的成果进行客观科学评价,以进 一步完善检索工作的过程。 评价检索效果的最主要的指标:查全率和查准率。 14.查全率 查全率是指检出文献中合乎需要的文献数量占数据库中存在的合乎该需要的所有文献的比例。 15.查准率 查准率是指检出文献中合乎需要的文献数量占检出文献全部数量的比例。 第二章网络信息检索的方法与技术 1.布尔逻辑检索的主要运算符 布尔逻辑检索的主要运算符有:逻辑与(“AND”)、逻辑或(“OR”)、逻辑非(“NOT”)。 它们分别代表的含义是:(1)逻辑“与”。表示检索结果中必须包含所有的检索词;(2)逻辑“或”。 表示检索结果中只要包含任何一个检索词即可;(3)逻辑非。表示检索结果中一定不能出现“NOT” 后面的检索词。 2.邻近检索 邻近检索是用一些特定的算符来表示检索词与检索词之间的顺序和词间距的检索。 3.短语检索:短语用“”表示,检索出与“”内形式完全相同的短语,以提高检索的精度和准确度, 因而也有人称之为“精确检索” 4.截词检索 是指在检索标识中保留相同的部分,用相应的截词符代替可变化部分。检索中,计算机会将所有含有相同部分标识的记录全部检索出来。截词符一般用“?”或“*”表示,但不同的数据库中有所差别。 常见的截词检索方法有前截词、中间截词和后截词。 5.在信息检索过程中,为了提高查全率或查准率,需要将检索范围限制在特定的字段中,即字段限 制检索。 6.模糊检索:模糊检索是指使用某一检索词进行检索时,能同时对该词的同义词、近义词、上位词、

相关主题
文本预览
相关文档 最新文档