18143453325 在线咨询 在线咨询
18143453325 在线咨询
所在位置: 首页 > 营销资讯 > 信息时代 > 检索性能评价(数据库)

检索性能评价(数据库)

时间:2022-12-28 18:30:02 | 来源:信息时代

时间:2022-12-28 18:30:02 来源:信息时代

    检索性能评价 : 对信息检索系统的检索结果和用户检索请求的匹配程度,检索结果的完备性、排序等情况进行的评价。由于信息检索的需求是不断变化,无法穷尽的,因此,对检索系统的有限次的检索结果评价只能反映系统暂时的性能,只能得到近似指标。目前常用的评价方案是在公认的测试文档集上,选择有代表性的若干检索请求,在一定的相关性判定准则基础上,通过比较各系统返回结果,得到系统检索性能的评价结论,评价结论常常用一些可度量的评价指标来表示。
检索系统的性能评价中,检索结果和用户请求的相关性判定是非常重要的评价基础,它是一个相对来说比较主观的评价因素,会受多种因素的影响,如: 返回结果的内容是否相关、是否新颖、可信程度、是否可用、使用代价多大等。不同的应用需求会强调其中的不同因素,这就会造成同一个系统在不同的评价体系下,会得出不同的评价结果。实际使用的检索系统中,会提供机制允许用户选择不同的相关性评价因素。相关性评价有二值评价和多值评价两种。前者简单,但不能反映真实的相关性;后者精确,但要考虑消除主观因素的影响。二值评价常用来进行检索系统性能评价,多值评价常用在相关反馈的处理机制中。相关性度量也常常被检索系统用来进行检索结果的排序,以便把用户最需要的内容排列在最前面。
检索性能评价中常用的指标就是查准率(precision,亦译为精度)和查全率(recall,亦译为召回率),这两个指标都采用二值相关性评价体系。查准率是指检索结果中和用户请求相关的结果个数占总返回数的比值;查全率是指检索结果中和用户请求相关的结果个数占文档集中所有相关文档总数的比值。理论上,查准率和查全率指标不存在必然的联系,但在实际系统的测试中,查准率和查全率常常呈反比关系。查准率要求高的时候,查全率就非常低;查全率要求高的时候,查准率一般就比较低。因此,不能仅用一个指标来评价系统,必须把两个指标结合起来,好的检索系统能够获得比较高的查准率同时还有比较高的查全率。
查准率和查全率的一种直观表示是查准率/查全率曲线,横轴是查全率,纵轴是查准率,取值范围都在[0,1]之间。每一个请求都可以画出一条查准率/查全率曲线。查准率/查全率曲线常被用来对比两个系统的检索性能。为了使查准率/查全率曲线具有可比性,可以选择在固定的查全率点上计算系统的检索精度的方法,来统一查准率/查全率曲线的画法。这些点分别在0到1之间,每隔0.1刻度设置一个查全率点,共计11个测试点。一个系统对所有检索请求的平均查准率/查全率曲线反映了这个系统的实际性能。一般来说,检索性能较好的系统的查准率/查全率测试曲线应该在图上处于相对较高的位置。
根据具体应用需求的不同,检索性能评价在查准率和查全率指标的基础上,还派生出许多其他的评价指标。当测试文档集非常巨大的时候,如基于Web提供检索服务时,检索系统的查全率会非常难以计算。一种替代的方法是计算返回结果中前n个结果的精度来评价检索系统的性能,称为P@n精度,常用的是P@10。这个指标的现实意义在于人们在对诸如Web这样海量文档库进行检索,一个请求会返回成千上万个可能的检索结果,无法逐一浏览。因此,只有前面返回的少量检索结果对用户来说有意义。
目前,一些国际、国内的信息检索领域会议,提供检索系统的性能评测比赛以促进检索技术的进步和实用化。最著名的信息检索评测国际会议是文本检索会议(text retrieval conference,TREC),每年举行一次。TREC把信息检索划分成不同的技术领域,这也反映了目前信息检索技术的发展方向。

关键词:数据,评价

74
73
25
news

版权所有© 亿企邦 1997-2022 保留一切法律许可权利。

为了最佳展示效果,本站不支持IE9及以下版本的浏览器,建议您使用谷歌Chrome浏览器。 点击下载Chrome浏览器
关闭