伍佰目录 短网址
  当前位置:海洋目录网 » 站长资讯 » 站长资讯 » 文章详细 订阅RssFeed

处理人类语言 | Elasticsearch: 权威指南 | Elastic

来源:网络转载 浏览:39462次 时间:2023-11-06
请注意:
本书基于 Elasticsearch 2.x 版本,有些内容可能已经过时。 Elasticsearch: 权威指南 » 处理人类语言 «  调试相关度是最后 10% 要做的事情     开始处理各种语言  »

处理人类语言编辑

 

“我认识这句话里的所有单词,但并不能理解全句。”

 
 -- Matt Groening

全文搜索是一场 查准率查全率 之间的较量—查准率即尽量返回较少的无关文档,而查全率则尽量返回较多的相关文档。 尽管能够精准匹配用户查询的单词,但这仍然不够,我们会错过很多被用户认为是相关的文档。 因此,我们需要把网撒得更广一些,去搜索那些和原文不是完全匹配但却相关的单词。

难道你不期待在搜索“quick brown fox“时匹配到包含“fast brown foxed“的文档,或是搜索“Johnny Walker“时匹配到“Johnnie Walker“, 又或是搜索“Arnolt Schwarzenneger“时匹配到“Arnold Schwarzenegger“吗?

如果文档 确实 包含用户查询的内容,那么这些文档应当出现在返回结果的最前面,而匹配程度较低的文档将会排在靠后的位置。 如果没有任何完全匹配的文档,我们至少可以给用户展示一些潜在的匹配结果;它们甚至可能就是用户最初想要的结果。

以下列出了一些可优化的地方:

  • 清除类似 ´^¨ 的变音符号,这样在搜索 rôle 的时候也会匹配 role ,反之亦然。请见 归一化词元
  • 通过提取单词的词干,清除单数和复数之间的差异—foxfoxes—以及时态上的差异—jumpingjumpedjumps 。请见 将单词还原为词根
  • 清除常用词或者 停用词 ,如 theand , 和 or ,从而提升搜索性能。请见 停用词: 性能与精度
  • 包含同义词,这样在搜索 quick 时也可以匹配 fast ,或者在搜索 UK 时匹配 United Kingdom 。 请见 同义词
  • 检查拼写错误和替代拼写方式,或者 同音异型词 —发音一致的不同单词,例如 theirtheremeatmeetmete 。 请见 拼写错误

在我们可以操控单个单词之前,需要先将文本切分成单词, 这也意味着我们需要知道 单词 是由什么组成的。我们将在 词汇识别 章节阐释这个问题。

在这之前,让我们看看如何更快更简单地开始。

«  调试相关度是最后 10% 要做的事情     开始处理各种语言  »

Getting Started Videos

  • Starting Elasticsearch
  • Introduction to Kibana
  • Logstash Starter Guide

官方地址:https://www.elastic.co/guide/cn/elasticsearch/guide/current/languages.html

  推荐站点

  • At-lib分类目录At-lib分类目录

    At-lib网站分类目录汇集全国所有高质量网站,是中国权威的中文网站分类目录,给站长提供免费网址目录提交收录和推荐最新最全的优秀网站大全是名站导航之家

    www.at-lib.cn
  • 中国链接目录中国链接目录

    中国链接目录简称链接目录,是收录优秀网站和淘宝网店的网站分类目录,为您提供优质的网址导航服务,也是网店进行收录推广,站长免费推广网站、加快百度收录、增加友情链接和网站外链的平台。

    www.cnlink.org
  • 35目录网35目录网

    35目录免费收录各类优秀网站,全力打造互动式网站目录,提供网站分类目录检索,关键字搜索功能。欢迎您向35目录推荐、提交优秀网站。

    www.35mulu.com
  • 就要爱网站目录就要爱网站目录

    就要爱网站目录,按主题和类别列出网站。所有提交的网站都经过人工审查,确保质量和无垃圾邮件的结果。

    www.912219.com
  • 伍佰目录伍佰目录

    伍佰网站目录免费收录各类优秀网站,全力打造互动式网站目录,提供网站分类目录检索,关键字搜索功能。欢迎您向伍佰目录推荐、提交优秀网站。

    www.wbwb.net