您当前的位置: 首页 > 体育

搜索引擎判定相似文章网页的原理大解析7z

2019-01-31 07:35:40

在上一篇文章中已经详细的介绍了利用TF-IDF算法自动提取文章关键词的原理。接下来,我们再来研究一下另一个相关的问题。这个问题也是我们做SEO的关心的,有些时候,我们除了要明白如何找到并提取文章关键词,我们还需要找到与原文章相似的其他文章。比如,我们平时在搜索引擎的栏目下搜索某条的时候,在主下方,还提供了多条相似的。如下图所示:

为了找出相似的文章,我们就需要用到另外一个公式原理了,那就是余弦相似性(cosine similiarity)。

一、什么是"余弦相似性"?

余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值定西治牛皮癣医院排行榜是1,而其他任何角度的余弦值都不大于1;并且其小值是-1。从而两个向量之间的角度的余弦值确定两个间。

值得注意的是余弦相似度可以用在任何维度的向量比较中,它尤其在高维正空间中的利用尤为频繁。例如在信息检索中,每个词条拥有不同的度,一个文档是由一个由有权值的特征向量表示的,权值的计算取决于词条在该文档中出现的频率。余弦相似度因此可以给出两篇文档其主题方面的相似度。

二、搜索引擎是如何判定相似文章的?

下面,马海祥还是以举例子的方式来说明如何才能找出相似文章?

为了简单起见,我们先从句子着手。

句子A:我喜欢看电视,不喜欢看电影。

句子B:我不喜欢看电视,也不喜欢看电影。

那么我们怎样才能计算出上面两句话的相似乙肝阳患者接吻传染程度呢?

马海祥建议的基本思路是:如果这两句话的用词越相似,它们的内容就应该越相似。因此,可以从词频入手,计算它们的相似程度。

第1步:分词

句子A:我/喜欢/看/电视,不/喜欢/看/电影。

句子B:我/不/喜欢/看/电视,也/不/喜欢/看/电影。

第2步:列出所有的词

我,喜欢,看,电视,电影,不,也。

第3步:计算词频

句子A:我 1,喜欢 2,看 2,电视 1,电影 1,不 1,也 0。

句子B:我 1,喜欢 2,看 2,电视 1,电影 1,不 2,也 1。

第4步:写出词频向量

句子A:[1, 2, 2, 1, 1, 1, 0]

句子B:[1, 2, 2, 1, 1, 2, 1]

到这里,问题就变成了如何计算这两个向量的相似程度。

我们可以把它们想象成空间中的两条线段,都是从原点([0, 0, ...])出发,呼和浩特那里治癫痫好指向不同的方向。两条线段之间形成一个夹角,如果夹角为0度,意味着方向相同、线段重合;如果夹角为90度,意味着形成直角,方向完全不相似;如果夹角为180度,意味着方向正好相反。因此,我们可以通过夹角的大小,来判断向量的相似程度。夹角越小,就代表越相似,如下图所示:

注:相关站建设技巧阅读请移步到建站教程频道。

烟囱维修公司
电子回收
混凝土喷浆管
DVI光端机价格批发
山东滑模摊铺机厂家
众邦电缆厂家
推荐阅读
图文聚焦