提示：

信息检索：文档评分-词项权重计算-向量空间模型

 第四部分：向量空间模型

文章目录

向量空间模型关联矩阵文档表示成向量Queries表示成向量向量相似度计算欧式距离？利用夹角代替距离文档长度归一化余弦相似度(query,document)※余弦相似度计算举例

---

向量空间模型

关联矩阵

二值关联矩阵：词项-文档

词频矩阵：词频-文档

权重是前面的tf-idf权重：

文档表示成向量

|V|维向量空间，每一维都对应词项，文档是空间的点或向量。

维度相当大，对于互联网来说，甚至达到千万维或更高。

向量空间非常稀疏，几乎都是0.

Queries表示成向量

■关键思路1:对于查询做同样的处理，即将查询表示成同一高维空间的向量

■关键思路2:在向量空间内根据queries与文档向量间的距离来排序

向量相似度计算

欧式距离？

计算两个向量终点之间的距离：

不能采用欧氏距离，从上图分析，欧氏空间对距离十分敏感，q与d2欧氏距离很远，但它们实际分布很接近。

利用夹角代替距离

文档长度归一化

就是把文档向量，变成单位向量呗，长度就不会影响相关性比较了，上面的文档d和d‘就相等了。同一个向量表示就可以了

L2范数：

向量除以L2范数就是长度归一化。

文档长度差异就不会影响到相关性的比较了。

余弦相似度(query,document)

观点等价于夹角递减排序

[0,180]区间内，cosine是单调递减函数。

cos(q,d) q,d的余弦相关性等价于q,d夹角余弦值。

长度归一化后：

※余弦相似度计算举例

词项频率tf—>词项频率tf取对数—>长度归一化—>计算

文档-词项频率tf关联表如下：文档(sas,pap,wh)

把query表加入上述表之中，分别计算query和其他文档的cosine值，那么就能得出，其他文档与query的相关度