本文来自“深度推荐系统”专栏，这个系列将介绍在深度学习的强力驱动下，给推荐系统工业界所带来的最前沿的变化。本文则结合作者在工作中的经验总结，着重于介绍在推荐系统中如何使用腾讯AI Lab开源的中文词向量。
近年来，深度学习技术在自然语言处理领域中得到了广泛应用。用深度学习技术来处理自然语言文本，离不开文本的向量化，即把一段文本转化成一个n维的向量。在当前“万物皆可embedding”的思想领导下，词向量既是NLP领域中一个非常基础的工具，也是推荐、广告等业务场景中用于召回以及排序等阶段的简单且实用的核武器，主要用于进行语义相似度度量等。
词向量的核心是word2vec[1]，相应原理介绍不是本文介绍的重点。常用的训练工具有gensim，fasttext等，一般的训练步骤包括：收集语料 --> 文本过滤 --> 分词 --> 去除停用词 --> 训练模型。
目前，针对英语环境，工业界和学术界已发布了一些高质量的词向量数据，并得到了广泛的使用和验证。其中较为知名的有谷歌公司基于word2vec算法[1]、斯坦福大学基于GloVe算法[2]、Facebook基于fastText项目[3]发布的数据等。然而，目前公开可下载的中文词向量数据还比较少，并且数据的词汇覆盖率有所不足，
腾讯AI Lab开源中文词向量
腾讯AI Lab采用自研的Directional Skip-Gram (DSG)算法 [4] 作为词向量的训练算法。DSG算法基于基本的Skip-Gram，在文本窗口中词对共现关系的基础上，额外考虑了词对的相对位置，以提高词向量语义表示的准确性。