一文彻底搞懂Embedding
Word2Vec是一种宽泛经常使用的词嵌入(Word Embedding)技术, 它能够将单词示意为高维空间中的密集向量,从而捕捉单词之间的语义和语法相关。 Word2Vec重要蕴含两种模型:Skip-Gram(跳字模型)和CBOW(Continuous Bag of Words,延续词袋模型)。
Skip-Gram与CBOW模型的重要差异在于训练形式:Skip-Gram 经过核心词预测高低文词汇 ,相似于 “由点及面” 的裁减;而CBOW则是 应用高低文词汇预测核心词 ,相似于 “由面定点” 的填充。 前者器重于从部分到全体的推理,后者则强调全体对部分的反映。
一、Word2Vec
一种基于神经网络的词嵌入技术,它的指标是将单词映射到实数向量空间中,使得语义相似的单词在向量空间中的距离较近。 这种映射是经过在大规模文本语料库上训练神经网络模型来成功的。 Word2Vec经过学习单词的共现消息,能够在向量空间中模拟出无心义的语义相关,似乎义词、反义词等。
实质是一个神经网络模型,目的是经过模型训练学习失掉一个矩阵(Matrix C),一个示意词与词之间关联相关的矩阵。
二、Skip-Gram
Skip-Gram(跳字模型):Skip-Gram模型经过给定的核心词来预测其高低文中的单词。详细来说,关于文本中的每一个单词,Skip-Gram模型将其视为核心词,并尝试预测该词周围必定窗口大小内的其余单词(即高低文单词)。
Skip-Gram模型似乎一个词汇侦探,经过核心词“线索”去“追踪”并预测其周围的高低文词汇,以此构建词汇间的语义网络。
Skip-Gram模型训练: 经过遍历文本中的核心词及其高低文,经常使用核心词词向量预测高低文单词散布,计算预测与实在散布间的损失,并应用反向流传降级模型参数与词嵌入矩阵,以提升词向量示意。
三、CBOW
CBOW(延续词袋模型): CBOW(Continuous Bag of Words,延续词袋模型)与Skip-Gram雷同,CBOW模型 经过给定的高低文单词来预测核心词 。详细来说,关于文本中的每一个核心词,CBOW模型会将其周围必定窗口大小内的其余单词(即高低文单词)作为输入,并尝试预测该核心词。
CBOW模型相似于一个初级的完型填空游戏,其中高低文中的词汇(已知选项)被用来“填空”预测出缺失的核心词(答案),从而提醒词汇间的语义咨询和形式。
CBOW模型训练: 经过遍历文本中的核心词及其高低文,经常使用核心词词向量预测高低文单词散布,计算预测与实在散布间的损失,并应用反向流传降级模型参数与词嵌入矩阵,以提升词向量示意。
原文链接: