介绍算法集锦 上
【.com原创稿件】
1.长尾效应?跟生物尾巴有相关?
讲完介绍系统的分类和配置后，在这我有必要对其中的一个名词“长尾效应”启动完整的解释。长尾效应在百度百科上解释为“从人们需求的角度来看，大少数的需求聚集中在头部，而这局部咱们可以称之为盛行，而散布在尾部的需求是共性化的，零散的小量的需求。”但不要小瞧尾部的需求，由于盛行的头部种类毕竟有限，而尾部的种类单一，即使需求量小，然而聚集在一同，全体需求不必定低于盛行头部的需求。这就好比千千万万的小溪流聚集在一同或许会胜过湖泊甚至大海。长尾效应在数学模型曲线上示意为一条正太曲线，如下图所示：(在这我举例示意:头部为大厂手机品牌公司，尾部为小厂品牌手机公司)
如上图所示，只管大厂品牌(苹果、三星、华为等)的手机开售额各自都在前几名，然而总的开售额,也就是蓝色图形面积比黄色图形面积要小得多，而黄色图形则示意的都是小品牌商(锤子、一加、魅族、中兴等)的手机开售额总和，它们加在一同的开售额是十分可观的，也验证了一句话“人多力气大”的情理。因此，在设计介绍系统的时刻，一边要保障大厂品牌的开售额，然而千万不能疏忽小厂品牌。介绍的商品可以跟大厂品牌相关度更高，也要不时开掘客户的潜在兴味，介绍一些小厂品牌的手机种类，只要这样能力缓解甚至处置“长尾效应”。只要这样，能力使设计出的介绍系统愈加默认化、兽性化，增强用户的满意度和粘性。
2.介绍系统及算法开展历程和钻研现状?
解释了“长尾效应”，接上去就要开局进入介绍系统真正的外围内容——介绍算法。首先看下介绍系统的开展历程和如今的钻研现状：
在1995年3月，美国人工默认协会上提出了共性化导航系统，斯坦福大学的钻研者们也在同一会议上推出了共性化介绍系统LIRA;之后的多年期间里，泛滥公司和大学钻研所纷繁投入钻研介绍系统，先后推出了共性化入口、基于协同过滤的共性化介绍系统以及共性化介绍电子商务平台;而我国开局钻研介绍是在2009年之后，国际首个介绍系统科研团队成立百分点消息科技有限公司;随后在百度环球大会2011上，百度将介绍引擎与云计算、搜查引擎并列为互联网关键战略布局和方向。随着介绍引擎的发生，用户失掉消息的方式也从繁难的指表明白性数据搜查转换到了愈加合乎人们搜查习气的消息查问。如今大部门电子商务或许社交网站的介绍引擎用到的上班原理是基于东西或许用户的相似汇合启动介绍。而干流的介绍算法模型依旧是基于协同过滤来成功介绍。因此，我将先从协同过滤算法来剖析来一步步引出其余的介绍算法，从而来让读者有个墨守成规的了解环节，并能够基本掌握每一种介绍算法的优缺陷，真正做到区别剖析每一个算法和经常使用环境。
3.介绍算法中的“老顽童”——协同过滤算法
协同过滤算法为什么称之为老顽童呢?想必大家应该知道“老顽童”的特性，首先他要年龄大，这也对应到协同过滤算法是最早用于介绍系统的算法，齐全算得上是一个算法中的“老晚辈”;其次“老顽童”得坚持年轻的心态，紧跟时代潮流，并且跟年轻人玩到一块去，这也对应上协同过滤算法依然是目前最为盛行、经常使用最为宽泛的介绍算法。可以这么说，目前市面上超越半成的介绍系统依旧依托的是协同过滤算法，并且全体介绍效果不亚于新钻研进去的其余介绍算法，并且协同过介绍算法的性能最为稳固，只需提到介绍系统，第一个出如今咱们脑海里的算法就是协同过滤。所以，不得不说协同过滤算法是经典的、不过期的，是介绍算法中的十足“老顽童”。上方就让咱们来意识下这位“老顽童”。
协同过滤(CF,CollaborativeFiltering)的关键思维就是应用与用户具备相反兴味或许历史行为的其余用户群，经过剖析这些用户群目前的喜好或许行为消息来预测用户或许喜欢的东西或许或许发生的行为，说白了就是一句短语：“物以类聚，人以群分”。举个例子，A用户喜欢看喜剧类的电影如喜剧之王、西红柿首富、疯狂的石头号，并且在近期都看过，而B用户和C用户也喜欢看喜剧类电影且近期也看过上方三部影片，这时刻B和C可以划分为与A具备相似兴味的用户群，经过B和C接上去看的影片或许曾经看过而A没看过的影片就可以作为A用户的介绍预测影片。这种介绍算法很间接也很繁难，在实践运用中往往能取得不错的介绍效果。这类介绍算法关键运用场景是在线批发系统，我之前上班的互联网批发公司就是运用这个算法，它的目的是启动商品促销和提高东西开售额。
这类算法输入的是一个用户—东西评分矩阵，而输入的数据可分为两类：一类是用户对东西喜欢成都的预测数值，一类是前N项的介绍东西列表，当然，这个列表不能蕴含用户曾经购置过的东西。而协同过滤算法最关键也是最基础的成功方式有两种：基于用户的最近邻介绍和基于东西的最近邻介绍。原理就是依据用户对东西或许消息的偏好，发现东西自身的相关性或许发现用户之间的相关性，再基于相关性按水平得分启动排序介绍。
4.CF-基于用户的最近邻介绍
4.1 基于用户最近邻介绍的关键思维
基于用户的最近邻介绍(user-based nearest neighbor recommendation)关键思维是：
(1)将输入的评分数据集和用户ID作为输入，经常使用皮尔逊相相关数来示意两个用户之间的相关性，找出与用户过去行为历史具备相似行为或许偏好的K个其余用户，这些用户也叫平等用户或许叫最近邻;
(2)计算出用户和其余用户的相关性后，对用户未购置或许未见过的每个东西，应用用户的K个近邻对东西的评分启动预测，构成东西评分排序表;
(3)选用所需数量且东西评分最高的几个东西介绍给用户。
当然基于用户的最近邻介绍算法也有自己经常使用的前提，那就是假设用户过去有相似的偏好，那么该用户在未来还得会有相似的偏好，也就是用户的偏好不会随着期间变动。在这样的前提下，经常使用基于用户的最近邻介绍最为正当，介绍效果也会较为满意。
4.2 皮尔逊相相关数
在失掉用户最近邻的时刻不得不触及到前面提到的皮尔逊相相关数，这个系数是用来求解用户之间相关性的公式，如下所示：
皮尔逊系数(Pearson CorrelationCoefficient)示意两个用户之间相关性时，取值范围为[-1,+1]，其中-1强负相关，+1示意强正相关，0示意不相关。公式为：
经常使用皮尔逊相相关数要求两个变量之间的规范差都不能为0，只要这样，该相相关数才有定义。该系数通经常常使用在以下的变量环境：
(1)两个变量之间是线性相关，并且都是延续的;
(2)两个变量的总体是正太散布的或许是单峰散布;
(3)两个变量的观察值是成对的且每对观测值是相互统一的。
当计算出用户的相关性后，就可以选用出最相似的N个近邻用户计算对东西的评分预测值，也就是说N个近邻用户对东西均有评分值，评分预测公式如下：
4.3基于用户最近邻介绍案例
最终失掉用户关于东西的预测评分为 ，关于该局部公式，经过举例来协助广阔读者便于了解：
例如用户—评分矩阵如下表所示，咱们来基于这个评分矩阵计算出小明关于东西F的评分：
(1)首先经过皮尔逊相相关数计算出小明与其余四位用户的相似度数值，由于计算环节是一样的，在这我仅计算小明与小赵之间的相似度，读者感兴味可自行模拟环节计算小明和其余用户的相似度。
(2)小明的评分均值为 =(10+6+8+8)/4 =8,小赵的评分均值 =(6+2+4+6+6)/5 =4.8，可得：
同理可得小明和小李、小王、小张之间的相似度区分为0.71,0.00，-0.89。假定选定N的参数为2，则由相似度数值可知与小明相似度最高的两位区分是小赵和小李，雷同可以从折线图中比拟直观地观察出相似度状况,折线图如下所示：
因此选取小赵和小李对东西F的评分来预测小明关于东西F的评分值，可得：
所以预测小明关于东西F的评分为9.75。
5.CF—基于东西最近邻介绍
5.1 基于东西最近邻介绍思维
基于东西的最近邻介绍(item-based nearest neighborrecommendation)的思维是基于东西之间的相似度，而不是基于用户之间的相似度来启动评分值预测。
5.2 余弦相似度
在基于东西的最近邻介绍算法中通常驳回余弦相似度来计算两个东西之间的相似度，相似度取值范围为[0,1]，值越凑近1，相似度也就越高。当然也可以驳回皮尔逊相相关数来计算东西之间的相似度，这就要求将上方用到的皮尔逊相相关数公式里的用户评分均值改为东西评分均值了，计算环节仍是一样的，在这就不赘述了。为思索用户评分平均值之间的差同性，普通都经常使用改良余弦相似度公式来计算相似度，经过改良余弦相似度来在评分值中减去平均值，这样使得最终的取值范围跟皮尔逊相相关数的取值范围分歧，也为[-1,+1]。改良余弦相似度公式如下：
雷同地，在计算出东西之间相似度后，选用出最为相似的前N个东西，用上方公式来预测用户对东西的评分为：
5.3 基于东西最近邻介绍案例
雷同用之前的案例评分矩阵启动计算，为了计算繁难，将上述的用户—东西评分矩阵调整成均各自减去均值的评分矩阵，这样就省略一些不用要的计算，便于上方公式的计算，驳回均值调整后的用户—评分矩阵如下表所示：
由改良余弦相似度公式可计算东西A和东西F之间的相似度为：
同理可计算出东西F与东西B、东西C、东西D之间的相似度区分为：-0.94,0.35，-0.48。
雷同地假定选定参数N为2，则由东西F与各东西之间的相似度数值可知：与东西F相似度最高的两位区分是东西A和东西C，雷同可以从折线图中比拟直观地观察这几个东西的
相似度状况,折线图如下所示：
因此选取东西A和东西C评分来预测小明对东西F的评分值，可得：
所以可预测出小明关于东西F的评分为9.36。
5.4 一个小疑问?
由上可知，由东西评分矩阵可计算各个东西之间的相似度，从而可失掉各个东西之间的相似度矩阵。这是离线计算出每一个东西之间的相似度，然而实践运用中触及到的东西是数以亿计的，而失掉的评分矩阵或许相似度矩阵则是亿级*亿级的矩阵。假设驳回离线计算，则要求几百G的内存去存储离线计算的结果。并且假设是实时计算的话，计算环节基本曾经满足不了实时的要求了。因此必需思索这个疑问，所以在实践运用中通常是提早计算出各个评分矩阵的相似度，将各个东西和相似度数值以的格局存储到redis中去，而后实时调用即可。当然假设寄存到相关型数据库也是可以的，这样简便的就可以用SQL语句来查问修负数据了。至于采取什么方式存储，就要求依据实践运用场景来考量了。
基于东西的最近邻介绍是可以驳回离线数据估量算的，原理就是先构建一个东西相似矩阵用来形容两个东西之间的相似度。等到线上运转时，经过确定与东西最相似的其余东西来计算用户对这些近邻东西评分的加权总和从而失掉用户对东西的预测评分;近邻东西的数量可以先剔除无用户评分的东西，所以受限于用户有评分的东西个数，使得计算预测值的环节在线上交互环节可以短期间成功。当然，这种离线数据预处置的方式也实用于基于用户的最近邻介绍，然而在实践状况中，两个用户堆叠评分的状况很少，以致于其余的【评分值就会影响到最终用户间的相似度计算。也就是说，基于东西之间相似度比基于用户之间的相似度愈加稳固，这种方式就不会扭转东西之间的相似度。
6.近邻介绍方法的好处
协同过滤算法是基于用户还是基于东西，都是驳回近邻方法成功介绍，这种基于近邻方法介绍的好处有以下几个：
(1)繁难性：算法成功环节繁难，并且在计算环节中只要一个近邻数参数启动调整，容易启动修正调整;
(2)稳固性：当构建完相似度矩阵之后，假设有一个新用户或许新东西具备评分的话，只要求计算这个新用户或许新东西与其余用户或许东西之间的相似度就可以成功相似度矩阵的降级操作，不至于影响到其余用户或许东西之间的相似度数值;
正当性：这种预测方法解释性较强，关于预测介绍提供了繁复直观的理由;
(3)高效性：基于近邻方法的介绍效果相对较高，由于可以启动离线数据预处置，提早构建出相似度矩阵，从而在实践运用环节中提供近似于实时的介绍结果，具备良好的实时性能。
当然，除了近邻介绍方法的好处以外，必需有它的局限性或许说是劣势，在某些状况下发生的介绍效果十分差或许说不可成功介绍。这些局限性和劣势我放在后续文稿中说明来引出其余介绍算法，由于这样能力比拟明晰明了的掌握每个介绍算法的由来以及它的用途，由于任何一个介绍算法钻研进去必需是要求处置一个疑问或许填补上其余一些算法的破绽，来让自己的好处愈加突出。所以在这里就不赘述基于近邻介绍方法的劣势了。
7.谈谈评分矩阵和评分?
说完基于协同过滤算法或许说基于近邻介绍算法，不知道读者有没有发现上述环节中有一个最基本的计算前提，那就是用户评分矩阵和东西评分矩阵。那么评分从哪里来，有了泛滥评分，构建评分矩阵就不是疑问了。所以在这我要求额外说明下评分的由来，回答一些读者的疑虑。
在协同过滤(CF)算法中，输入的是用户—东西评分矩阵，所以构建用户—东西评分矩阵是协同过滤算法的一个重点。评分普通在计算中驳回两分制、五分制、七分制和十分制四种。搜集用户对东西评分的方式关键是以下两种：
(1)显式评分：也就是间接可以看到的、直观的数值评分，它是经过问卷考查方式来搜集用户对某些商品的评分，例如你阅读一个商品或许登陆一个阅读器时通常会弹出一个界面，让你某个商品或许某个网站内容启动打分，这就是在失掉你关于这个商品或许网站的评分。这种评分会被记载上去用于之后网站向你介绍相关评分较高的内容或许商品。这种显式评分的数据是比拟准确的，缺陷就是很难失掉到，由于大少数用户是看不到对自己有益的事件，普通不会去糜费自己期间去提供评分;
(2)隐式评分：这个就是记载用户购置或许阅读历史行为，来成功数值不等的评分计算。当用户购置一个商品或许阅读一个商品时，就可以以为该用户对这个商品是感兴味的，并且可以经过用户在该商品的阅读逗留期间来判定用户的感兴味度，逗留期间越长，感兴味度越强，评分也就越高;相反，逗留期间越短，感兴味度就越弱，评分就越低甚至为0。这是一个正向评分或许正向用意，依据既定的规定来将其转换成评分值。这种方式的好处就是能够搜集到足够多的评分数据，来丰盛用户—东西评分矩阵;缺陷就是很难保障失掉的用户评分的准确性，并且会遭遭到恶意用户的阅读行为，以致于失掉到的评分并不能很好的代表用户用意或许兴味度。
8.总结
基于协同过滤算法来成功介绍的关键方法就是驳回最近邻介绍，最近邻的选用包括最近邻用户(平等用户)和最近邻东西(平等东西)，这种方法是最经典、效果是较为稳固的、市面上较为普遍经常使用的介绍方法。所以，设计任何一个介绍系统都必要求先了解协同过滤算法。至于是基于用户最近邻介绍还是东西最近邻介绍就要看读者经常使用场景了，关键取决于评分矩阵的稀疏度，选用的评分矩阵越丰盛，失掉的介绍效果普遍较好。
9.几点思索?
有了上述文章的铺垫，不知道读者有没有思索到协同过滤算法的劣势在哪?或许说有没有协同过滤算法经常使用有效的场景?并且上方提到的评分矩阵疑问，当用户对东西评分较少或许说简直不评分所造成的评分矩阵过于稀疏时，该如何对评分矩阵启动处置来成功介绍?同时，在评分矩阵浓密时，只管可以用上述讲到的Redis的键值对来存储离线预处置相似度数值，这样可以处置了存储疑问，然而实践要求实时计算的数据依然是数以亿计的，这就造成算法的期间复杂度不太失望，有没有什么方法可以处置这个疑问，既保障了介绍效果，又能更大的降落该算法的期间复杂度?这些思索都是咱们在设计介绍系统要求考量的，我将会在后续文稿中启动论述，引见其余的介绍算法，来逐一处置以上几个疑问。
