OPPO智能增长算法外围架构与运行
一、行业背景
智能手机行业作为典型的配件制作业，与群众生存毫不相关。
国度统计局统计显示手机上网人数10.65亿人，还未手机上网的普通是未成年、老年人，手机行业简直没有增量。在存量用户需求端，用户的换机周期越来越长。去年和前年的对比，1-2年的持机用户占比从15%降低到13%，2~3年的用户占比从28%降低到22%，3~4年的用户占比从24%参与到28%，4年及以上的用户占比从28%参与到31%。
从供应端看，20年、21年阅历了供应内卷，一切厂商都在疯狂出新品，竞争残余的增量。去年新品数量复原到19年水平，但是上市2年以上的机型逐年降低，关键要素或许是老机型产品没有竞争力，自愿分开市场。进入23年，国际安卓营垒竞争愈加猛烈，在微博、B站等社区都能看出战场痕迹。
随着智能手机风口过去，手机公司或许面临许多应战。普通来说，它们可以从以下四个方向来应答这些应战：
第一个方向是拓展低价值市场，例如海外兴旺国度或国际上流市场。
第二个方向是加入手机的附加值，例如优化手机互联网服务的平均用户支出（ARPU）。
第三个方向是参与新的运营主线，例如拓展智能穿戴设备或汽车行业。
第四个方向是优化渠道效率和营销形式，例如参与成果营销，或经过线下和线上渠道的互补来促成用户的粘性。
OPPO在过去两年的智能增长探求中，关键积攒了第三和第四个方向上的阅历。接上去将分享相关的增长战略。
二、算法架构
近年来，在深度学习的推进下，各行业的智能算法架构基本上都驳回TensorFlow或PyTorch作为底座，以此为基础启动构建，降低了技术门槛，同时享遭到了技术红利，做出有行业特征的翻新和长处。就手机行业而言，它既领有互联网巨头的数据长处，又面临着制作业智能变革的应战。
以下是OPPO团队的全体算法架构。手机增长的算法架构关键包括基础数据、数据树立、特征画像、模型树立和运行场景这五个局部。
基础数据方面，手机增长算法所需的关键数据包括：
为了优化数据复用效率和扩展性，要在基础数据的基础上，做一系列规范化、规范化处置，再基于手机的流转相关抽取用户的流转相关图。这里的人造人是形容手机和人造人的映射相关。成功数据树立后，特征画像的树立和业界大少数做法比拟相似，包括实时统计类、实时序列类、内容了解、用户常年画像，不过也有一局部是行业特有的，手机流转画像和营销节点画像，关键描写手机市场的竞争相关和因应手腕。
在模型树立方面，咱们驳回了以下方法：
这些模型和算法的运行场景包括以下几个方面：
以上就是OPPO算法层面的全体架构。
从工程层面，咱们看下怎样处明智能变革的技术打算。最最侧的智选模块，成功算法场景的智能接入。手机增长触及的链路很长，比如重新机卖点洞察、人群营销洞察、新机预热、首销、促销，并且每个链路的场景很多，智选关键满足了场景极速接入的需求，并且解耦运营、工程、算法，撑持算法专一在成果优化上。营销云关键用于素材生成、广告投放治理、剖析监控。两边引擎模块是介绍引擎，经过召回、粗排、精排、重排、战略算子的自在组合，满足定制化需求。为了进一步优化引擎的灵敏性，咱们对多样性、多目的、重排、战略模块做了DSL变革，撑持团队的算法探求。另外由于机器老本的解放，上方的很多步骤在经常使用时都可以0老本的插拔，以降低提前、优化吞吐。
上述算法架构关键是基于OPPO的Andes智能云成功的。得益于智能云的基础设备的灵敏性和易用性，咱们在协作方面，特意是跨团队、跨部门和跨系统的协作上领有较好的处置打算。
三、运行场景
接上去将分享4 个详细的运行场景案例，第一个案例是基于 AIGC 的内容供应；第二个案例是在商城中，基于多场景、多目的、多模态的介绍；第三个案例是基于因果推断的精准人群定位；第四个案例是在手机行业里的广告精准营销。
1、第一个运行场景:基于AIGC的内容供应
首先，咱们看法到在非算法畛域或传统制作行业中，业务团队或许须要一些科普才干了解内容供应的关键性。因此，咱们与业务同伴协作时驳回了讲情理和数据展现的方式，在一些小的场景中经过实验验证了扩展内容供应量的优势。咱们观察到，经过参与内容供应量，可以清楚提高点击率，取得15%的点击率优化，从而达成了共识。
另一个应战是供应效率和人力老本。最后，内容供应的流程依赖于人工，即设计师输入一些素材，经过安保检查后投放到线上。这个环节相对低效。为此，咱们团队启动了第一次性变革，驳回工程模板制图的方式。这样，内容供应的流程出现了扭转：设计师集中精神在模板创作上，而后经过模板生成少量候选素材，经过初审和安保检查后启动投放。经过这次变革，每天初审的内容数量清楚参与。但是，也出现了新的疑问：模板的重复率较高，生成的候选素材信息量无余，容易让用户感到千篇一概。
目前，随着AIGC技术的始终成熟，咱们调研了AIGC的相关打算，并发现该技术实践上可以参与模板的创作难度同时参与信息量。因此，咱们与相关的团队协作，引入AIGC技术来参与素材创作的信息量，以优化用户体验。
目前，咱们经常使用的AIGC模型关键是CLIP模型，它的关键思绪是经过少量的图像数据和文本数据启动模型预训练，使模型能够了解图像和人造言语之间的对应相关，从而成功跨模态的语义推理。为了成功这个目的，咱们生成模型的框架触及两个组件。第一个是图像编码器，基于Transformer架构，将图像特征转化为Embedding向量。第二个是文本编码器，基于VILT架构，将人造言语转化为特征向量。基于这两种向量，咱们联合交叉熵学习和对比学习的方法，启动模型的训练。在预训练阶段，咱们参考了一些开源数据和OPPO私有的图像和文本数据，并在Andes智能云的GPU集群上启动训练。
在生成局部，咱们经过了屡次尝试，以使AIGC输入的内容合乎广告投放的需求。目前发现，经过参与关键词、卖点、营销话术、图文格调、负面反应以及图像细节的揭示，可以有助于生成素材。最右侧的示例展现了却合素材和模板生成的最终结果，其中背景图就是一个例子。
2、第二个运行场景:多场景、多目的的多模态介绍
如上图所示，咱们目前的业务场景关键是在商城界面启动介绍。例如，在的横幅广告局部、格子位、瀑布流推送以及积分、社区、活动券发放等场景中启动介绍。
在算法接口方面，咱们曾经接入了近几百个业务场景，须要关注点击率、转化率、GMV等业务目的。同时，手机行业内存在人力解放，这对算法提出了不同的需求。
咱们一开局就驳回了跨场景多目的的模型打算来启动介绍，随着场景的参与，咱们始终对模型启动迭代优化。起初，咱们还参与了一些非产品内容的介绍，例如社区、视频等。此外，关于内容素材的需求，咱们也须要在多模态模型中引入一些新的才干。
经过始终迭代，咱们的模型如上图所示。左侧局部是多模态的了解，模型关键基于ViLT的结构。经过对比发现，经过业务数据微调的ViLT模型比地下的ViIT模型成果更好。咱们启动了少量的剖析，发理想际业务场景的数据与地下数据集存在较大差异，特意是在营销话术等垂直畛域方面。右侧局部是介绍模型，该模型结构融合了最新论文的停顿。底层模型关键基于历史行为、高低文和候选物料三个局部。关于候选物料，咱们目前驳回对应的多模态预训练特征。实时统计的行为会经常使用Encoding 的方法启意向量化示意，而高低文内容咱们会额外区分场景和domain特征启意向量化。
在多模态多感场景感知模块中，咱们关键经常使用Transformer和场景专属的方法。在最下层，咱们为目的设置了专门的tower，最终失掉目的的比例结果。经过测试对比，咱们发现引入AITM的多目的校准方法可以取得必定的收益。在多目的层面，与传统电商相比，咱们会参与更多的目的，这与行业特点无关。例如，在手机行业中，每个用户或许须要两三年才会改换手机，这造成转化率很低。同时，换机用户中复购的比例也较低。因此，为了准确捕捉用户的换机用意，咱们须要参与其余目的来辅佐发现用户的用意，例如评论检查、时长相关和商险相关的目的。失掉这些目的后，咱们经常使用近似排序公式计算得分，该得分是各个目的的连乘结果。同时，每个目的遭到三个超参数α、β、γ的解放，目前这些超参数经过团圆超参模型学习失掉。
经过屡次迭代，包括参与更多目的、引入多模态、优化超参数等措施，相较于原有模型，咱们在转化率（CVR）上取得了累计20%以上的收益。
3、第三个运行场景:基于因果推断的精准人群
手机行业中的“精准人群”概念与电商平台的划分有所不同，这是由于用户购置手机的行为具备不一样的特点。举个例子，假定用户A，他或许会选用继续购置品牌的手机，也或许会换到其余品牌。关于已购置品牌的用户，他们或许有两种行为，一种是自己经常使用手机（留存），另一种是赠送给他人。但是，由于线上和线下数据的隐衷安保等疑问，手机公司只能失掉到局部购置和换机的数据。手机行业的增长目的是经过现有数据识别出购机和留存用户，并经过营销活动参与商品的粘性。这就是精准人群的背景场景。
因此，在算法团队启动人群建模时，关键关注两个目的：准确率和召回率。通常状况下，咱们很难失掉到完整准确的营销数据，因此在通常中，咱们会破费更多期间启动特征画像和用户剖析，经过多种方法开掘实在的购机用户，并叠加相应的模型打算，从而失掉最终的精准人群。
咱们驳回了多种方法，例如Look-Alike、PU-learning和Graph-learning等方法，来失掉相对精准的人群。
在营销中，只要精准人群是无余够的，由于关于营销四象限图中的B、C、D三个象限的人群启动营销或许成果甚微，不合乎预期。咱们的外围目的依然是针对A人群，因此这个疑问实践上转化为一种因果推断的疑问。
在算法层面上，在满足必定条件的状况下，因果推断可以等价于计算Uplift，这种模型通常有三种建模思绪：
在典型的推行搜算法畛域，假定训练数据和预测数据独立同散布，能始终产出很好的结果。在因果推断上，由于一团体要么有干预、要么没有干预，没方法在同一环境下同时观察到基准组、控制组的结果。因此须要经常使用因果模型来处置uplift建模疑问。Uplift建模时有两个应战：
咱们尝试了DESCN的论文思绪，经常使用了干预组和控制组的全样本，这样的结构相当于经常使用了Single-Model的思绪成功。这篇论文关键翻新点在于经常使用了meta-learning的思维，引入一个网络来学习两边变量treatment。
在深化迭代时咱们还会遇到详细的业务疑问，比如在t1期间段，业务须要干预左边和左边的人群，过了一段期间后在t2时辰，业务须要干预两边的人群，在t3时辰干预的人群又变了。这种业务人群变动猛烈的疑问给因果推断提出了更高的应战。
咱们是这么来看待这个疑问，这个疑问实质上属于曝光选用偏向的疑问，须要对曝光bias给消弭掉才干准确建模。咱们参考了EUEN（Explicit Uplift Effect Network 显式优化效应网络）的论文方法，μt(X，最终的uplift) = μc(x, 控制组的转化率) + ω(X， 曝光概率) · τe(X， 曝光组的uplift)。基于样天性否曝光的批改，降低业务曝光选用偏向造成的模型有偏。
由于因果推断的反理想个性，上线验证老本很高，一切的优化都会优先在离线验证所有细节，离线保证了正确性，再展开线上实验。在的增量实验里能看到和最后的监视模型，在增量ROI上优化了11.3%。
4、第四个运行场景:广告精准营销
关于手机厂商来说，数据隐衷是至关关键的，一切数据都必定坚持在公司外部，不准许暴露。因此，在启动营销活动时，咱们首先思索的是数据安保性，在域外投放或许在其余广告平台基于人群包投放的这类方法是行不通的。咱们驳回了一些更安保的方法来失掉流量，照实时API（RTA）和实时竞价（RTB）的形式。基于RTA和RTB，咱们还树立了外部的营销云平台，用于整合不同渠道的流量，以提高迭代效率。
便捷引见一下RTA和RTB。RTA代表实时API（Real Time API），它选择了咱们能否选用某个流量。RTB代表实时竞价（Real Time Bidding），它选择了咱们能否介入竞价以及以何种多少钱介入竞争某个流量。
接上去引见一些与广告精准营销相关的共同技术。
在RTB渠道的竞价环节中，模型关键思索三个目的：竞价成功率、点击率和转化率。竞价成功率指的是在基础出价下成功取得流量的概率，该目的用于后续的多少钱调整战略；转化率指的是用户点击后启动转化的概率，该目的也会影响出价战略的调整，并且在很大水平上选择了全体投放的投资报答率（ROI）。
模型的全体结构与多义务多路输入（MMOE）的结构相似，咱们额外参与了每个目的独自的输入层。特征局部关键包括常年特征、实时特征和多模态特征。经过观察发现，渠道的实时特征对ROI影响十分大，而多模态特征关于冷启动疑问十分有协助。
咱们发现，在RTB中，点击率（CTR）预估的准确性关于流量竞价的投资报答率（ROI）有很大的影响。例如，假设CTR的预估值高于实践统计值，会造成竞得的流量价值高于实践值，从而降低投放的ROI；而假设CTR的预估值低于实践统计值，则会造成竞得率降低，不可取得足够的流量，不可充沛应用估算。
咱们的目的是宿愿模型的预估值和后验统计值能够在相应的水平线上，以准确预估实在状况。通常状况下，原始模型和后验模型之间存在必定的差距，须要启动调整。咱们的校准战略是驳回了特征敏感的树模型的分箱战略，参考了一篇22年的地下论文。相关于原有的模型，经过CTR分桶校准后的模型，PCOC值会降低约44%。PCOC反映了预估值和实在值之间的偏向。PCOC值降低象征着模型愈加准确，相应的ROI也会有较大优化。
上方引见咱们在投放时的出价战略。咱们在RTB上驳回了与业界惯例不同的公式，思索了更多要素。首先是素材的基础出价，而后是素材的CTR打分。咱们还会预估素材的流量价值，关键包括转化率、用户换机概率以及在换机时成为增量用户的概率。此外，咱们还会思索估算和ROI的限度。同时，咱们还会参与竞得率因子。一切这些要素经过连乘计算。在实践运行中，咱们或许会对计算结果启动排序或启动截断操作。
经过屡次迭代和实验，咱们发现，针对ROI的这些多要素思索可以使其优化约25%。
四、总结和展望
在手机行业做增长的环节中，有一些方法论是必要的，其中最关键的是要确定一个北极星目的，即定义出识别增长的外围目的。咱们大抵梳理了一下，包括新机激活、老用户留存、复购率、用户散失以及干预的投资报答率（ROI）等微观目的。这些微观目的关于制作行业尤其关键，能够清楚协助咱们凝聚数据业务逻辑的共识。除了北极星目的外，咱们在详细的链路上也制订了可量化的目的。总结来说，关键包括以下几块内容：
首先是新机洞察，这是增长的源泉，经过深化了解其中的逻辑，能够清楚优化业务。这局部关键包括行业特点的剖析，如竞品的卖点剖析、同期市场的社会剖析，以及可运行于营销的战略和首销期用户的反应。
第二个是营销敏感人群，咱们关注的是一些算法目的，包括准确率、召回率、AUCC（Average Uplift in Conversion Rate）和AUUC（Average Uplift in User Conversion）。后两个目的与因果推断相关。
接上去是从花钱的角度来看增长，大抵可以分为收费增长和付费增长两类。在收费增长方面，咱们器重经过优化现有流量的效率来成功增长，关注的目的有很多，例如点击率、竞得率、转化率、品类流转和增量ROI等。这些目的或许会随着迭代的启动而参与或剔除，以合乎的业务需求。
在付费增长方面，咱们关键关注估算调配等目的。估算调配不只限于广告畛域，还包括不同渠道和资源方之间的灵活调度，比如京东和自营之间的灵活调配，或许首周不同期间段的估算调度。咱们总结发现，在不同期间段或跨渠道之间启动资源调配关于投放ROI具备十分大的影响。
五、问答环节
Q1：在多目的多预计局部，提到了超参数，关于超参数设定不同公司有不同的做法，就比如有的会驳回CNN，或许有的会驳回的实验的方法去确定，您这里是怎样区学习失掉超参数的？
A1：咱们也实验过多种方法，比如说最开局的时刻是基于阅历参数，但是起初随着场景增多发现行不通，手工设定效率低且不迷信，目前主是关键驳回PSO 的方法，当然咱们也在探求用强化学习的思绪，但咱们也发现强化学习关于收敛的要求很高，同时对数据量需求很大，在智能增长畛域，咱们的数据量是一大短板，咱们不能像互联网行业的APP那样有丰盛的日志数据，这也造成咱们目前只能用 PSO 这种模型来去输入离线目的。
Q2：还是多目的预估局部，参与一个模型目的之后，那么线上应该启动怎样样的适配？有没有什么阅历技巧？由于很多时刻在排序时或许会有很多目的，每参与一个目的都或许会遇到各种各样的一些疑问。
A2：这是好疑问。当然不同的业务场景它须要调整细节是不一样的。比如在咱们这个行业外面，它由于它的候选集比拟少，所以咱们很少区做一些召回相关的物品。但是假设你们有很大的候选集的话，须要调整的物品有很多，比如从召回粗排或许一路都要调整。但关于咱们这个行业来讲，关键是调整的是比如说参与一个目的，首先要做一些离线体验证，看看原有的目的有没有遭到影响，比如说他预估的偏向会不会随着人群有散布的影响？假设去排查完离线没疑问，在线上局部咱们关键是调整的首先是参与了目的的融合公式，其次是在重排上的调整。当然也要思索运行场景，假设是这个多目的是在广告投放场景的话，咱们或许会更关心其余的目的，比如以 RTB 为例，它或许是须要还要观察咱们竞得率相关的实验，咱们也须要做这种适配。
Q3：在营销增益的例子中，假设发现特征在整个周期内散布差异较大的怎样办？
A3：咱们刚才也看到，在咱们营销的期间节点上，特征散布确实是很大，比如说机型的偏好，由于关于咱们手机行业，往年有的时刻打上流机，有的是打低端机，有的时刻主打女性市场。所以咱们关于曝光偏向也是参考很多业界内的先进阅历，比如在曝光选用上，还有咱们也会基于PSM 启动一些样本的过滤，尽量让同一个模型接遭到的容貌本尽或许地来自雷同的一个散布。即使做这些调整，还是会面临一些特征散布差异的疑问，由于咱们只能处置一些外围特征散布差异的疑问，但是总会有一些细枝末节的特征是处置不了的。
由于在咱们的场景里还会面临一个大疑问，就是手机的销量摊派到可以用的样本每天大概只要几千个，样本量是很大的调整，受制于此很多方法咱们去经常使用。
Q4：关于因果推断，提到了control model和treatment model，还有一个uplift model，关于这局部建模的数据是A/B test的数据还是间接观测的数据？
A4：模型所用的样本是全样本蕴含干预组和控制组，而后咱们会用模型学习用户被干预的概率，计算uplift。
Q5：所以说实践上是有干预实验存在的吗？能否是经过干预实验去搜集了数据训练的模型？
A5：是的，在这个实验外面，控制组是永远都存在的，剩下对不同人群启动干预失掉数据。
Q6：关于曝光偏向，一篇文章讲到了就是曝光偏向或许会有有害的和无利的局部，假设一味的去纠正偏向，成果会不会不必定是最好的，能否有思索过这个疑问？
A5：是个好疑问，确实假设思索特意多话，尤其在选用样本的时刻启动消偏，触及到样本过滤的时刻，确实会咱们会有很大的应战，所以咱们也是比拟审慎。首先，咱们准则是尽或许的能够把样本用起来。而后在这基础上，而后会去看一些详细的目的启动评价，比如说咱们会做少量实验剖析人群，在离线状况下，看AUUC 目的，共事，咱们会继续去拆机型，拆人群、拆解维度，再区分去看目的，而后才确定某种技术能否真的要驳回。
