知乎舰桥平台如何打造内容运营平台优化业务才干
一、关键词
知乎、舰桥、内容池、内容控制平台、内容剖析平台、内容监控&报警、内容干预、Doris、Elasticsearch（ES）、DOE（Doris On ES）、Spark、Flink、Golang
二、背景和由来
1、引见
舰桥平台是一站式内容&用户&创作者控制、运营、剖析平台。它包括挑选、打包、剖析、监控、营销、投放、干预等多种才干，专一于内容运营、外部营销、创作者运营、内容供应链、数据中心和内容分层运营等场景。为市场感知与前瞻预判、内容和创作者生态调理、头部创作者相关保养、营销和促成公司业务开展，常识分享和交流发明有限或许。本篇文章重点引见舰桥产品体系中的内容运营平台，会引见外部营销平台。
2、由来
知乎社区产品系统，归根结底，是一个以介绍算法和搜查引擎相联合的方式来婚配用户与内容的平台。这样的平台经济是在市场经济模型上运作，具有灵敏高效的好处，同时也存在必定的自觉性和滞后性。在这一系统中，介绍战略充任着市场调理器的角色。但是，单靠流通侧的调整，往往难以迅速和有效地使平台朝向咱们希冀的方向开展。因此，运营系统的参与至关关键。
运营系统在产品系统之外上班，关键目的是构建和保养一个肥壮的内容生态。这一系统在内容生态中起着多个关键作用：
3、才干地图
本期文章中，咱们引见的重点是舰桥产品体系中的内容运营平台。
三、处置方案和落地
1、业务架构
2、业务层拆解
为了更好地满足的业务需求，咱们在最顶层的业务结构上细化出了四类产品和对应的产品接口，以便与各团队启动高效协同上班。
四、业务才干效果及架构
1、内容池
内容池 ：该平台接口层面向的是散发团队。它具有多种适用的性能，包括点查、检索召回、多特色粗排等。在经常使用时，团队可以把它作为散发的召回源和粗排工具，或许仅作为召回源。供业务侧依据实践须要调整和修正召回源和粗排逻辑。
2、内容控制平台
内容控制平台 ，这是专门为运营团队设计的。该平台具有丰盛的基础性能，如内容挑选、整顿打包等，还准许团队对内容启动一系列操作，例如编辑内容、调整内容优先级（优化或降落权重），以及投放内容等。
3、内容剖析平台
内容剖析平台 ，旨在为运营团队提供剖析工具。这个平台可以启动单篇内容和内容汇合的趋向剖析、造成剖析，还能启动消费者画像剖析等深档次开掘。依据不同的剖析方式，可以取得不同的数据论断，以协助了解和优化业务运营效果。
4、内容监控&报警
内容监控&报警 ，目的是为运营团队提供及时的业务监控和报警才干。这个平台经过内容和用户的多种事情触发，经过多种业务模版和灵敏的性能，可极速搭建业务报警才干，比如关键词舆情报警、颁布&定级监控报警等。协助运营团队极速发现具有某种特色的业务体现。
5、内容干预
内容干预 ：运营经常使用做标志、打标签等手腕，将信号传递到散发渠道。经过对创作者以及内容打压与推优的战略，挑选出优质的内容并将其优先推送给用户，让真正有价值、高品质的内容能够被更多的目的用户看见。
五、撑持层的选型和落地
依据咱们面临的不同业务场景，如内容池的构建、内容控制平台的运转、内容剖析平台的开展，以及对内容的监控和报警等多元需求，咱们总结出三种通用的底层支持设备，它们区分是流式内容定向及打包，批式内容定向及打包，和内容剖析及预处置。经过这三种基础设备，咱们可以在下层搭建咱们的业务模块，以满足详细业务需求。详细如下：
流式内容定向及打包 以其“及时、极速”为关键特点，在秒级别的期间内成功内容打包的更新。但是，这种形式须要在生成内容包之前先详细定义好检索条件。
批式内容定向及打包 提供了更为多元的设定条件，适宜那些对自在度要求更高的业务场景。虽然如此，此种形式的时效性相对较低，须要“次日更新”的方式启动适宜的调整和配合。
内容剖析&预处置 ，在将这两种内容打包方式与内容剖析及预处置咨询起来时，咱们的目的是保障剖析才干的反常运转，并确保内容理想、用户理想、流量理想等不同类型的特色口径分歧，链路对齐。
1、流式内容定向及打包选型
流式内容检索应用信息队列作为数据源，以内容的属性、特色变卦作为事情的触发祥。其复杂性关键体如今实时计算和处置方面。
为了处置内容重复计算的疑问，咱们驳回了 Flink 对信息源启动聚合操作。经过经常使用窗口机制，同一窗口内的内容只会被计算一次性，从而防止了短期间内同一内容的屡次变卦造成的重复计算。
为了提高内容出入池的性能，咱们对曾经满足规定的内容启动了缓存处置，防止了频繁的数据库操作。这种优化战略可以清楚优化系统的照应速度和吞吐量。
2、批式内容定向及打包选型
不同于流式检索，批式检索的特点是条件更多，更适宜探求性质的检索。批式检索须要在离线启动特色和属性的计算与结构，而后再提供相应的检索才干，因此时效性较低（T+1）。
鉴于批式内容检索条件复杂且触及注释等因素，咱们选用了 Elasticsearch（ES）作为成功方案。但是，因为 ES 在文档更新时性能较差，为了处置这个疑问，咱们驳回了每日新建索引并滚动切换索引的战略。经过应用 ES 的 Alias 特性，咱们成功了无缝的索引切换。
3、内容剖析&预处置选型
（1）集体剖析
在对单篇内容启动剖析时，舰桥提供了以下相关才干：
（2）集体剖析
内容的集体剖析是一种经过计算一组内容的数据统计信息来失掉洞察力的方法。在舰桥平台中，依据不同的业务视角，可以驳回畛域剖析、优惠内容统计和 theme 信息画像等方法启动集体剖析。这些方法的独特点是将内容依照不同的角度启动分组，并区分计算各组内容的观察目的，如曝光数、PV（页面阅读量）和内容笼罩数等。
为了成功从不同角度启动内容分组和集体剖析的目的，经常使用了以下所示的架构：
六、未来趋向
（1）运营流程智能化&战略化
在舰桥产品体系的内容运营平台中，目前一切的性能都基于原子化才干搭建，并且装备相应的接口。这种方式赋予了平台灵敏且弱小的才干，但咱们对未来有更大的等候。
咱们方案开发一个相似于上图的战略化流程画布的系统，经过这个系统，运营流程将被准确而高效地编排。这不只象征着咱们将启动智能化的调度和执行，更进一步地，咱们能够跟踪每一次性运营的效果，启动粗疏入微的观察和剖析。咱们也将 AB 试验引入到系统中，经过繁复的试验结果，为战略提供指点，以便在更宽广的视线中找出最佳运转方案。
未来的运营流程将成功战略化的性能、流程的智能化、效果的可跟踪可监控，以及试验的数字化。这样一套战略运营流程智能化和战略化编排的性能，将使咱们的业务决策愈加精准，并有助于优化公司的运营效率和业务体现。咱们秉持对技术提高的信念，等候经过扭转，开启新的或许。
（2）运营流程 AI 化
自创 OpenAI 所倡议的 Assistants API 形式，并联合模型才干的不时优化，使得 Assistants 加上 Function Call 的形式曾经逐突变为或许。这为咱们提供了一个全新的视角去思索如何经常使用人工智能技术去优化业务流程并优化运营效率。在这个原型上，咱们等候构建出一种全新的、AI 化的运营流程形式。
这样的形式会基于上述理念，构建属于自身的 Assistants API，而底层则经过经常使用特定的数据和 Function 来提供基本的流程原子 API。这些原子 API 可以构建连接的上班流，满足不同场景下的丰盛需求。
在这个架构中，Assistants 会表演关键的角色，它须要循环地评价运营团队所提出的疑问和需求，并找出具有最优功效的处置方案。为了成功这一目的，Assistants 会不时地经过 Function Call 来失掉和了解外部环境的信息和常识。下图中，执执行作包括模型的思索、外部的 Function Call、本地沙箱运转 python 代码等。
最终，Assistants 将运行这些常识，提供满足运营团队需求的方案和战略，以处置各类运营疑问，并协助运营团队优化效率与成绩。这样的运营方式不只提高了运营效率，同时也减轻了运营团队的上班压力，使他们可以更专一于战略性的上班和决策。
（1）Doris + ES + DOE（Doris on ES）-> Doris 2.0 倒排索引
首先，倒排索引，也被称为 inverted index，是信息检索畛域罕用的一种索引技术。它将文本宰割为许多单词，而后构建从词到文档编号的索引，借此可以极速查问某个词项在哪些文档中出现。
在 Doris 的倒排索引成功中，表的一行被视为一个文档，列则对应文档中的一个字段，所以可以应用倒排索引依据关键词极速定位蕴含它的行，成功 WHERE 子句的高效检索。
与 Doris 中的其余索引方式不同，倒排索引在存储层面是经常使用独立的文件，它与 segment 文件逻辑对应但存储的文件是相互独立的。这种设计的好处在于，咱们在创立或删除索引时无需重写 tablet 和 segment 文件，因此大大降落了处置环节的开支。
Doris 2.0 版本引入了新的特性 - 倒排索引，这具有很高的工程通常价值。在此之前，咱们经常使用 Elasticsearch(ES) 处置全文特色，目的特色则经常使用 Doris，二者以 Doris On ES 的方式联合。不过，随着 Doris 倒排索引的引入，咱们可以间接经常使用 Doris 启动处置，简化了工程实施的复杂性。
（2）流式内容定向 + 批式内容定向的困境 -> 基于 Doris 的微批内容定向+打包
在目前内容运营的撑持层落地环节中，咱们往往会面临一个难题——如何找到最有效的方式以定向投递内容？经常出现的战略有流式内容定向和批式内容定向，但是，这两种方法各自存在一些限度。
流式内容定向：适用于对实时性要求高的业务场景，使得内容可以在用户发生对应的行为后即时调整，以顺应高时效性召回源的业务场景，进而处置实时战略和用户的共性化需求。但是，这种方式目前面临的状况就是主机的负载大，特意是在用户数据变化频繁、内容信息和统计信息也有频繁的变化性的状况下，数据流会比拟大，计算压力也较高。此外，因为实时变化的特性，流式内容定向须要继续不时的投入，这样也会使得全体老本清楚提高。
批式内容定向：适用于批量操作的方式启动，将少量的内容预先打包，而后定时推送。虽然这样可以节俭处置资源，降落运转老本，但不足实时性以及对用户行为和内容信息变化感知低，无法满足用户对精准和即时内容的需求。批量推送的内容也无法紧跟用户的实时行为变化，从而减低营销效率。
目前从业务场景中登程，无论是用户数据变化频繁还是内容信息和统计信息也有频繁的变化性，在实践的状况下并不是一切的业务场景都须要做到秒级别的更新，扫除掉冷启动、高转高召等对时效性要求高的场景，少数的业务场景坚持每 10 分钟 ~ 20 分钟更新一批就能很好的满足业务需求。
面对流式内容定向和批式内容定向的应战，咱们的处置方案是驳回微批内容定向+打包的形式。经常使用 Doris 提供的微批内容定向 + 打包的处置方案，可以在流式内容定向与批式内容定向的困境中找到一个最优门路。在这种形式下，咱们可以应用 Doris 弱小的实时数据查问才干和索引支持，以粗大的批次来处置和投递内容，实时调整内容以顺运行户需求，同时降落主机负载，优化资源运用。经过打包方式，咱们可以有效地组织和发送内容，参与运转效率，降落运转老本。
