消息流场景下的AIGC通常
共性化的题目生成,支经常使用用户内容以及共性化的消息生成针对不同用户或许不同运行场景的题目。
关键经常使用场景有以下三种:
关键面临的疑争辩点:
1、基于关键词的题目生成
介绍和搜查场景存在少量的关键词,比如,介绍里的 tag,兴味点和画像,搜查里的 query 等。模型经常使用了 Transformer 结构,包括 Encoder 和 Decoder 局部。文章尝试了多种方法将关键词消息整合到模型中,以成功更好的成果。最便捷的方法是经过在原有的 Multi-head Attention 层上参与一个新的关键词示意层。另一种方法是先将文章示意与关键词示意启动交互,关键词示意作为 query,文章示意作为 key 和 value,再经常使用 Multi-head Attention 层生成过滤后的文章示意,最后在 Decoder 端启动处置。
试验结果标明,在引入关键词过滤的文章示意后,模型性能失掉了清楚优化。经过这种方法,生成的题目更贴合用户兴味,进而提高介绍和搜查的准确性。
2、基于历史点击序列的共性化题目生成
为了生成与用户点击格调更婚配的题目,咱们提出了一种联合 transformer encoder 和 LSTM decoder 的方法,并将用户历史点击序列消息融入其中。以下是该方法的详细引见:
输入数据与用户示意:首先,对每个用户的历史点击序列启动处置。输入数据包括用户阅读过的文章题目或许其余关系特色。经过 user encoder 对这些历史点击序列启动编码,失掉一个用户 embedding,代表用户的点击格调。
模型架构:整个模型以基于自留意力机制的 transformer encoder 作为 encoder 端,用于提取输入文章内容的语义和结构消息。而 decoder 端驳回长短时记忆网络(LSTM),它具有较强的时序建模才干,可以有效地生成流利、连接的题目。
用户格调指点:在题目生成环节中,user embedding 可经过如下三种形式指点模型的输入:
a. 初始化 LSTM hidden state:将 user embedding 作为 LSTM 的初始暗藏形态(hidden state)。这象征着在生成题目时,模型会从用户点击格调的角度开局思索。这样可以使得生成的题目更合乎用户的兴味和口味。
b. 介入 attention distribution 计算:在解码环节中,LSTM须要依据输入文章内容和已生成的局部题目来预测下一个词。为了成功这个目的,引入 attention 机制可以协助 LSTM 关注到愈减轻要的输入消息。经过将 user embedding 归入 attention 散布的计算,可以让模型在生成题目时更关注与用户点击格调关系的内容。
c. 参与门控网络计算:LSTM 中的门控网络起到调理消息流动的作用。在题目生成环节中,经过将 user embedding 与文章内容消息相联合,介入门控网络的计算,可以进一步优化消息挑选和降级环节。这有助于生成更合乎用户格调的题目。
3、基于作者格调的题目生成
为了生成更具吸引力、关系性和流利性的题目,咱们驳回了基于 transformer 模型的方法,并将作者的历史题目消息融入其中。
首先,为了构建训练数据集,咱们对每天发文量特意多的搬运号和发文量特意少的创作者启动过滤。接着,依据作者的历史题目,结构一个三元组(<文章,历史题目,想要的题目>)数据集。这些数据将作为输入来训练 transformer 模型。
在 transformer 模型中,encoder 关键担任提取输入文本的语义消息。但是,仅经过计算 n 个历史题目的 embedding 并对其启动平均,很难失掉作者格调的表征。为处置这个疑问,咱们引入了对比学习的方法。在 batch 内,同一作者的题目两两组成正例,不同作者的题目两两组成负例。这样启动训练,可以使模型的表征更偏向于捕捉作者格调,而非单纯的语义消息。
试验结果标明,引入作者格调的题目生成模型在 Rouge 和 BLEU 评价目的上有所优化。与原始模型相比,新模型生成的题目具有更高的流利性、关系性和吸引力,同时能够坚持与作者格调的分歧性。这说明,经过应用作者历史题目消息,咱们可以成功地生成更符协作者格调的题目,从而提高用户体验。
在当今消息爆炸的时代,封面图作为一种视觉传达形式,具有剧烈的吸引力和可读性。它在各种场景中都施展着至关关键的作用,如社交媒体、网站、杂志等。但是,要设计出一个既能够吸引观众留意力又不属适用性的封面图,并非易事。封面图的便捷与复杂之间须要找到一个平衡点,以确保用户能够极速地理解其内容,并发生浓重兴味。
过于便捷的封面图或许造成用户不可失掉足够的消息,从而疏忽了其面前的价值。而过于复杂的封面图或许让人感觉难以消化,经常使用户在面对海量消息中迅速丢失耐烦。因此,在设计封面图时,应该遵照“繁复明了”的准则,经过适当的文字和图片组合来通知用户这是一篇什么样的文章。
为了参与封面图的吸引力和适用性,倡导在封面图中嵌入题目、标签(Tag)等关键消息。这些关键消息能够让用户在第一期间取得文章的主题,从而激发他们的阅读兴味。同时,这也有助于提高文章的专业性和可信度,让用户置信它是值得花期间去阅读的。
总之,封面图在消息传递和用户吸引方面具有关键意义。设计师应该依据目的受众和流传渠道来平衡封面图的便捷与复杂水平,精心设计出既好看又适用的封面图。经过在封面图中嵌入关键消息,如题目、标签等,可以优化用户体验,进而扩展文章的流传范畴和影响力。
首先,经过图像修复技术去除水印、字幕等搅扰元素,失掉洁净的封面图。而后,经常使用 Seq2Seq 模型提取题目和标签中的关键消息。接上去,启动目的检测以识别人脸、东西等关键部位,确保在生成的封面图上不被遮挡。最后,驳回智能封面图分解参考 Layout Generation 方法,将文本消息融合到封面图中。其详细流程框图如下:
为了成功高品质的封面图生成,本文引见了一种驳回先进技术的方法,包括图像修复技术、Seq2Seq 模型、目的检测以及智能封面图分解参考 Layout Generation 方法。以下是该方法的详细步骤:
图像修复技术:图像修复技术旨在去除水印、字幕等搅扰元素,从而失掉洁净的封面图。这一环节经常使用 Faster R-CNN,关键有以下几步:OCR 识别文本框的 proposals。经常使用 ResNet50 对输入图片启动特色提取,失掉 F1。经过特色映射,从F1中失掉文本框的特色 F2。基于 F2 启动分类,识别能否是文案、台标、字幕。基于 inpainting 启动内容抹除。经过这种形式,修复后的图像能够保管原始场景的视觉成果,同时消弭不用要的元素。
经常使用 Seq2Seq 模型提取关键消息:Seq2Seq 模型是一种基于深度学习的端到端序列生成模型。在此运行中,它被用于从题目和标签中提取关键消息。Seq2Seq 模型由两局部组成:编码器和解码器。编码器将输入文本转换为一个固定大小的向量示意,而后解码器从该示意生成输入序列。在这个环节中,模型可以学会识别并提取与封面图关系的关键消息。详细做法如下:经常使用带 Pointer 的预训练 T5 模型作为底座模型。标注一批数据,经常使用视频的题目、分类和关键词作为输入,人工改写的消息作为结果。预测的关键消息或许蕴含多个片段。
目的检测:目的检测技术用于识别图像中的关键部位,如人脸、东西等。这些部位或许在图像中具有清楚的视觉特色,因此它们在生成封面图时须要特意关注。目的检测通常借助深度学习技术,如卷积神经网络(CNN)和区域卷积神经网络(R-CNN),来成功对关键部位的准确识别。这样,在拔出文本消息时,可以确保这些关键部位不被遮挡。目前目的检测模型可以识别人脸、猫、狗、汽车等65个类别。目的框位置经常使用左上和右下两个点的坐标示意。
智能封面图分解参考 Layout Generation 方法:在前述预备上班成功后,接上去就是将文本消息融合到封面图中。为此,驳回一种名为 Layout Generation 的方法来智能生成封面图规划。该方法首先对输入图像启动剖析,提取其视觉特色和结构消息。而后,依据这些消息确定最佳的文本插上天位和样式。最后,将从题目和标签中提取到的关键消息拔出到相应位置,生成最终的封面图。