电信网络运营事情常识图谱构建
首先向大家引见下电信网络运营的背景:
1、电信网络运营场景引见
电信网络运营关键是处置网络的缺点和疑问,这些缺点和疑问是记载在工单中的,其中蕴含着很多的专业术语,同时具有数据量大、结构多样、缺乏规范等特点。此类数据是十分有价值的,须要经过较好的剖析和运行来表现。以往都是依托专家阅从来处置工单中对应的实时出现的网络疑问,这种处置方式面临以下多种疑问:
针对上述疑问,AI研发中心宿愿基于常识图谱来探求辅佐电信网络运营、提高运维效率的路径。常识图谱的相关表白才干强,基于图的方式可以处置多样的关联剖析,在必定水平上能够像人类一样启动常识推理,而且相较于传统的存储方式,在查问时具有更高的结果反应速度。
此外图数据库出现数据的方式愈加直观、灵敏,具有高性能的深度相关查问、剖析、推理才干。在网络畛域可以允许成功网络安保、网络优化、缺点诊断、智能问答等智能化运行。
这局部引见网络运营常识的一些数据特点,表中列出的是能够从业务中失掉到的数据。比如关于工单来讲,在判别所出现的网络缺点疑问之后,会启动相应的告警,同时会派出网络运维工单,之后运维工人再依据运维工单跟进处置,这一缺点处置的环节都会记载在原始的缺点疑问工单中。其中蕴含的大局部数据其实是属于半结构化的数据,反应不分则关键是少量的非机构化文本。工复数据的好处是数据量大、起源稳固;缺陷是工人在疑问剖析和处置环节中或许会由于着急处置疑问而简化记载和反应的内容,造成消息的缺失。
此外还有一局部是案例数据。这局部数据是专家、运维人员在处置少量的网络缺点疑问环节中所积攒的阅历,写成案例文档协助处置后续再遇到的相似疑问。案例数据只管记载片面,蕴含了缺点疑问发现、剖析、处置的全环节,然而案例数据量比拟少,而且不同的专家有自己的文档撰写格调,造成案例数据有很多种样式,起源也不稳固。
第三种是业务规定数据,关键是运维人员在实践处置网络缺点疑问时所编写和经常使用的业务规定逻辑。这些业务逻辑规定在实践经常使用中十分有效,是很关键的常识消息,然而雷同具有格局多样、起源不一等疑问,实践经常使用时或许是从多个不同的系统中导出的,须要有专家解读才干准确了解所表白的含意。
最后一种是专家阅历,是积淀在专家脑海中的专业性强、价值较高的实践处置阅历。须要经过与专家沟通、言传言教才干够体系地了解这局部内容。由于关键依赖于专家的撰写输入,所以时效性也是比拟低的。
3、基于常识图谱的智能网络运营技术打算
基于上方所总结的不同种类数据特点,经过对案例数据、工复数据、运维手册等启动多元异构数据的常识抽取,构建网路运营结构化常识库。基于构建的常识库来打造检索平台、推理平台,进而成功业务场景下的网络缺点常识检索、处置措施智能决策等运行。面向现场运维人员构建一个数据加常识驱动的智能运维体系。图中是该系统的基础技术架构。
二、网络运营事情常识图谱构建
第二局部关键引见网络运营事情常识图谱的构建环节,包括:
1、网络运营事情常识图谱构建流程
常识图谱构建的流程大家都比拟相熟。首先是要启动本体构建,该局部由于须要对业务的了解十分强,所以关键依赖于专家协作成功。在常识抽取局部自创了业界成果比拟好的 UIE 模型来启动实体抽取和属性抽取,而相关抽取则是不太须要的,由于在启动本体构建的环节中曾经把相关的映射方式固定上去了,关键关心要素、缺点、处置打算等外容及其之间的固定相关。在常识融合局部则关键是基于专业词汇的消歧来实理想体层面的消歧。在以上环节中失掉的结构化数据关键是存储在Neo4j图数据库中。以上是网络运营事情常识图谱的全体构建流程,上方的局部会再启动详细的引见。
2、网络运营事情常识图谱本体构建
左边图是针对工复数据定义了本体的构建。工单记载了实在出现的网络运营事情,蕴含工单号、业务分级、大类小类、业务类别等消息,同时也重点提取了缺点要素、缺点处置方法、处置结果等外容,在处置环节所出现的交互也会被记载上去,在交互的环节中抽取一系列的处置举措,将处置的处置事情关联起来。
比如最开局启动了目的要素的排查剖析,而后去检查设施的形态以及业务的目的,审核完一系列内容之后去启动相关的操作,假设所面对的疑难是比拟耗时的或许由于人造灾祸、须要改换设施等无法抗要素须要长期间期待的,运维人员就可以放开挂起来防止超出时效,这是一个比拟关键的网络运营事情。另外告警消息也比拟关键,由于告警消息详细记载了出现的缺点,蕴含告警称号、设施号、网联号、网联相关地址、机房和类别。
案例的本体构建关键应用阅历总结数据。数据中蕴含基本的关联设施、关联工单、所属网络层等消息,重点是须要抽取其中的缺点出现现象、缺点要素、缺点处置方式、处置成果消息,这个处置环节会记载的特意详细,剖析环节也会比拟分明,所以运行价值也是比工复数据要高的。
3、网络运营事情常识图谱常识抽取
这局部会跟大家引见在做常识抽取时所启动的操作步骤。首先会用标注工具对工复数据启动实体消息的标注,由于关键经常使用的是 UIE 模型,所以须要的标注数据量并不大,不会像之前经常使用 BERT 模型等须要少量的标注数据,启动大略1000份左右的工复数据标注就能够满足要求;标注时关键针对缺点要素、处置打算、网联告警设施、地址、期间等消息。
在启动数据标注之后,第二步则是基于 UIE 弱小的一致抽取模型基座去训练抽取模型,再用训练好的抽取模型来启动结果抽取和抽取结果校验。最后设置不同的 prompt 战略,用 UIE 启动事情抽取,事情关键是缺点剖析处置、设施处置形态等。
以上则是启动常识抽取时的关键步骤,上方会再详细引见其中的事情抽取义务。
事情抽取义务关键是检测文本中一个事情的存在,并将事情结构、事情内容以结构化的方式输入。比如将工单中的一个完整告警处置环节了解为以下事情:出现、处置环节、能否有挂起。针对出现事情关键会有目的意外、设施缺点、网元链路意外等。关于不同的事情,对应的参数角色等也不相反,比如目的意外会有一些目的的告警值、期限值等消息;网元链路意外则关键会关注告警部位、告警单元、意内现象消息。
在处置环节中会有加派工位、回单确认、告警复原确认、设施保养以及其余相关设施目的排查和疑问剖析:
最后针对挂起事情,挂起关键是由于一些疑难的网络缺点须要较长期间去处置。在挂起事情中须要填写挂起的要素、挂起的时长,跟进缺点事情以便极速处置;其次还有观察阶段,关键是在缺点处置完并且告警复原之后启动一段期间的观察,假设一段期间内没有再出现雷同的疑问就标明疑问曾经处置了。观察之后还有调测的步骤,调测是在疑问处置之后调测一些相关的电路,验证确保相关的业务也曾经复原。
4、网络运营事情常识图谱构建结果
事情常识图谱构建全体上关键是将原始工单、案例等非结构化、半结构化数据整顿成实体-相关结构化数据,使得消息应用愈加高效、繁难。其次结构化的运维常识库可以将告警、工单、案例等消息启动关联,只需说的是雷同的网络缺点,那么就能够将一切相关的常识都失掉到,可以更片面地了解相关疑问如何处置,以便给出更精准的疑问处置倡导。
数据库存储方面选用的是 Neo4j 图数据库,在数据量级上不迭互联网大厂的常识图谱,关键是在电信网络运营畛域内的常识库。构建的品德常识库关键运行于运维常识检索、运维常识治理,比如针对工单案例的专业常识问答、针对专业名词的常识检索,在常识抽取的运行上关键是启动图谱实体相关的抽取、相关列表的治理等操作。
三、网络运营常识图谱运行
接上去引见如何将曾经构建好的事情常识图谱运行于网络运营场景中去,关键包括以下运行:
1、智行云网大脑常识库平台
基于工单和案例数据构建的常识图谱,打造智行云网大脑常识库平台,经过这个平台可以对工单、案例启动高效的图谱式智能检索,也允许运维常识的高效极速查找、常识关联、案例查重以及辅佐案例撰写和修正。右侧是曾经在团体内上线的智行云网大脑常识库平台。在系统图中可以看到关键有工单、案例、专业词汇辅佐撰写以及问答等配置,上方的结构图中也详细列出了系统中所具有的配置模块。
2、智行云网大脑智能助手
第二局部的运行是在智行云网大脑上树立智能运维助手。早在2022年时就曾经在业务流程中设置了数字工位,这个数字工位不包括前端机器人笼统的展现,他可以针对用户交互环节中出现的疑问给出相应的回答和指点介绍。后续基于运维常识库,驳回人造言语处置相关技术来启开工单案例的介绍,打造具有丰盛运维常识的智能助手,助力团体和公司处置运维环节中的冗杂上班。在实践运行中智能运维助手不会影响原本的线网系统的内容,是一个比拟轻量好用的工具。
此外专家们也可以应用智行云网常识库查问历史网络运维环节中出现的缺点数量、缺点要素种类数、每类缺点对应的处置打算以及实践处置环节中的疑问处置打算、最终的处置成果等。除了查问配置,还能够协助专家启动常识积淀,辅佐专家撰写相关案例,极大地优化了上班效率。经过树立常识+AI的智能交互运维助手,优化了网络运维中缺点疑问处置的智能化率。
3、网络运维工单处置灵活介绍
第三局部运行时在网络运维工单处置环节中的灵活介绍。处置环节关键是工单的流转,针对图中的缺点工单,经过智能抽取缺点形容、缺点类别等缺点实体,以及其余相关告警形容消息,来成功缺点的精准定位,并经过缺点常识图谱检索来失掉常识库中的相似缺点或许是相似的缺点要素,基于这些历史消息介绍相关的处置打算。在此环节中,随着读取到的工单消息越来越多,缺点定位也会越来越准确,新的相关消息也会启动更新并参与到检索判别条件中重重生成介绍结果,经过灵活更新介绍结果来赋能一线人员,精准指点运维人员启动相关的业务操作。
图中展现的是上述环节的逻辑结构。最上边是在读的工单,会有工单号、缺点类别、告警形容以及缺点形容等消息。经过这些消息从历史图数据库中启动检索,比如找到70.5%概率是由于单板形态缺点造成的疑问,针对这个要素的处置打算有复位修复和改换设施,比如先尝试复位修复,若复位修复不成功说明设施老化或许损坏了,则再经过改换相关的设施来启动培修。此外的缺点也有15.5%的概率是有更新操作时调测形成的,这种状况下是在反常业务操作环节中出现的告警消息,是可以放开启动屏蔽的,不须要启动相关的处置。基于以高端程成功了缺点处置环节中的准确指点。
最后一局部内容是由于遭到 ChatGPT 的冲击所带来的展望思索。首先针对常识图谱构建环节中的常识消费环节,在 ChatGPT 的辅佐下可以进一步地简化,比如将专业的非结构化数据给到 ChatGPT,成功零样本或许100以内数据标注状况下的专业抽取结果,甚至能够智能成功畛域常识的融合。
第二点是将已积攒树立的常识图谱参与到 ChatGPT 模型中,作为垂直畛域的常识补充。在运维交互环节中可以使得智能助手的水平更上一层,针对业务人员经常使用环节中的反应还可以对模型启动迭代更新,成功常识智能迭代更新的闭环。
第三点关键是 ChatGPT 在助力网络运维智能化的环节中所表现的智能化、智能化处置进一步减轻了运维的上班量,让运维人员只关注其中20%的上班,比如设计类型的上班或许是针对系统自身的一些思索性上班。
以上是基于已有历史上班所做的一些思索,给大家提供一些相关的思绪,宿愿大家能够施展更多的构想力在这些方向启动尝试和致力。咱们对通讯畛域的模型协作比拟感兴味,宿愿将模型运行到网络运营环节中,在业务环节中带来效率的优化以及识别的准确率,缩小运维人员的上班量。
Q1:在有了大模型之后,智行云网大脑智能助手经过常识图谱的方式构建还适合吗?由于KBQA或许FAQ的问答方式在大模型背景下或许会遭到降维打击。
A1:这一局部须要经过通常来启动探求,不太好说大模型能不能齐全代替KBQA。然而关于咱们网络运维场景,保养网络时常识的准确性以及好的交互成果相对来说更关键一些,所以前期还是会依赖于解释起来更直观的常识图谱的方式,这种方式在咱们的实践运行落地中占有更多的好处。
在大模型这方面咱们也会踊跃地启动相关的通常,关键是应用大模型来极速地协助咱们构建可视化的常识图谱,提供常识撑持来辅佐处置运维缺点疑问。咱们也就大模型疑问与一线业务人员启动过沟通,业务人员感觉大模型不能够像常识图谱那样关于介绍的处置打算给出正当的解释,无余以关于介绍的论断给出有力的依据,这会造成信赖疑问,所以大模型的实践运行落地仍须要进一步的探求。
Q2:电信网络运营事情常识图谱的本体是如何构建的呢?
A2:本体局部的构建关键是基于对业务的了解。咱们的数据源是工单这种格局,相当于是表单,表单中会记载相关的业务设施、出现的缺点、缺点期间等一系列的消息,咱们从中总结出一套结构来构老本体局部的内容。
在这个结构中会有比拟详细的业务内容。比如首先会有工单号作为惟一标识来关联相关的常识,依据工单号可以关联到缺点、告警消息、缺点要素、疑问处置打算,此外工单号也可以与处置该疑问的人员关联起来,记载其处置方式和记载反应。针对业务自身,也会有分级体系,其中蕴含着不同的大类和小类,以及其余业务方面的剖析。