受热力学启示的人工智能解释 Nature
引见
依据观测数据执行预测是宽泛迷信学科中普遍关注的疑问。传统上,迷信家们经过开发数学模型来处置这个疑问,这些模型应用他们对潜在物理环节的了解将观察与预测咨询起来。但是,在许多实践状况下,由于缺乏系统特定消息,构建这种显式模型是无法行的. 近年来,出现了一类触及人工智能 (AI) 的纯数据驱动方法,并取得了清楚的成功.这些方法通常被称为黑盒模型,由于它们不依赖于对系统外部上班原理的深化了解,并且旨在间接从数据中提取形式。但是,当触及到依据这些模型做出理智的决策和政策时,这种缺乏了解会惹起人们的担心。
最近在处置这个疑问方面取得了严重停顿,所提出的方法可分为两类:(1) 实质上可解释的 AI 模型(例如,提供可理处置策门路的决策树、评分机制、狭义加法模型等),或 (2) 针对实质上无法解释的 AI 模型的预先解释打算,称为 XAI(例如,基于梯度的方法:逐层相关性流传 (LRP)、疏导反向流传、积分梯度;树或线性近似于黑盒行为的代替模型;基于博弈论的方法等)。虽然由于 XAI 的某些限制,最近有人推进了前一类方法,大少数现有的黑盒 AI 自身并不是可解释的。因此,XAI 已被宽泛用于为黑盒 AI 预测生成人类可了解的基本原理.在 XAI 范式下,开发的方法可以是特定于模型的黑盒,也可以是与模型有关的,它们以视觉或特色关键性归因的方式生成全局或部分有效的解释.
在这项上班中,咱们专一于与模型有关的 XAI 方法,即一类特定的方法,经过仅访问黑盒模型的输入和输入层来上班。最近,出现了一种趋向,即越来越多的 ML 模型仅用于用户级别的推理目的,而模型架构和训练的参数则保管用于商业目的。为了评价此类 ML 模型的可信度,与模型有关的 XAI 是为数不多的有效选用之一。
最早和最有影响力的模型无法知解释方法之一是部分依赖图 (PDP).PDP 可视化特色子集与预测之间的相关,同时坚持一切其余特色不变。很久,在 2016 年,随着 Ribeiro 等人引入部分可解释模型无法知解释 (LIME:Local Interpretable Model-agnostic Explanations),与模型有关的解释取得了严重打破。LIME 结构一个线性代替模型,该模型在部分近似于黑盒模型的行为。而后经常使用与构建的线性模型的每个特色相关的系数来归因部分特色关键性。由于其易用性,LIME 已成为最宽泛驳回的与模型有关的解释方法之一。在 2018 年的后续上班中,Ribeiro 等人引入了锚,该方法旨在识别足够的 if-then 条件作为解释,以便在特色值更改时保管预测。从那时起,其余钻研人员不时努力于裁减 LIME 的实用性,例如 Zhang 等人考查了由于随机邻域抽样程序、不正确的相似性测量、缺乏持重性等要素在 LIME 中或许出现的潜在不确定性,并提出了一组测试来信赖解释自身。
SHapley 加法解释 (SHAP)由 Lundberg 和 Lee 于 2017 年推出,经过将协作博弈论概念与模型无法知的解释方法相联合,进一步推进了该畛域的开展。SHAP 值经过思考一切或许的特色组合集来评价每个特色对预测的奉献,从而提供特色关键性的综合目的。SHAP 的一个关键长处是它能够检测特色之间的非线性依赖相关。此外,SHAP 能够为黑盒预测提供部分和全局解释。
虽然这些方法的开发是为了使 AI 预测正当化,但存在一个确保人类高可解释性的潜在疑问。应战在于,没有既定的方法可以间接量化生成的解释的人类可解释性水平。这是评价 AI 模型可信度的一个关键疑问,但经常被漠视。例如,当正当化触及少量相关特色时,成功高人类可解释性并因此建设信赖或许具备应战性。到目前为止,这个方向的钻研停顿包括构建线性模型以近似 AI 模型并将模型参数的数量作为人类可解释性的代理的方法(相似于其余数学畛域的一些已建设的方法,例如,在 Akaike 消息准绳中或贝叶斯消息准绳).
咱们上班面前的关键动机之一是意识到模型复杂性或许无余以形容人类可解释性,如图 1 所示。在这种状况下,假设模型复杂性用作人类可解释性的代理,那么两个线性模型都如图 1 所示。a、b 将被调配相反的值,由于它们都具备相反数量的模型参数。理想上,以前的钻研提醒了当遭到不同抚慰时,消息处置才干的瓶颈惹起的人类认知限制。因此,咱们将自己建设在消息论对熵的定义之上并驳回一种将线性模型权注重为概率散布的方法。这使咱们能够经过计算相似于香农熵的量来评价不同线性模型之间人类可解释性的差异。如图 1 所示,很清楚,与模型 1 相比,模型 2 对人类来阐清楚更容易了解。假设两个模型体现出相反的准确性,则最好选用模型 2 而不是 1,由于它提供的可操作战略较少。咱们在现有方法中经过引入解释熵的概念来评价任何线性模型的人类可解释性水平,从而处置了这个疑问。咱们标明,在便捷条件下,咱们对解释熵的定义处置了基于复杂性的量化的缺陷。
图 1:模型复杂性不是人类可解释性的良好形容符。
a线性模型 1 的说明性输入特色系数。b线性模型2的系数。两个模型具备相反数量的模型参数 (6)。但是,模型 2 清楚比模型 1 更易于人类解释,其中 6 个特色中有 2 个与预测最相关。
此外,咱们从经典热力学的角度看待 AI 模型解释的全体疑问.在热力学中已知,系统的平衡形态以其亥姆霍兹自在能F(T,V)≔U−TS的最小值为特色。这里U和S区分表征在恒定温度T和体积V下具备固定数量粒子N的系统的外部能量和熵。雷同,咱们在这项上班中建设了一种方式主义,其中解释的最优性 (ζ) 被评价为它的不虔诚性 (U) 和基础真值之间的掂量,和解释熵 (S).相似于经典热力学中的U和S,在咱们的方式主义中U和S干燥地相互依赖。这种掂量的强度可以经过参数θ启动调整,以确定最稳固的解释,该参数的作用相似于热力学温度T。关于θ> 0 的任何选用,ζ都保障只要一个最小值,在某些条件下由一对值表征{U,S}。
咱们将咱们的方法称为受热力学启示的 AI 和其余黑盒范式的可解释表征 (TERP),它从 LIME 中吸取灵感,构建部分线性代替模型来生成黑盒解释。但是,与现有文献中的方法相反,TERP 并重于经常使用本文中引入的解释熵的概念间接量化人类可解释性的水平,以发生共同的解释。由于其与模型有关的成功,TERP 可用于解释来自任何 AI 分类器的预测。在这项上班中,咱们经过解释以下黑盒模型的预测来证实这种普遍性:(1) 基于智能编码器的 VAMPnet关于表格分子数据,(2) 用于图像的基于自留意力的视觉Transformer(3) 基于留意力的双向长短期记忆 (Att-BLSTM) 的文本分类。特意是,第一类模型属于一个正在极速开展的钻研畛域,触及分子能源学 (MD) 模拟.作为对 MD 模拟有着浓重兴味的钻研人员,咱们观察到该畛域对 AI 模型的解释工具的运行十分有限。因此,咱们置信咱们提出的方法 TERP 将证实对专一于该主题的更宽泛迷信界有价值。
结果
解释不虔诚性 (U) 用于代替模型结构
咱们的终点是一些给定的数据集X以及来自黑盒模型的相应预测g。关于特定元素x∈X,咱们寻求尽或许人类可了解的解释,同时也尽或许虔诚于x左近的g。咱们的目的是经过开发线性近似来处了解释g的疑问,由于其线性结构,线性近似更容易解释。详细来说,咱们将F表述为一组有序的代表性特色的线性组合s= {s、s, ...,s}.通常,这些特色是依赖于域的,例如,图像的热编码超像素、文本的关键字和表格数据的规范化值。咱们在上方的公式 (1) 中证实了这一点,其中F表征线性近似值,f是常数,f来自一组有序的特色系数,f= {f、f, ...,f}.
(1)让咱们思考一个详细疑问,其中x是高维实例,g(x) 是黑盒模型预测,须要对此启动解释。咱们首先经过随机扰动高维输入空间生成一个邻域 {x、x, ...,x}。之后,黑盒预测 {g(x)、g(x), ...,g(x)} 取得与邻域中的每个样本相关联。随后,经过经常使用方程 (2) 中定义的损失函数驳回线性回归来构建部分代替模型。
这里
是高斯相似度测度,其中d是解释实例x之间的距离和邻域样本X.在以前的代替模型结构方法中,延续输入特色空间中的欧几里得距离不时是d的典型选用。但是,假设输入空间具备多个相关或冗余特色,则基于欧几里得距离的相似性度量或许会发生误导.TERP 经过经常使用线性判断剖析计算邻域的一维 (1-d) 投影来处置此疑问(LDA),它消弭了冗余并发生了更准确的相似性。这种投影经过最小化类内方差和最大化类间距离,激励在一维空间中构成两个集群,区分对应于类内和非类内数据点。由于投影空间是一维的,因此无需调整超参数,
中σ在已建设的方法中或许是必要的,咱们可以设置σ= 1。咱们经过在随后的小节中启动试验来证实基于 LDA 的相似性对实践疑问的长处。
接上去,咱们引入一个无心义的不虔诚度量 (U) 生成的解释,依据经常使用公式 (1) 和黑盒预测 (g) 取得的线性代替模型预测 (F) 之间的相相关数C计算得出。关于任何解释,C(F,g)∈[ − 1, + 1],因此解释不虔诚性是有界限的,即U∈[0,1]
U=1 − | C(F,g) | (3)
经常使用这些定义,咱们成功了一个前向特色选用打算,首先构建n个线性模型,每个模型都有j= 1 个非零系数。咱们经常使用等式 (3) 来确定造成最低Uj=1.此处,上标j= 1 突出显示了U是针对具备j= 1 个非零系数的模型计算的。咱们将在整个手稿中对其余相关量遵照此符号。
而后,流传所选特色以识别两个最佳特色集,从而发生最低的Uj=2,并且该打算将继续到Uj=n被计算。由于具备j+ 1 个非零系数的模型与方程 (1) 中定义的具备j个非零系数的模型相比,其不虔诚度较低或充其量相反,因此可以观察到U随j干燥递减。当j从 1 到n时,整个打算会发生n种不同的解释。
解释熵 (S) 启动模型选用
在确定了n种解释之后,咱们的目的是从这一系列模型中确定最佳解释。在这一点上,咱们引见地释熵的定义S用于量化任何线性模型的人类可解释性水平。给定一个线性模型,其中有一组有序的特色系数 {f、f, ...,f},其中j为非零,咱们可以定义 {p、p, ...,p},其中
. 而后解释熵定义为:
(4)此处的上标j表征S针对具备j个非零系数的模型启动计算。很容易看出p满足概率散布的属性。详细来说,p≥ 0 和
与消息论中的自消息/惊异(surprisal)概念相似,拟合线性模型中p的负对数可以定义为该特色的自解释性处罚。而后,将解释熵计算为一切特色的自解释性处罚的希冀值,如方程 (5) 所示。经常使用 Jensen 不等式,可以证实S的下限为日志log(n) 咱们可以对定义启动规一化,以便S以 [0, 1] 为界。
这种函数式解释方式的熵 (S),即可解释性处罚,激励拟合权重的急剧峰值散布的低值,标明人类可解释性高,反之亦然。此外,假设特色是独立的,则S在上方的定理中表白了两个幽默的性质。
定理 1
Sj是特色数 (j) 的干燥递增函数。
定理 2
随着U缩小S干燥递增。
用于最佳解释的自在能 (ζ)
关于具备j个非零系数的解释,咱们如今定义自在能ζ作为Uj和Sj可经过参数θ≥ 0 启动调理,如图 2和方程 (6)。
(6)经过为稳态值 Δ 编写方程 (7) 中所示的表白式Δζ=ζ−ζ= 0,咱们可以在每个j∈[1,n− 1]定义特色温度θ。实质上
是具备j个非零系数的模型的随每单位解释熵变动的不虔诚度变动的度量。这与热力学温度的定义十分相似,热力学温度被定义为内能相关于熵的导数。而后,咱们用 (j+ 1) 个非零系数确定解释,该系数将
作为最佳解释,由于可以保障ζ将保管汇合中最低的最小值 {ζ、ζ, ...,ζ, ...,ζ} 在最宽的温度范围内。最后,咱们计算最佳温度
(θ内的任何值<θ<θ雷同有效,由于最优解释自身不会扭转),并将解释生成为此模型的权重。所有ζ本手稿中显示的 vs.j图是经常使用最佳温度的定义创立的。
因此
(8)这又让人想起了经典的热力学,其中系统的平衡构型通常会随温度而变动,但粗粒度的亚稳态形容在明白定义的温度范围内坚持持重。在咱们的框架中,当θ= 0 时,ζ在j=n解释时最小化,或许最大化不虔诚并齐全疏忽熵的模型。当θ从零开局参与时,解释熵对ζ的奉献更大.此处,(θ−θ) 是j非零系数解释稳固性的度量。完整的 TERP 协定总结为一种算法,如图 3所示。
图 2:突出自在能个性的说明性示例ζ、不忠Uj和解释熵Sj.
a Sj强度对ζ的奉献可以经常使用θ启动调谐。ζ显示了三种不同θ= 9、6、4 的 vs.j图,区分在j= 2、3、4 处发生最小值。乙Uj vs.j不受θ影响。C θSj vs.j图显示掂量的强度可以经过θ启动调整。
图 3:TERP 算法。
形容生成与黑盒模型预测对应的最佳 TERP 解释的协定。
图像分类运行:视觉Transformer (ViTs)
Transformers 是一种机器学习模型,其特色是存在自我留意层,通罕用于人造言语处置 (NLP) 义务. 最近提出的 Vision transformers (ViTs)旨在将 Transformer 架构间接运行于图像数据,无需卷积层,已成为计算机视觉中的抢手选用。依据结构,ViT 是黑盒模型,由于它们的实践用途,最好在部署之前驳回解释打算来验证它们的预测。
ViT 的上班原理是将输入图像宰割成更小的时空分片,将每个分片视为相似于 NLP 中的单词的次元。而后嵌入这些 patchs (patch-embeddings) 并传递给 transformer 层启动自我留意和前馈操作。这样的设计使 ViT 能够捕捉图像中的长程空间依赖性并学习无心义的表征。幽默的是,妇孺皆知,ViT 在有限的训练数据下体现不佳,但在足够大的数据集下,ViT 已被证实优于基于卷积层的模型。因此,典型的 ViT 成功包括两个阶段:首先,经常使用大型数据集来学习无心义的表征并预先训练可转移模型,而后针对特定义务启动微调。
在这项上班中,咱们驳回了作者在 ImageNet-21k 数据集上预先训练的 ViT. 而后,经过对地下可用的大规模 CelebFaces 属性 (CelebA) 启动训练,微调用于预测人类面部属性的模型数据。CelebA 是一个蕴含 202,599 张人类面部图像的大型汇合,每张图像都标有 40 种不同的属性(例如,“浅笑”、“眼镜”、“男子”等)。在训练环节中,输入图像被转换为 16 × 16 像素的分片,造成每个 CelebA 图像(224 × 224 像素)总共有 196 个分片,如图5b所示。
图 5:经常使用 TERP 解释和审核在 CelebA 数据集上训练的 ViT 的牢靠性。
aViT 预测此图像中存在“眼镜”的概率为 0.998。b在 ViT 分片的 16 × 16 像素定义之后,测试图像的超像素定义。TERP 结果显示c Uj、d Sj,e θ和f ζ作为j、g的函数对应的 TERP 解释。咱们可以看到θ的最大降低从j= 2 到j= 3 时出现。经过定义最佳温度
如 “Results” 部分所述,最低ζ在j= 3 处观察到。面板h-j显示完整性审核,即 AI 解释打算的结果在模型参数随机化 (h) 、 (i) 和数据随机化 (j) 下应该是敏感的。k清楚性图结果作为“眼镜”预测的基线解释。白色突出显示了 RGB 通道中类概率梯度相对值较高的像素。与 'Eyeglasses' 有关的像素处的高梯度显示了清楚性图解释的局限性。lTERP 和m类 'Male' 的清楚性图解释。Uj, Sj、ζ和θ由于 (l,m) 的j函数在SI中提供。
为了解释 ViT 预测,“眼镜”(预测概率为 0.998),对图 5a经常使用 TERP。咱们首先经过将图像划分为对应于 196 个 ViT 分片的 196 个超像素(像素汇合)来构建人类可了解的代表性特色,如图5b所示。之后,依照邻域生成打算,经过对随机选用的超像素的 RGB 色彩求平均值来生成扰动图像的邻域。图5c-f 显示Uj,Sj、θ和ζ作为j的函数(图3)。因此,TERP 解释使咱们能够得出论断,“眼镜”的 ViT 预测是出于正确的要素。最佳 TERP 解释出如今j= 3 处,如图 5g所示, 这是由于θ的最大减小由于j从 2 参与到 3。经常使用公式 (7) 和 (8),ζ,并且最小值出如今j= 3 处。
数据和模型参数随机化试验标明 TERP 解释很敏感
为了确定 TERP 在生成解释时确实同时思考了输入数据和黑盒模型,咱们对咱们的协定启动了 Adebayo 等人开发的健全性测试。咱们经过驳回微调的 ViT 模型并在他们的上班之后以自上而下的级联方式随机化模型参数并取得损坏的模型来成功这一目的。详细来说,咱们区分随机化 ViT 块 11 − 9 和块 11 − 3 的一切参数,以取得两个损坏的模型。这两个型号的“眼镜”的 TERP 解释如图 5h所示。显示的绘图Uj,Sj、ζ和θ由于这些模型的j 函数在 SI 中提供。在这里,咱们的想法是,由于随机化,解释将与基本理想不婚配。但是,一个好的 AI 解释打算应该对这种随机化测试敏感,并发生与齐全训练的模型不同的解释。雷同,咱们实施了在同一上班中提出的数据随机化测试(图 5j),其中训练数据的标签在训练前随机化,并经常使用损坏的数据取得新的 ViT。雷同,AI 解释方法的结果应该对这种随机化敏感。从相应的 TERP 解释中可以看出。5h-j,咱们得出论断 TERP 经过了两个随机化测试。
基于清楚性图的基线基准显示 TERP 解释是牢靠的
为了了解解释的有效性、持重性和人类可解释性,咱们区分将 TERP 与清楚性图、 LIME 和 SHAP 启动了基准测试。在本节中,咱们首先标明,与基线方法相比,TERP 解释清楚更好、更正当,即使用先前训练的 ViT 启动“眼镜”预测的便捷基于梯度的清楚性图。与更初级的方法(LIME 和 SHAP)启动比拟,以展现咱们的上班如何为现有畛域做出奉献,将在下一小节中探讨。
从图5k,咱们看到了清楚性解释的局限性,例如,检测到许多与“眼镜”有关的像素在 RGB 通道中具备较高的概率梯度相对值。这并不奇异,由于妇孺皆知,清楚性图可以检测色彩变动、对象边缘和其余初级特色,而不是学习模型输入和类预测之间的相关.咱们还为标签“男子”生成了 TERP 和清楚性图解释,如图 5L 所示。雷同,清楚性图解释包括应该与此预测类有关的像素。相反,TERP 解释触及的像素应该与证实结果有效性的相应类相关。
与初级方法的比拟标明 TERP 解释是举世无双的
在本小节中,咱们将 TERP 与生成共同且高度人类可解释性的最新解释方法启动了比拟。为了确保偏心的比拟,咱们重点引见其余宽泛经常使用的与模型有关的预先解释打算 (LIME和 SHAP),这些方法仅实用于黑盒模型的输入和输入层。
LIME 经过最小化来生成黑盒预测 (g) 的部分线性近似值 (f):
这里L是保真度函数(通常为均方根误差),π是邻域相似度,Ω是代理线性模型的复杂度度量。在通常中,LIME 是经过首先执行加权线性回归,而后 (1) 选用具备极值系数的前j个特色,或 (2) 间接实施具备L1 正则化的 Lasso 回归来成功用于构建稠密模型,其中稠密度可以经过超参数α启动调整。j和α通常都取决于所考查的实例,并且须要由用户将其设置为正当的值。因此,LIME 中缺少基于人类可解释性的准确机制来生成共同的解释,并且在剖析少量黑盒预测时,须要启动少量测试/人工干预。
虽然 TERP 和 LIME 都经常使用相似的保真度函数,但关键区别在于 TERP 不经常使用模型复杂性或便捷性作为人类可解释性的代理。正如 “引言” 中所探讨的,此类目的或许具备误导性,TERP 经过引入解释熵的概念间接计算人类的可解释性水平。之后,经过识别造成每单位熵参与的不虔诚度降低幅度最大的特色集来生成共同的解释。
咱们运行 LIME 来解释 “眼镜” 的 ViT 预测,如图 6a 所示,显示对预测有前 10 个影响的特色。咱们还在 LIME 中实施了第二种方法,即 10 个不同α值的稠密模型的 Lasso 回归。随着α的参与,解释中所选特色的数量会缩小,如图 6b所示。虽然 LIME 识别的相关超像素是正当的,并且与 TERP 识别的超像素堆叠(图 5g),LIME 触及超参数选用/人为干预,这关于高通量试验来说或许是无法行的,例如,在剖析 MD 数据时。
图 6:最先进方法的黑盒解释。
a对具备顶部j= 10 个特色的“眼镜”的 LIME 解释,b稠密模型大小与调理L1 正则化强度的超参数α。区分为 c“眼镜”、d和“男子”预测的 SHAP 值。这些结果与解释的分歧性如图 5 所示验证了 TERP。
在 LIME 之后,咱们实施了另一种宽泛经常使用的最新方法 SHAP,用于解释“眼镜”和“男子”预测,如图 6c 所示, d.与极其 SHAP 值关联的特色表征对黑盒预测的奉献很大。详细来说,与特色j相关的 SHAP 值可以经过以下方式取得:
. 在这里,前因子表征特色 j 到 S 的边沿奉献(括在 [] 中)的权重,其中 S、∣S∣和 N 区分表征一组特定的特色(联盟)、该特定联盟中的特色数和特色总数。边沿奉献是经过减去当 j 区分存在于联盟中存在和不存在时特色 j 在预测中的影响来评价的。在取得一切特色的 SHAP 值后,通常经过取具备最极其 SHAP 值的前 j (j 是用户定义的) 特色来取得稠密解释。因此,与 LIME 相似,SHAP 解释也不是惟一的。经过将 SHAP 结果与 TERP 启动比拟(图5gl),咱们再次看到相关特色堆叠,这验证了 TERP 的解释。
在本节中,咱们将 TERP 与两种宽泛经常使用的最先进的、与模型有关的预先方法启动了比拟,并证实了 TERP 解释的有效性。此外,经过驳回这项上班中开发的通常,TERP 成功地发生了高度人类可解释的共同解释,这与既定方法不同。
AI 增强 MD 的运行:VAMPnets,降维 (LDA) 清楚提高邻域相似性,运行于文本分类:基于留意力的双向长短期记忆 (Att-BLSTM)
探讨
基于 AI 的黑盒模型的宽泛驳回已成为各个畛域的规范做法,由于它们能够在不须要深化了解底层流程的状况下启动部署。但是,这一长处也对 AI 模型的可信度和解释提出了应战。在这项钻研中,咱们引入了一个受热力学启示的框架来创立复杂黑盒模型的可解释表征。咱们的目的是经常使用相似于能量-熵掂量的概念找到能够最大限制地缩小与实在模型差异的表征方式,同时坚持对人类的高度可解释性。此外,这项上班中引入的解释熵的概念有或许在 ML 之外的普通基于人类可解释性的模型选用中有用。在未来的上班中,可认为通用线性回归开发高效的优化算法,该算法经常使用方程 (4) 作为正则化来间接构建人类可解释的模型。
咱们展现了这种方法在各种 AI 运行中的有效性,包括图像分类、文本剖析和分子模拟。虽然有几种方法过去曾提出处置 AI 可解释性疑问,但只要少数已被用于例如说明分子模拟。关键的是,咱们的上班标记着可解释性技术在极速开展的 AI 增强分子能源学畛域的开创性运行之一。
咱们的框架 (TERP) 的最新运行有助于提醒晶体成核面前的关键机制和疏水配体解离.鉴于分子迷信在提醒化学反响途径方面的关键作用、了解疾病机制、设计有效的药物以及许多其余关键畛域,确保准确剖析至关关键,由于黑盒模型中的失误或许会对财务和公共卫消费生严重影响。TERP 应该为分子迷信的从业者提供一种方法,经过与热力学畛域便捷而有力的相似之处,在谨严的基础上解释这些黑盒模型。
本文转载自,作者: