AI编程辅佐

一、编程辅佐例子

GitHub Copilot基于OpenAI的Codex模型（GPT-3的后辈）成功，可以在代码编写的时刻实时地提供代码补全倡导和注释，并且在多个编辑器的插件市场都可以下载经常使用。

不论是从Copilot官方上的例子，还是在互联网上搜查对于Copilot的经常使用案例，你都可以发现它比普通的代码补全工具更为先进和灵敏，它不只能补全代码，更能发明代码，经过了解经常使用者便捷的人造言语指令，它能够依照这些指令间接构建代码片段，并且正确率超越4成。

图1 Copilot示例-注释生成代码

另内在代码补全性能上Copilot每次可以提供多个倡导，你可以从多个候选项当选用适宜的代码片段启动补全。

图2 Copilot示例-代码补全

抛开上方这些较为“先进”的性能，Copilot能否能在日常上班中真正地协助程序员优化上班效率呢？从笔者经常使用的阅历过去说，Copilot最大的作用在于可以帮咱们处置掉少量重复的、单调有趣的代码编写上班，而且越是这样重复的代码Copilot补全预测的越准确，这样一来你大局部的精神和期间只须要花在最外围最富裕发明力的局部上，而那些脏活累活就由“AI”帮你成功，程序员的上班效率和身心肥壮都能获取极大地优化。上方是一些Copilot在实践业务场景中经常使用时较为出彩的例子：

二、面前的技术

1.Codex模型

Copilot工具面前真正的基石是Codex，是一个基于 GPT 的言语模型，在阅读了Codex原始论文后，笔者发现它是GPT-3经常使用代码文本数据启动了Fine-Tuning之后的产物，在模型的结构上Codex没有做任何翻新的中央。

这里是比拟无心思的中央，由于GPT系列模型的卖点就是素来不做微调，而且GPT3跟 GPT实质上差异也不大，所以Codex翻新不在于模型的自身，而是在于实践的运行上方，这时刻去经常使用微调这样的方法无疑性价比更高，也是正当的。

另外的翻新点在于他提出了一个HumanEval的数据集来权衡模型的好坏，在这个数据集上Codex能够处置28.8%的疑问，相比之下假设间接经常使用GPT-3则处置不了任何疑问。另外假设准许sampling的话（模型跑100遍，获取100个不一样的结果，只需其中一个正确就算处置疑问）能优化到70.2%的成功率。总而言之Codex没有做特意大的改动，它提出了一个疑问，而后把GPT-3在少量代码组成的数据集上微调了一下并尝试处置这个疑问，最后经常使用了一个全新的评测数据集来评判代码生成品质的好坏。

论文中的重点重要聚焦于他全体的评价框架，由于经过言语模型来生成复杂代码这个疑问相对来说还比拟陈腐，在GPT-3刚问世的的时刻OpenAI也给大家做过展现，GPT-3可以生成一些便捷的代码片段，但是假设用来生成较为复杂的代码时成果很差，毕竟 GPT-3的训练数据中没有蕴含特意多的代码，因此一个Code Fine-Tuning数据集就跃然纸上了，依据论文引见，Codex在2020年5月从Github 的 54,000,000 个地下代码仓上搜集了数据，在经过过滤后，最终的数据集大小为159GB。

那么在评测数据集上驳回哪种目的来判别模型的好坏呢？咱们知道文本生成义务的输入为一个文本序列，比如说机器翻译常罕用的一个评价方法叫做 BLEU score，BLUE这个分数计算的是生成的序列和正确答案序列在一些子序列上的相似度，是一个含糊的婚配环节，因此在代码生成上方BLUE分数会存在一个大疑问——就算你在子片段上跟实在的代码十分相近，但是很有或许你生成的代码甚至连编译都不可经过。最终Codex经常使用的是一个pass@k 的分数，其含意示意生成 k 个不同的结果，其中只需有一个结果能够经过一切测试用例的话那么就以为正确。

最后是HumanEval这个评测数据集，数据集中蕴含164个编程的疑问，重要触及到言语的了解、算法才干、便捷的数学推理以及一些便捷的编程面试疑问，数据量不是那么大，其中每个编程疑问包括函数头、docstrings、函数体和几个单元测试用例，目前该数据集曾经开源→。

2.模型推理优化

基于预训练模型成功的工具运行在实践业务场景中有一个不容漠视的疑问，那就是模型的推理性能能否能够满足需求，而Codex实践上就是GPT模型，在推理环节中须要逐字生成代码，因此假设须要实时地提供补全倡导则对模型的推理性能有很高的要求。

图3 模型减速手腕

上图中蕴含了一些罕用的模型减速手腕，在论文中OpenAI并没有披露针对模型部署方面的优化，但是在前面咱们实践尝试去私有化部署代码生成模型时还是运行了多种模型减速形式，希冀让经常使用感触能够凑近Github Copilot。

3.组装你自己的AI编程助手

在实践私有化部署咱们的“AI辅佐”前先看看咱们手上有哪些资源：

​开源模型：只管咱们不可间接基于Codex部署私有化模型服务，但是在Hugging Face的Model Hub社区上与代码生成关系的开源模型依然有许多可供咱们选用，更让咱们异常的是其中的开源模型CodeGen[4]甚至在HumanEval评测集上击败了Codex。

计算资源：只需不经常使用参数量最大的CodeGen-16B，主机上的T4显卡就有足够的显存来启动推理，另外咱们会测试INT-8量化下经常使用CPU部署服务的体现如何。

部署形式：在模型的推理主机上咱们经常使用了Triton Inference Server[5]，由于可以很好的适配 FasterTransformer[6]，另外也能搭配各种减速手腕。

插件化形式：好信息是Github Copilot插件中的初级性能有调试选项，可以间接性能模型服务的地址，因此当启用该选项时可以将其设置为咱们自己的模型服务地址，另内在插件市场雷同有一些相似于Copilot的插件，并且可以性能本地的代码生成服务地址。

接上去就是部署咱们自己的代码生成服务了，在经常使用GPU主机启动部署时咱们选用了CodeGen-2B模型支持多言语形式的版本：

图4 CodeGen系列模型

而后经常使用Triton Inference Server以及 FasterTransformer backend来启动咱们的模型服务：

图5 模型服务

修正Copilot的插件的性能选项：

图6 性能选项参考

最终让咱们看一下代码生成的成果，就让AI解一下斐波那契数列吧：

图7 代码生功成果

在经常使用GPU部署代码生成模型服务的状况下，从代码生成的速渡过去说并曾经齐全不亚于于Github Copilot的速度了，通常来压主机上的GPU计算资源较为贵重，但是却有许多闲暇的CPU资源，因此咱们须要测试CPU部署时代码的生成速度能否能够满足日常需求，首先是咱们希冀模型生成的代码片段，这是Bert模型定义中Embedding的一局部，实践测试时咱们只键入Class称号，蓝色的注释，而后让模型来生成接上去的代码片段：

图8 Bert代码片段

咱们试用了CodeGen的多个模型，并且记载在不同状况下他们前往结果的延时：

从结果来看，经常使用CPU部署后在经过INT8量化技术的加持下，当咱们经常使用参数量最小的代码生成模型，至少在速度上可以取得还不错的体验。

四、总结与思索

从本次探求Github Copilot面前的技术以及启动便捷的代码生成通常来看，基于GPT系列模型在文本生成这个畛域上确实有着许多运行落地的或许，但是代码生成这一技术并不是“有害”的，首先是在模型训练环节中经常使用的“开源代码数据集”中蕴含许多团体数据，在笔者经常使用环节中发现，假设触及到文件门路的键入，经常会产生一些带用户名的门路补全倡导，其间接经常使用他人的开源代码来作为训练数据也在社区上惹起了宽泛的争议，甚至有许多开源社区的作者希冀制订一个新的开源协定，限度他们的开源库不被用来作为深度学习的数据。另外经过Copilot生成的代码品质难以把控，还是会存在“埋坑”的或许性，很有或许在某天当你debug一个疑问时却齐全想不起来自己为什么会写下这一段代码，直到最后才看法到这是AI帮你生成的。

当然咱们并不会间接丢弃这样一个可以帮你干“脏活累活”的工具，毕竟假设只是作为一个“副驾驶”，时不断对你启动提示，而不是替代你开车，它还是可以做的十分好的。另外就像扫尾所说的，其实是随着Github Copilot的不要钱才促进了笔者的这一次性通常，许多社交媒体上的程序员都宣称他们曾经离不开Copilot了。而目前来看咱们曾经有了较为完善的私有化部署形式，还有开源模型CodeGen可供经常使用，作为一个在日常开发上班中的私有化工具曾经足够好了。不过这还不够，假设可以经常使用齐全开源并且脱敏的代码数据，并依照适宜的模型参数量来定制化的训练咱们的模型