AI研发反派 API可视化测试新体验
当独立的API相互衔接时,它们变得极为弱小。无论是与外部客户的互动、外部经常使用还是惯例的端到端测试,简直一切的在线交互实践上都是由相互衔接的API网络构成的“流程”。这种相互衔接是数字产品体验的外围。
与API的弱小才干等量齐观,大型言语模型(LLMs)展现出了令人注目标推理才干,它们在处置疑问时的迭代思想环节与人类十分相似。LLMs在启动重复迭代时展现出的才干,使其成为计算推理中的弱小工具,特意是在构成“流程”的重复迭代中。
意识FlowTestAI
FlowTestAI的翻新外围是将这两个弱小畛域联合起来。FlowTestAI是环球上首个由GenAI驱动的开源集成开发环境(IDE),专为设计、可视化和治理API优先的上班流而设计。它以极速、轻量级和本地操作为特点,在促成API优先上班流的无缝整合的同时,也包全了用户隐衷。
处置测试难题
测试是产品开发中一个至关关键但扩散的环节。不足片面和弱小的端到端测试会重大影响产品的品质,并减缓开发速度。
端到端测试实质上是基于API的上班流。现实的框架应该准许极速、间接地生成这些上班流,并能够高效地治理它们。但是,目前的做法经常由于过多的样板代码、繁琐的治理档次和与实践开发通常的脱节而遭到影响。这造成了缓慢且复杂的端到端测试,重大影响了开发速度。
有效的测试还须要安保地访问和治理敏感消息,比如访问ID和密钥。遗憾的是,目前还没有工具能够确保这一畛域的安保性。经常使用像Postman这样的传统平台输入凭据或许会使它们面临危险。此外,不足一个专门的环境让开发者能够安保地测试开发中或私有API,将这些API引入罕用在线工具或许会有意中造成消息暴露。这一疑问凸显了对一种提供安保、本地沙箱测试处置打算的需求。
FlowTestAI的处置打算
FlowTestAI应用LLMs的推理才干、git(或任何版本控制系统)的组织长处以及图数据示意的结构长处,旨在彻底扭转API优先上班流的生成和治理模式。
未来展望
将端到端测试视为API优先的上班流只是开局。这个工具被设计得十分通用,可以创立任何API优先的上班流,并可以设置为活期智能运转。例如,可以创立一个上班流,它审核JIRA中的前10个客户支持票据,将其发送给ChatGPT启动总结,并每天智能颁布到工程团队的slack频道。
由于这个名目是收费和开源的,任何人都可以创立并提交带有自定义逻辑的自定义节点,并与社辨别享。你也可以创立自定义流程并提交给其他人经常使用。例如,一个自定义流程可以经常使用LLM的输入作为输入,将其发送到AWS或Azure上托管的情感剖析工具的API,审核输入的侧面得分能否大于0.7,而后只要当得分高于0.7时,才将该输入转发到图中的其他局部或最终用户。
每个上班流都可以视为一个可以被经常使用并嵌套在其他上班流中的适用工具。
FlowTestAI如何运作
FlowTestAI关键由以下两局部组成:
体验
关于用户体验,咱们提供了一个集成开发体验(IDE),相似于VS Code、IntelliJ等,作为一个electron运行程序。一切操作都在本地启动,就像传统的IDE一样,成功双向通讯。你在IDE中口头的任何CRUD操作都会实时降级到本地磁盘,反之亦然。
它是这样上班的
AI管道蕴含三个关键阶段:
预处置
LangChain在这里对咱们十分有协助。首先,咱们来了解疑问。OpenAPI规范或许十分宏大,蕴含数千个API(也称为函数),而现有的LLMs只能处置有限数量的函数作为参考输入,例如OpenAI GPT 3.5 turbo只能处置128个函数。
咱们首先从规范中提取每个API的{API_NAME, API_DESCRIPTION},构建一个大文档。而后,经常使用LangChain的文本宰割器,依据LLM的容量将文档宰割成多个小块。例如,关于GPT 3.5 turbo,咱们将文档分红32个函数的小块。接着,咱们经常使用LangChain对OPENAI嵌入API的封装,将每个小块嵌入并存储在LangChain提供的内存中向量数据库中。
经过这种模式,咱们实践上是在为结构化函数重构RAG的处置打算,这通罕用于文本输入。
处置
接上去,咱们取用户提醒,对LangChain支持的内存向量数据库启动相似性搜查,提取满足LLM输入限度的m个文档。例如,假设咱们以前面的32个函数为例,咱们会提取4个文档,以满足32 x 4 = 128的限度。
而后,咱们将这些函数和用户指令作为输入提供应LLM。咱们迭代地口头这个环节,直到确定没有更多的操作要口头。每次迭代都会输入一个函数调用。
后处置
在前一步输入的函数调用集上口头后处置。咱们设置了适当的护栏,以确保LLM在任何步骤中发生幻觉时,咱们会过滤掉这局部输入,防止误导用户。而后,咱们将每个有效的函数调用解析并转换为咱们的外部图节点,为API调用所需的查问参数、恳求体等调配适当的值。最后,咱们将它们链接起来,构成一个可运转的上班流。
一些关键点:
演示
步骤1:选用OPENAI模型并减少你的指令
步骤2:点击生成,一个可运转的图将输入,其中API恳求被链接在一同,每个恳求都预填了正确的恳求参数和恳求体。
步骤3:点击运转,检查每个恳求的日志以及流程完结时的总期间。
步骤4:减少额外的逻辑节点,使图愈加丰盛。
论断
FlowTestAI将让端到端测试退化为可视化API上班流,这些上班流极速生成、无缝治理,并且比传统测试快得多,从而成功高开发速度。
名目链接: