等优化 混合模型 RouterLLM HybridLLM 推理老本的新思绪 LLM
一、背景本文中咱们继续引见一种LLM推理优化相关的上班,经过路由的模式组合多个模型;其与投机采样相似,经过多个不同规模和性能的模型组合来降本增效,但是又有实质的区别,投机采样在一个Query内会重复调...
共1页 1条
一、背景本文中咱们继续引见一种LLM推理优化相关的上班,经过路由的模式组合多个模型;其与投机采样相似,经过多个不同规模和性能的模型组合来降本增效,但是又有实质的区别,投机采样在一个Query内会重复调...