第一章，为什么要给大模型喂额外营养，构想一下，你有一个超级自动的AI助手，它简直一无所知，但当你问它当天的股市行情如何，或许最新的新冠病毒变种有哪些症状，，它却一脸茫然，这就是大言语模型，LLM，的现...

大型言语模型，LLM，往往会谋求更长的，高低文窗口，，但由于微调老本高、长文本稀缺以及新token位置引入的劫难值，catastrophicvalues，等疑问，目前模型的高低文窗口大多不超越128k...

论文标题，PoSE，EfficientContextWindowExtensionofLLMsviaPositionalSkip，wiseTraining论文链接，https，arxiv.org，ab...

大数字一贯吸引眼球，千亿参数、万卡集群，——还有各大厂商不时在卷的超长高低文，从一开局的几K几十K，开展到了当初的百万token级别，Gemini的最新版本可以接纳200万个token作为高低文，这大...

Transformer的序列建模才干，让其自然就比拟适宜期间序列这种也是序列类型的数据结构，然而，期间序列相比文本序列也有很多特点，例如期间序列具备自相关性或周期性、期间序列的预测经常触及到周期十分长...

当天给大家引见一篇清华大学宣布于NIPS2024中的大模型期间序列预测上班AutoTimes，经常使用大模型启动自回归方式的期间序列预测，并结合In，ContextLearning优化预测成果，论文题...