极客号（Daydx.com）8月25日 消息:最近，研究人员使用插值技术将开源语言模型LLaMA的上下文窗口从原来的约3，200个token扩大了10倍，达到约32，000个token，由此开发出新的开源语言模型Giraffe。该版本有130亿个参数版本，并且拥有所有开源 LLM 中最大的上下文窗口之一。
Giraffe适用于需要处理数十页文本的各种商业应用场景。像GPT-3这样的语言模型上下文窗口有限，对长文本理解能力较弱。而Giraffe具有更大的“记忆”，能更好地处理这样的用例。
作为开源研究，Giraffe研究还提供了对语言模型内部运作以及不同的上下文窗口扩大技术的重要见解。研究发现，位置嵌入的线性缩放对增加上下文长度最为有效。
研究同时也凸显了当前技术的局限性，因为准确率会随上下文窗口增加而下降。这表明仅用困惑度来衡量语言模型的表现是不够的，对长上下文任务需要定制化的测试。
目前，开源的Giraffe-v2-13b-32k模型已在Hugging Face平台上线，代码也在GitHub上开源。
项目网址:
https://github.com/abacusai/Long-Context
https://huggingface.co/abacusai/Giraffe-v2-13b-32k
郑重声明：本文内容及图片均整理自互联网，不代表本站立场，版权归原作者所有，如有侵权请联系管理员(admin#wlmqw.com)删除。
