格温

GWen（格温）是一个专为中文设计的小型语言模型实验项目，采用纯PyTorch实现。它具有小词表、轻量参数和清晰代码的特点，支持完整的训练链路。适合对中文自然语言处理感兴趣的开发者进行研究与学习。通过使用8K BPE分词器，GWen能够将更多参数留给transformer backbone，从而在保持模型紧凑的同时提升其学习能力。此外，该项目还提供了从预训练到SFT的完整流程支持，并且所有核心组件都以简洁易懂的方式呈现，方便用户阅读、理解和修改。