更新动态
落雨与开放平台的版本迭代、已知问题与后续路线。按时间倒序。
v1.0 · 首个可用版本
当前版本2024-01-01
- 完成从零训练流程：自训练 8000 词表 ByteLevel BPE 分词器
- 实现 RMSNorm + RoPE + SwiGLU 的 13.7M 参数 decoder-only 模型
- 预训练（下一词预测）+ SFT（只对助手回复计 loss）两阶段训练
- 上线 OpenAI 兼容 API：
/v1/chat/completions，支持流式 - 上线 API Key 自助申请、每日配额、管理后台
已知问题
持续跟进- 回复偏短：训练数据里助手回复普遍只有一两句，模型学到的就是这个长度分布。
- 生僻字偶发错误：8000 词表下，低频汉字会被拆成 2–3 个字节 token，边界处容易出错。
- 不支持 system 角色：训练数据里没有 system prompt，服务端做了折中处理，效果不稳定。
- 推理无 KV Cache：每生成一个 token 都重算整段上下文，CPU 上偏慢；后续版本会加缓存。
后续路线
计划中- 加入 KV Cache，把生成速度提升一个数量级
- 扩充语料到 5 亿 token 以上，同步把模型放大到 27M
- 增加「重排 / 摘要」专用微调任务集
- 后台增加按日/按 Key 的用量导出与告警