MODEL · 自研微型语言模型

Rian-Minichat-X1

从随机初始化开始训练的小型中文对话模型
不使用任何预训练权重,全部由我们自己训练。

SPECIFICATION

模型细节

项目取值说明
模型 IDrian-minichat-x1接口调用时填写这个名字
模型版本v1.0基于 SFT 阶段产出的权重
模型格式PyTorch .pt(自包含)内含权重 + 结构配置 + 词表 + 分词器
架构decoder-only TransformerRMSNorm · RoPE · SwiGLU · 因果自注意力
层数 / 头数 / 维度6 / 6 / 384head_dim = 64
参数量13,693,824(约 13.7M)词嵌入与输出层共享权重
词表大小8,000自训练 ByteLevel BPE,含 4 个特殊 token
上下文长度512 token输入上限;超出自动丢弃最老的对话轮次
输出长度最长 256 token由 max_tokens 控制,超出截断并返回 length
采样参数temperature / top_k / repetition_penalty建议 0.7 / 20 / 1.1
停止方式<eos> 或达到 max_tokens对应 stop_reason: end_turn / max_tokens
训练方式预训练 + SFT预训练学下一词预测;SFT 只对助手回复计算 loss
推理精度fp32CPU 即可运行,常驻内存约 300 MB
流式输出支持(SSE)OpenAI 与 Anthropic 两种格式都支持

ENDPOINTS

两套接口,任选其一

同一个模型,同时兼容 OpenAI 与 Anthropic 的调用格式。

OpenAI 兼容格式

适用于 openai SDK 以及绝大多数现成工具链。

Base URL
https://api.luoyeltd.com.cn/v1
端点POST /v1/chat/completions

鉴权头Authorization: Bearer

模型名rian-minichat-x1

Anthropic 兼容格式

适用于 anthropic SDK,system 为独立字段。

Base URL
https://api.luoyeltd.com.cn
端点POST /v1/messages

鉴权头x-api-key

模型名rian-minichat-x1

LIMITS

它能做什么,不能做什么

擅长

· 固定话术的问答(身份、能力、联系方式、接口说明)
· 短句改写与复述,风格稳定
· 简单的中英对照
· 多轮上下文(≤512 token)

不擅长

· 复杂推理与数学计算
· 代码生成与调试
· 需要事实准确性的查询
· 长文本创作
· 实时信息(没有联网能力)

使用边界:它是一个 13.7M 参数的微型模型,不是通用大模型。 请把它当作「对话格式与交互体验的验证工具」,不要作为知识来源或决策依据。

研究用途声明

本模型及相关训练代码仅供个人学习与技术研究参考, 不用于任何商业目的。
模型输出不保证准确性、完整性与时效性,使用者应自行甄别; 因使用本模型产生的任何后果由使用者自行承担。