✦ MiniMind LLM模型架构可视化
⚙️ 超参数
hidden_size768
num_layers8
heads8
kv_heads4
head_dim96
intermediate384
vocab6400
max_seq32768
rms_eps1e-6
rope_theta1e6
num_experts4
tie_embTrue
🖱 滚轮缩放 · 拖拽旋转 · 右键平移