先进入模型内部,亲手接好一小段神经网络。以后再在这套计算上面对苹果 GPU / ANE 的执行、内存与数据搬运问题。
25 个关卡分为基础搭建、网络计算与引擎调度。先练向量、投影、激活、门控和残差;再构建 Attention 与词表预测;最后处理芯片分工、布局、缓存、量化、内存与速度。这里使用固定手工权重、单头和缩小的向量。
模型内部的特征对应输入位置,不是生成的新词。只有词表投影与选择后才得到文字。“错误的注意力”指与本关目标计算不同,不意味着能直接解释真实模型的全部语言理解。
后半段的时间、容量和 ANE 工作占比属于教学成本模型,不是 Apple 硬件实测。ANE 支持范围是本游戏约束,真实运行还取决于设备、编译器、模型与算子实现。
序章会验证三个输入位置;正式关卡另外加入两组新输入。每关的线路分别保存,可以随时切换。运行时只在终点比较结果。
先学会一件事,再加入一个组件。每关的搭建进度单独保存。
接好线路,让神经网络醒来。