首个FP4精度的大模型训练框架来了，来自微软研究院！ 为了实现FP4精度训练，研究团队采用了定制化的FP4矩阵乘法（GeMM）CUDA内核。在系统的其他部分，如非矩阵乘操作的计算、Loss Scaling…