结构化矩阵

标签：一个   如何   约束   没有   训练   .com   乘法   red   参数   

十岁的小男孩

Define：

　　如果一个m×n阶矩阵只需要少于m×n个参数来描述，就是一个结构化矩阵（structured matrix）。

优点：　　

　　不仅能减少内存消耗，还能通过快速的矩阵-向量乘法和梯度计算显著加快推理和训练的速度。

缺点：

　　1.结构约束会导致精确度的损失，因为约束可能会给模型带来偏差；

　　2.如何找到一个合适的结构矩阵是困难的；

　　3.没有理论的方法来推导出来；

综上：

　　因而该方法没有广泛推广。

知识应该是开源的，欢迎斧正，929994365@qq.com

结构化矩阵

标签：一个   如何   约束   没有   训练   .com   乘法   red   参数   

原文地址：https://www.cnblogs.com/missidiot/p/9915676.html