（2020.6.22）SIREN：用sin作为NN的激活函数

标签：pos   embed   合数   方法   不同的   方式   估计   不同   而且   

今天读到了一篇论文，感觉很厉害：2006.09661，这篇文章提出了用sine作为激活函数，可以让NN的拟合能力更强，而且具有一些额外的很厉害的性质。

尝试不同的激活函数其实很多人做过，估计使用sin也很多人尝试过，但是估计效果不好就放弃了，但是这里作者提出了只需要用特定的初始化方法，效果飞云之上。

这种方式得到的一个很厉害的性质就是SIREN的导数还是SIREN。所以就可以不用拟合数据本身，拟合数据的导数就能拟合数据。

这里其实让我联想到BERT里面的position embedding，就用到了sin函数，人生真是奇妙，难道BERT效果拔群，关键是采用了周期的位置向量？

（2020.6.22）SIREN：用sin作为NN的激活函数

标签：pos   embed   合数   方法   不同的   方式   估计   不同   而且   

原文地址：https://www.cnblogs.com/sqlkrad/p/13179030.html