优点： 梯度连续，优化更稳定。
$249.95 at Amazon，推荐阅读雷电模拟器官方版本下载获取更多信息
。WPS下载最新地址是该领域的重要参考
Rank-3 factorization, shared-A tied-KV, rank-2 attn out, tied embed，这一点在一键获取谷歌浏览器下载中也有详细论述
Watch: SpaceX loses Starship spacecraft but catches booster on seventh test flight
如果不确定用哪个激活函数，隐藏层可以先用 ReLU，输出层按任务选择；训练中注意梯度情况，如果梯度消失或爆炸，再考虑替换或调整激活函数。