首页 » 技术SOS » 嵌入式系统 » MCU和嵌入式微处理器 » 优化神经网络训练方法有哪些?

优化神经网络训练方法有哪些?

菜鸟
2022-09-06 09:58:05

优化神经网络训练方法有哪些?


分享
关键词: 神经网络, 优化  
菜鸟
2022-09-06 11:13:38
1楼

1 考虑换一种学习率 schedule

2 在 DataLoader 中使用多个 worker 和页锁定内存

3 把 batch 调到最大

4 使用自动混合精度(AMP)

5 考虑使用另一种优化器

6 cudNN 基准

7 使用梯度积累

8 使用梯度裁剪


专家
2022-09-13 21:08:17
2楼

高工
2023-07-30 20:45:14
3楼

方法会越来越多的

高工
2023-07-31 22:47:50
4楼

一楼厉害列举那么多

高工
2023-08-12 10:24:16
5楼

 DataLoader 中使用多个 worker 和页锁定内存