你的神经网络不起作用的37个理由
目录
1. 如何使用本指南?
2. 数据集问题
3. 数据规范化或增强的问题
4. 实现问题
5. 训练问题
1.如何使用本指南?
1. 从一个已知适用于这类数据的简单模型开始(例如,图像的VGG)。如果可能,使用标准损失。
2. 关闭所有的附加功能,例如正则化和数据增强。
3. 如果对一个模型进行微调,要仔细检查预处理,因为它应该与原始模型的训练相同。
4. 验证输入数据是否正确。
5. 从一个非常小的数据集(2-20个样本)开始。对它进行过度拟合,并逐渐添加更多的数据。
6. 开始逐步添加所有被省略的部分:增强/正则化、自定义损失函数、尝试更复杂的模型。
2.数据集问题
1.检查你的输入数据
2.尝试随机输入
3. 检查数据加载程序
4. 确保输入连接到输出
5. 输入和输出之间的关系是否过于随机?
6. 数据集中是否有太多噪音?
https://arxiv.org/pdf/1412.6596.pdf
7. 打乱数据集
8. 减少类别不平衡
https://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/
9. 你有足够的训练样本吗?
https://stats.stackexchange.com/questions/226672/how-few-training-examples-is-too-few-when-training-a-neural-network/226693#226693
10. 确保你的批次中不只包含一个标签
11. 减少批量大小
https://arxiv.org/abs/1609.04836
3.数据则正则化或增强
12. 规范的功能
13. 你的数据增强太多了吗?
14. 检查预训练模型的预处理
15. 检查训练/验证/测试集的预处理
4.实现问题
16. 试着解决这个问题的简单版本
17. “随机”寻找正确的损失
18. 检查损失函数
19. 验证损失输入
20.调整损失权重
21. 监视其他指标
22. 测试任何自定义层
23. 检查“冻结”层或变量
24. 增加网络的大小
25. 检查隐藏的维度错误
26. 进行梯度检查
更多信息可参阅:
http://ufldl.stanford.edu/tutorial/supervised/DebuggingGradientChecking http://cs231n.github.io/neural-networks-3/#gradcheck https://www.coursera.org/lecture/machine-learning/gradient-checking-Y3s6r
5.训练问题
27. 解决一个非常小的数据集
28. 检查权重初始化
29. 更改超参数
30.减少正规化
31. 给它时间
32. 从训练模式切换到测试模式
33. 可视化训练
“对于权重,这些直方图应该在一段时间后具有近似高斯(正态)分布。对于偏差,这些直方图通常从0开始,并且通常以近似高斯分布结束(LSTM是一个例外)。注意那些发散到+/-∞的参数。注意那些非常大的偏移量。如果类别的分布非常不平衡,有时可能会在输出层中进行分类。”
34. 尝试不同的优化器
http://ruder.io/optimizing-gradient-descent/
35. 爆炸/消失的梯度
36. 升高/降低学习率
37. 克服NaN
降低学习速度,特别是如果你在前100次迭代中得到了NaNs。
NaNs可以由除以0,或0或负数的自然对数产生。
Russell Stewart在如何应对NaN中有很好的建议。
http://get.mysecurify.com/view/item_81593.html
试着一层一层地评估你的网络,看看NaNs出现在哪里。
◆
精彩推荐
◆
推荐阅读
100多次竞赛后,他研发了一个几乎可以解决所有机器学习问题的框架
王霸之路:从0.1到2.0,一文看尽TensorFlow“奋斗史”
NLP被英语统治?打破成见,英语不应是「自然语言」同义词
TensorFlow2.0正式版发布,极简安装TF2.0(CPU&GPU)教程
肖仰华:知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019
AI落地遭“卡脖子”困境:为什么说联邦学习是解决良方?
10分钟搭建你的第一个图像识别模型 | 附完整代码
限时早鸟票 | 2019 中国大数据技术大会(BDTC)超豪华盛宴抢先看!
你点的每个“在看”,我都认真当成了喜欢
关注公众号:拾黑(shiheibook)了解更多
[广告]赞助链接:
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/
随时掌握互联网精彩
- 1 奋力打开改革发展新天地 7906117
- 2 陆军政委陈辉晋升上将 7909012
- 3 刘强东提前发年终奖 7874969
- 4 “冷资源”里的“热经济” 7782064
- 5 汪小菲内涵大S 7609988
- 6 国足原主帅李铁已上诉 7585234
- 7 王鹤棣先天松弛感圣体 7455816
- 8 #胡锡进称目前回本了# 7323501
- 9 唐尚珺与初恋因反复复读分手 7285175
- 10 女生学殡葬后亲戚递红包手都发抖 7184971