TensorFlow被曝存在严重bug，搭配Keras可能丢失权重，用户反映一个月仍未修复

晓查 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

最近，一位从事NLP工程师Gupta发现了TensorFlow存在的一个严重bug：

每个在自定义层中使用Keras函数式API的用户都要注意了！使用用Keras的Functional API创建的权重，可能会丢失。

这一话题在Reddit机器学习板块上被热议，引起不少TensorFlow用户共鸣。

具体来说，就是在API中使用自定义层，会导致trainable_variables中的权重无法更新。而且这些权重也不会放入non_trainable_variables中。

也就是说，原本需要训练的权重现在被冻结了。

让这位工程师感到不满的是，他大约一个月前在GitHub中把这个bug报告给谷歌，结果谷歌官方到现在还没有修复。

解决办法

如何检验自己的代码是否会出现类似问题呢？请调用model.trainable_variables来检测自己的模型：

for i, var in enumerate(model.trainable_variables):
    print(model.trainable_variables[i].name)

看看你所有的可变权重是否正确，如果权重缺失或者未发生变化，说明你也中招了。

Gupta还自己用Transformer库创建模型的bug在Colab笔记本中复现了，有兴趣的读者可以前去观看。

https://colab.research.google.com/gist/Santosh-Gupta/40c54e5b76e3f522fa78da6a248b6826/missingtrainablevarsinference_var.ipynb

对此问题，Gupta给出的一种解决方法是：改为使用Keras子类创建模型。改用此方法后，所有的权重都将出现在trainable_variables中。

为了绝对确保用函数式API和子类方法创建的模型完全相同，Gupta在每个Colab笔记本底部使用相同的输入对它们进行了推理，模型的输出完全相同。

但是，使用函数式API模型进行训练会将许多权重视为冻结，而且这些权重也没有出现在non_trainable_variables中，因此无法为这些权重解冻。

为了检查谷歌最近是否修复了该漏洞，Gupta还安装了Nightly版的TF 2.3.0-rc1，保持框架处于最新状态，但如今bug依然存在。

网友：还是用PyTorch吧

刚刚，Keras创始人在Twitter上回复，这不是Keras的bug，并建议程序员使用单元测试。

对于Gupta所说的bug，有网友说，他在TensorFlow和Keras之间传递权重的时候，出现了类似的错误，从此转而使用PyTorch。

另外还有不少网友也反映，谷歌的框架不太完善，管理方式一团糟，是在让用户帮他们测试TensorFlow的bug。

反观PyTorch，说明文档通俗易懂，最近官方还出了免费电子书，难道用PyTorch不香吗？

你现在在使用哪种深度学习框架，你也遇到过类似的严重bug吗？

原帖链接：
https://www.reddit.com/r/MachineLearning/comments/hrawam/d_theres_a_flawbug_in_tensorflow_thats_preventing/

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

了解AI发展现状，抓住行业发展机遇

如何关注、学习、用好人工智能？ 

每个工作日，量子位AI内参精选全球科技和研究最新动态，汇总新技术、新产品和新应用，梳理当日最热行业趋势和政策，搜索有价值的论文、教程、研究等。

同时，AI内参群为大家提供了交流和分享的平台，更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅：

AI社群 | 与优秀的人交流

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/