从零开始实现attention/transformer/bert/gpt模型
本文代码可从 我的github 下载。
给定某个需求,如希望对图像中指定位置(rect)的内容进行分类,类别如自行车、船等,即输入包括图像以及图像内ROI区域,输出是类别。
一般的思路是把ROI区域crop出来然后用resnet等网络进行分类,但我们进一步分析会发现ROI区域之外的信息其实对于分类的效果提升也是有帮助的,比如船一般周围是水面或者码头等而自行车一般不会在水里。
最近学习了下PyTorch的使用,感觉这种“所见即所得”的网络构建运行方式确实方便,比TensorFlow之类的先定义静态图然后再run的方式要灵活很多,调试也方便不少。
学习过程中也有一些疑惑,记录下来备忘。
2017年的最后一天下午,懒得出去玩(实际是无处可去╥_╥),索性在家写个2017年的回顾。上一次认认真真的写年终回顾可能是2013年底了,过去的2012/2013,一些总结和感想。
一直觉得写回顾记录回忆是种有点心虚又有点幸福的经历。心虚在于大多蹉跎一载,愧对光阴。幸福又在于记忆才是人与人之间得以区分的根本,记忆是在时光海中存在的证明,以后老了能在暖阳下嘴角含笑一篇篇记忆翻出来咀嚼回味,想想也快活。
2018年已经到来,拥有一个新的开始从一个新的头脑开始,武装自己头脑的最好方法之一就是阅读。从财经类的书开始,加深各方面的理解和修养。
之前在kindle上已经购买了一些,挑了本广为人知的《穷爸爸,富爸爸》,花了一晚上看完了。在这里写下自己的读后感(希望之后每一本值得回味和讨论的书都能写一篇读后感)。
本文是应用TensorFlow进行多任务&多标签分类的一个示例(TensorFlow Multi-Task Multi-Label Example)。
以Mnist数据集为燃料,以简单的MLP为引擎,代码走起。