深度学习系统中的log问题
在训练模型的过程中,总会进行调参工作。
原则上是,让机器跑,人抽身出来,做更愉悦身心的事。
此时,就可以想办法把调参过程中的参数保留下来,等事后再来观察结果,分析结论。
那么有什么打LOG的方法呢?
1. 首先是利用第三方工具,logging,去打log。
但这种方法要求你在代码中要定义相应的logging。
比如logging.info("这是一条log")
假设用第三方的代码,人家用print输出,那你就毫无办法了。
2. 其次是利用自带的工具,比如tensorflow中自己会自带一些打log的工具。
而我这一次使用的Chainer,也有自己的log组件。
trainer.extend(extensions.LogReport(log_name="log_file.txt"))
可是这个log组件,并不好用,它只能存储上一次的log_file,也就是最近一次运行的log。
我没有在文档里发现解决只能存储最后一次的方案,并且,其输出模式受到限制。或许重写是个好办法。
3. 第三种是文件重定向的方法。
比如说用>> 方法,将print的信息直接输出到文档中去。
但这种方法付出的代价是不能在输出中看到print的信息,那有的时候,我们想要同时观察,那就只能打开log文件。
有个方法是 tee 命令,然而问题是,在我这里它是无效的!无效的!有解决方案请联系我。
4. 第四种是tmux的方法。
用tmux这个工具可以解决这个问题,因为我们可以用control + b +【 去查看相应的存储区的记录。
可惜,这个记录是有限的,大伙可以调控,2000行,5000行都可以。如果超了,就没记录了。
那么只要将所有记录保存在文件中就行了。
在进入tmux的某个session之后,用如下代码,就可以将其保存了。
记住,一定要在前面加tmux,并且,一定要有exec cat >> ,直接的路径,在我这里,是没有保存的。(或许有,在整个计算机里搜索一下,我没有做这件事。)
tmux pipe-pane -o "exec cat >> /home/guowei/contextual_augmentation/log1.txt"
祝好: 联系方式:945786604@qq.com
深度学习系统中的log问题相关推荐
- 哈佛医学院解析:触发医学深度学习系统受到「对抗攻击」的诱因有哪些?
原文来源:arXiv 作者:Samuel G. Finlayson.Isaac S. Kohane.Andrew L. Beam 「雷克世界」编译:EVA 对抗样本的发现引起了人们对深度学习系统的实际 ...
- CMU | 深度学习模型中集成优化、约束和控制
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作分享,不代表本公众号立场,侵权联系删除 转载于:专知 AI博士笔记系列推荐 周志华<机器学习>手推笔 ...
- 谷歌新深度学习系统可以促进放射科医生的发展
编译 | 禾木木 出品 | AI科技大本营(ID:rgznai100) 谷歌人工智能研究人员团队在<自然>上发表了一篇新论文,深度学习可以检测出异常胸部 X 光片,其准确度可与专业放射科医 ...
- 智源青年科学家候选人 | 张祥雨:挑战自动化深度学习系统
4月16日,北京智源人工智能研究院发布"智源学者计划",宣布重点支持四类人才:智源科学家首席(CS).智源研究项目经理(PM).智源研究员(PI),以及智源青年科学家. 其中,智源 ...
- 寻找下一款Prisma APP:深度学习在图像处理中的应用探讨
在9月23日到9月24日的MDCC 2016年中国移动者开发大会"人工智能与机器人"专场中,阿里云技术专家周昌进行了题为<寻找下一款Prisma APP:深度学习在图像处理中 ...
- 深度学习系统相比较传统的机器学习系统,针对常见的分类问题,精度究竟能有多大提升?...
来源:知乎 原文链接:深度学习系统相比较传统的机器学习系统,针对常见的分类问题,精度究竟能有多大提升? 问题: 我现在手头有一个binary classification的问题.数据量在一百万左右.每 ...
- 美团深度学习系统的工程实践
背景 深度学习作为AI时代的核心技术,已经被应用于多个场景.在系统设计层面,由于其具有计算密集型的特性,所以与传统的机器学习算法在工程实践过程中存在诸多的不同.本文将介绍美团平台在应用深度学习技术的过 ...
- Kubernetes-native 弹性分布式深度学习系统
9月11日,蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 El ...
- 论文 | 《深度学习系统的隐私与安全》综述论文,187篇文献总结
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 编辑:Sophia 计算机视觉联盟 报道 | 公众号 CVLianMeng 转载于 :专知 [人工智能资源(书籍 ...
最新文章
- Spring Security 4 Method security using @PreAuthorize,@PostAuthorize, @Secured, EL--转
- 关于如何查看mysql版本及其端口号
- HFSS中的求解类型(Solution Type)
- 揭秘Python并发编程——协程
- jQuery: 选择器(DOM,name,属性,元素)
- VS2005(C#)里读取及改变App.config里appSettings节的值
- Acwing 1243 糖果 - IDA*估值函数
- java画太极加图片_使用Java 2D绘制黑白太极图案
- java faker_Java 生成测试字符串的库:Java Faker
- 关于win10X64 连接oracle
- ImportError:undefined symbol: _ZN2at5sliceERKNS_6TensorElN3c108optionalIlEES5_l
- 果粉黑诞生记——兼谈文件夹隐喻
- To B业务与To C业务(产品),用户需求,产品文档,技术和业务
- ros操作命令与实操-话题发布
- java后台请求第三方接口,写入中文参数时失败“message“:“Invalid UTF-8 start byte 0x84\n at XXXXXXXXX
- 程序员到了35岁真的会失业吗?
- 汇编语言(1)- 计算机基础
- NRF52x开发环境搭建详解
- Word文档常见的三大问题及其解决方法(珍藏版)
- python暑期训练100题