batchsize实验
一.云从API使用
# -*- coding: utf-8 -*-
"""
Spyder EditorThis is a temporary script file.
""""""
Created on Fri Oct 21 20:58:16 2016@author: berwin
"""
import requests
import base64import sys
sys.path.append('/usr/local/lib/python2.7/dist-packages')import cv2img_file_name='test2.jpg'
img = cv2.imread(img_file_name)imgEncode = cv2.imencode('.png',img)[1]
imgBase64 = base64.b64encode(imgEncode)#云从API
param = {'app_id': '','app_secret': '','img': imgBase64}
r = requests.post('http://120.25.161.56:7000/face/tool/keypt', param)
# print(r.text)faces=r.json()['faces']
file_name=img_file_name.split('.')[0]
frame_file=open('frame_'+file_name,'w')
keypt_file=open('keypt_'+file_name,'w')for face_id,face in enumerate(faces):x = int(face['x'])y = int(face['y'])w = int(face['width'])h = int(face['height'])cv2.rectangle(img,(x,y),(x+w,y+h),(0,255,0),1)frame_file.write(str(face_id)+' '+str(face['x'])+' '+str(face['y'])+' '+str(face['width'])+' '+str(face['height'])+'\n')for point_id,point in enumerate(face['keypt']):cv2.circle(img, (int(point['x']), int(point['y'])), 1, (0,0,255), -1)keypt_file.write(str(face_id)+' '+str(point_id)+' '+str(point['x'])+' '+str(point['y'])+'\n')
cv2.imshow('faces', img)
cv2.waitKey()
cv2.destroyAllWindows()
frame_file.close()
keypt_file.close()
结果如下:
二.对比实验
1.不同的BatchSize影响
batchsize:批大小。在深度学习中,一般采用SGD训练,即每次训练在训练集中取batchsize个样本训练。不同的batchsize对训练都会产生不同的影响。
实验一使用的batchsize为默认值100,结果为out2所示,batchsize为500时,结果为out所示,我们可以看出当batchsize增加的时候,loss下降的更加稳定,抖动不严重。具体理论可见知乎的讨论<https://www.zhihu.com/question/32673260>
常见的网络训练时,不同的batchsize选择如下:AlexNet 256,VGG 8,GoogleNet 32。
2.给cifar10网络添加batchnormalization
什么是batchnormalization?bn是google 2015年出来的一种方法,目的是加速训练时候的收敛。论文参考<https://arxiv.org/pdf/1502.03167v3.pdf>他主要是想把网络每一层的输入都还原到0均值单位方差的情况,我们之前通过减均值的方法,
也是这样的一个目的,但这样只能在模型的输入做,并不能对后面其他层有这样的效果。加了bn我们的网络结构如下:
训练结果如下:
out_bn是加了bn的结果,我们可以看出cifar加了bn并没有使loss下降的更快,只是loss下降的比较平缓,这应该是
这个网络太小的原因,也就是说对于小网络,加不加bn对训练结果影响不大,加了Bn只会着增加计算负载。
batchsize实验相关推荐
- tf.argmax函数
原文链接:https://blog.csdn.net/u013580539/article/details/79339250 关于tf.argmax,我看到网上的资料有些杂乱难以理解,所以写这篇文章. ...
- sklearn学习笔记(一)——数据预处理 sklearn.preprocessing
python sklearn 更多 个人分类: Python 数据处理 sklearn 数据预处理 sklearn.preprocessing 查看全文 http://www.taodudu.cc/n ...
- 「AI不惑境」学习率和batchsize如何影响模型的性能?
https://www.toutiao.com/a6712708989177561611/ 大家好,这是专栏<AI不惑境>的第四篇文章,讲述学习率以及batchsize与模型性能的关系. ...
- 【技术实验】表格存储Tablestore准实时同步数据到Elasticsearch
实验背景 图书馆Q是一家大型图书馆,图书馆藏书众多,纸质图书600多万册,电子图书7000多万册,总数有八千多万册,这些图书之前都是人工检索维护的,现在需要做一个系统来存储管理这些图书信息. 需求如下 ...
- 神经网络调参batchsize对网络性能影响
本文设计了一个81*60*2的神经网络结构,并将学习率固定为0.1,噪音比例控制在0,批次数量200,每批迭代次数10000次,每10批进行一次测试,并逐渐的改变batchsize观察batchsiz ...
- 【AI不惑境】学习率和batchsize如何影响模型的性能?
大家好,这是专栏<AI不惑境>的第四篇文章,讲述学习率以及batchsize与模型性能的关系. 进入到不惑境界,就是向高手迈进的开始了,在这个境界需要自己独立思考.如果说学习是一个从模仿, ...
- 深度学习中学习率(lr:learn rate)和batchsize如何影响模型性能?
引用自:学习率和batchsize如何影响模型的性能? 文章目录 1 为什么说学习率和batchsize 2 学习率如何影响模型性能? 2.1.初始学习率大小对模型性能的影响 2.2.学习率变换策略对 ...
- 信息抽取(五)实体命名识别之嵌套实体识别哪家强,我做了一个简单的对比实验
实体命名识别之嵌套实体识别哪家强 嵌套实体识别 实体矩阵构建框架 方法比较 GlobalPointer TPLinker Tencent Muti-head Deep Biaffine 实验结果 总结 ...
- Batchsize不够大,如何发挥BN性能?探讨神经网络在小Batch下的训练方法
由于算力的限制,有时我们无法使用足够大的batchsize,此时该如何使用BN呢?本文将介绍两种在小batchsize也可以发挥BN性能的方法. 本文首发自极市平台,作者 @皮特潘,转载需获授权. 前 ...
最新文章
- BlueTooth: 蓝牙基础知识进阶——链路控制操作
- ExtJs自学教程(1):一切从API開始
- nodemanager不能正常关闭_Java虚拟机关闭钩子(Shutdown hook)
- 服了,为什么100M宽带还这么卡?
- android 判断手机计步_干货:电脑控制手机 一定不能错过的神器
- 图像变换dpi(tif->jpg),直方图均衡化,腐蚀膨胀,分水岭,模板匹配,直线检测
- 使用java实现持续移动的小球
- vim 打开特殊文件—— 目录以及压缩包
- 运用异或运算实现两个数不通过中间变量交换值的原理分析
- 〔转〕Word域的应用和详解2_等式和公式域
- 教学管理系统数据库设计Mysql_教务管理系统数据库设计方案.docx
- 7、微信小程序-wxs脚本
- Java丨策略模式丨模拟充值Q币
- P8195 [传智杯 #4 决赛] 小智的疑惑 —KMP
- 马丁 路德 金的演讲词 I have a dream
- 2017年10米分辨率全球土地覆盖产品(FROM-GLC10)Python下载爬虫
- 【2629】Identity Card 【比较坑 / 水题】
- 如何实现 Oracle 的自增序列,两步轻松搞定
- 暗原色先验图像去雾算法研究_先验算法
- 给百度地图每个市添加颜色
热门文章
- java 获取字符串最后一个字符
- NAS 网络附加存储
- 如何生成精确的调频载波和线性调频脉冲雷达测试信号?(一)
- kaggle 入门_Kaggle入门:房价竞争
- 信安安全技术 实验三 20155303 20155312 20155325
- pygame小游戏外星人入侵子弹问题
- 2片被长矛刺穿的内存
- SqlServer清空一个数据库中所有表数据保留表结构
- Lab: Exploiting XXE using external entities to retrieve files:利用外部实体利用 XXE 来检索文件...
- ADC性能指标(INL/DNL/GE/OE/SNR/THD/SINAD/SFDR/ENOB)(用函数的观点来理解)