一，本周工作

1，读完《2017-FedAvgCommunication-Efficient Learning of Deep Networks》论文

收获如下：

①

本文提出了基于迭代模型平均的深度网络联邦学习

本文提出了一种新背景，可以利用移动设备中存储的大量数据来训练模型

试验表明本文方法对于不平衡和非IID分布的数据效果很好，并且比分散训练同等网络需要的轮数少几个数量级

本文 Federated Average Learning(联合平均学习)

②

本文针对数据---移动设备中数据

特点：

1，来自真实用户，比数据中心的代理数据更有价值

2，更加敏感，尽量不要收集这部分数据

3，标签可以在于用户交互中自然推断出来

③

系统上还要解决一些实际问题：

1，客户端数据集岁数据的添加和删除而变化

2，以复杂方式与本地数据分布相关联的客户端可用性

(这些问题本文全都不考虑，instead，使用了一个适合实验的受控环境)

本文试验描述

1，有一组固定K个客户端(这里客户端不宜太多，否则影响效果)，每个客户端有固定的本地数据集

2，在每一轮开始时，随机选择C个客户端，并且服务器将当前全局算法状态(指模型的参数)发给这些客户端的每一个

3，每个客户端基于全局状态和本地数据集执行本地计算，并向服务器发送更新，然后，服务器将这些更新应用于全局状态，并重复该过程

④

关键观点：

1，数据中心优化中，计算成本远大于通讯成本，而在联合优化中通讯成本远大于计算成本

因此，本文打算增加额外的计算，来减少训练模型所需要的通信次数

主要方式如下：

1，增加并行性，每一轮选中更多客户端 (本实验未采用这种方式)

2，每个客户端上的计算增加，让每个客户端在每个通讯回合之间进行更复杂的计算(而不仅仅是梯度计算这种简单的计算)

2，读对应论文

二，下周计划

复杂聚合端的开发，需要学习socket与后端进行模型的交互，多线程技术，处理多个后端传来的信息，模型聚合技术。

目前打算是继续结合论文看代码，查明聚合端是如何聚合的，同时返回模型是如何更新的

软件工程项目实训02相关推荐

软件工程项目实训01
本周工作: 1,查看相关论文如: 1,<An_Asynchronous_and_Real-Time_Update_Paradigm_of_Federated_Learning_for_Faul ...
软件工程项目实训08
一,本周工作 1,学习python连接数据库 import pymysql from ip_port_get import * def insert(conn, cursor, ip, port):s ...
软件工程项目实训05
一,本周工作与后端进行联机,把整个流程走一遍,在联机过程中出现了一下几个bug: 报错:Forbidden (CSRF cookie not set.): /register/ [08/May/20 ...
持久层是什么意思_软件项目实训及课程设计指导—如何在数据持久层中应用DAO模式...
软件项目实训及课程设计指导--如何在J2EE应用系统数据持久层中应用DAO模式 1.为什么要在软件应用系统中提供数据持久层软件应用系统中的数据持久层主要为整个软件应用系统提供数据访问功能服务,从而可 ...
java编码规范文档下载_软件项目实训及课程设计指导——制定待开发项目中各种文档的规范...
软件项目实训及课程设计指导--制定待开发项目中各种形式文档的规范 1.制定对课程设计项目开发过程中的规范性要求 (1)从"形式"到"内容"两个方面控制和要求开发 ...
c语言项目研发实训设计,关于软件设计实训心得体会（通用5篇）
关于软件设计实训心得体会(通用5篇) 当我们经过反思,对生活有了新的看法时,往往会写一篇心得体会,这样能够让人头脑更加清醒,目标更加明确.那么好的心得体会都具备一些什么特点呢?以下是小编精心整理的关于 ...
软件开发实训（720科技）――产品经理能力模型
软件开发实训(720科技)――产品经理能力模型一.关键字执行能力,情商,沟通,产品分析,项目,能力二.授课老师:张森鹏三.知识笔记 1. 学习能力(Learning Ability) 有些东西 ...
计算机办公应用实训教程,《21世纪高等学校规划教材·计算机应用：Office办公软件同步实训教程》—甲虎网一站式图书批发平台...
<21世纪高等学校规划教材·计算机应用:Office办公软件同步实训教程>内容简介: <21世纪高等学校规划教材·计算机应用:Office办公软件同步实训教程>介绍Office ...
软件开发实训（720实训）——3细述QQ与TIM的不同之处
内容关键词:3细述QQ与TIM的不同之处知识来源: 网络整理.张森鹏创业经历.张森鹏产品理念分享课程: 软件项目实训授课老师:张森鹏(新浪ID:sunlifestyle.中城投丝路.720科 ...
软件开发实训（720实训）——4从调研到设计，换发型产品设计的从0到1
文章主题: 从调研到设计,换发型产品设计的从0到1 内容关键词: MECE分析法.制定整体计划.结构输入.产品机会点知识来源: 网络整理.张森鹏创业经历.张森鹏产品理念分享课程: 软件项目实训 ...

软件工程项目实训02

一，本周工作

1，读完《2017-FedAvgCommunication-Efficient Learning of Deep Networks》论文

2，读对应论文

二，下周计划

软件工程项目实训02相关推荐

最新文章

热门文章