1 城市计算的概念和框架

1.1 城市计算的定义

城市计算是一个通过不断获取、整合和分析城市中多种异构大数据来解决城市所面临的挑战(如环境恶化、交通拥堵、能耗增加、规划落后等)的过程。

1.2 城市计算的框架

基本框架包括 城市感知和数据获取——城市数据管理——城市数据分析——服务提供 四个环节
城市计算是一个多数据多任务的系统。

1.3 城市计算的核心问题

1)城市感知(计算)。利用城市中现有的资源不断自动感知城市的韵律。人作为传感器参与到城市感知过程(亦称为群体感知)。城市感知不再只是感知的过程,也包含能够从复杂、隐晦、缺失和非均匀分布的数据中获取有效知识的计算环节。
2)海量异构数据的管理。如何管理和整合大规模的异构数据是一大难题。尤其是在一个应用中使用多种数据时,只有提前建立起不同数据之间的关联,才能让后面的分析和挖掘过程变得高效、可行。
3)异构数据的协同计算
传统的机器学习往往只能基于单一数据。在城市计算的很多应用中效果并不理想。在保证知识提取深度的同时,如何提高对大数据的分析效率,以满足城市计算中众多实时性要求较高的应用也是一个难题。数据维度的增加也容易导致数据稀疏性问题。
4)虚实结合的混合式模式。比如云加端模式。

1.4 城市计算的应用分类

城市计算主要涉及但不限于的7类应用:城市规划、智能交通、城市环境、城市能耗、城市经济、社交和娱乐、城市安全。

2 城市计算的主要技术

2.1 传感器技术

1)传感器网络技术,实现现有专业传感器之间的互联互通,完成数据的快速收集。
2)主动参与式感知技术。用户主动分享自己获取的数据来共同完成一个复杂的任务。
3)被动群体感知。利用非专门为城市计算设立的基础设施收集用户在使用时产生的数据,将这些数据融合到一起就能很好地反映城市的规律。特点是,被动式群体感知中的用户并不知道自己的数据将作何使用,甚至不知道自己在产生数据。

2.2 数据管理技术

1)流数据管理技术。大量的传感器数据都以流的形式输入。
2)轨迹管理技术。交通流、人的移动、以及带位置标签的社交媒体都可以表示为轨迹数据(即带有时间戳并按时间排序的点序列)。常用的对轨迹的处理技术包括:地图匹配算法、轨迹压缩、轨迹搜索、轨迹频繁模式挖掘等。
3)图数据管理技术。社交网络中人的关系、不同地区之间的人口流动、道路上的交通流等都可表达为图模型。城市计算中常用带有时空属性的图模型,即每个节点都有空间坐标信息,图中边和点的属性(甚至图结构)会随时间而变化。
4)时空索引技术。有效的索引可以大大提高数据提取的效率,利用时空索引技术将不同种类的数据(如文本、车流量)关联和组织起来,为之后的高效数据挖掘和分析做好准备。

3.3 数据挖掘技术

选择可以应用到城市计算中的模式发现、统计学习和人工智能方法等需要重点考虑以下两个因素。
1)从异构数据中学习到相互增强的知识
方法一:分别从不同的数据中提取特征,然后简单地将这些特征直接拼接并归一化到一个特征向量里,输入到机器学习模型。但由于不区分不同数据的特性,实践证明这种方法并不是最有效的。
方法二:在计算模型的不同阶段先后使用不同数据。
方法三:将不同的数据分别输入到同一个计算模型的不同部分。
2)应对数据的稀疏性
应对数据的稀疏性通常可采用以下三种方法:
①采用矩阵(或张量)分解算法和协同过滤,数据融合方法的一种。

②使用半监督学习算法或转移学习算法。半监督学习算法从具有不同分布的其他数据源中获取知识,从而解决一个机器学习任务中训练样本不足的问题。
③基于相似性的聚类算法。

3.4 优化技术

时空搜索技术和路劲优化相结合、线性规划、动态优化

3.5 混合数据的可视化技术

可视化以直观的方式帮助我们理解获取的知识和模式。与单一数据不同,城市计算中的可视化技术需要同时考虑多个维度,其中,空间和时间是两个至关重要的维度。

paper笔记 | 城市计算概述(郑宇)相关推荐

  1. 基于百度时空大数据的城市计算(讲座精华笔记)

    基于百度时空大数据的城市计算(讲座精华笔记) THU数据派 2017-05-27 23:24 [导读]本文整理自2017年5月24日,百度自动驾驶事业部创始团队成员.高级技术顾问秦伟俊博士在清华大数据 ...

  2. TIANCHI-全球城市计算挑战赛-完整方案及关键代码分享(季军)

    TIANCHI-全球城市计算挑战赛--参赛者将根据主办方提供的地铁人流相关数据,挖掘隐藏在背后的出行规律,准确预测各个地铁站点未来流量的变化.主办方希望通过这次挑战赛,用大数据和人工智能等技术助力未来 ...

  3. IOS学习笔记03---C语言概述

    IOS学习笔记03---C语言概述 0 3.C语言1-C语言概述         qq交流群:创梦技术交流群:251572072                        创梦网络赚钱群:2483 ...

  4. 京东城市陈旭旭:AI和大数据如何撬动“城市计算”?| AIoT+智慧城市峰会

    12月20日,雷锋网(公众号:雷锋网)主办的AIoT+智慧城市峰会在深圳举行,京东城市计算事业部高级专家陈旭旭在峰会上分享了京东如何用AI和大数据打造智能城市. 京东城市计算事业部高级专家 陈旭旭 京 ...

  5. matlab储备池算法,储备池计算概述.pdf

    第 期 电 子 学 报 10 Vol.39 No.10 年 月 2011 10 ACTAELECTRONICASINICA Oct. 2011 储备池计算概述 , 1 12 1 彭 宇 ,王建民 ,彭 ...

  6. 天池发起全球城市计算AI挑战赛-总奖池30万人民币

    点击我爱计算机视觉标星,更快获取CVML新技术 大赛概况 2019年,杭州市公安局联合阿里云智能启动首届全球城市计算AI挑战赛,本次挑战赛的题目选定为"地铁乘客流量预测".地铁目前 ...

  7. 纽约poi数据集_数据福利|微软城市计算、AI for Earth

    1 城市计算 https://www.microsoft.com/en-us/research/project/城市计算/最初接触出租车轨迹研究时了解的该项目,项目提供了很多数据供后续研究者使用.有以 ...

  8. Python数据分析学习笔记:计算向量夹角

    Python数据分析学习笔记:计算向量夹角 通过计算两个向量夹角了解两个向量之间的相关性. # 计算向量夹角import numpy as npdef included_angle(a, b):a_n ...

  9. Python数据分析学习笔记:计算相关系数

    Python数据分析学习笔记:计算相关系数 1.相关系数概念 相关系数,或称线性相关系数.皮氏积矩相关系数(Pearson product-moment correlation coefficient ...

最新文章

  1. 【代码笔记】iOS-在导航栏中显示等待对话框
  2. 语句include和require的区别是什么?
  3. 【Leetocde | 24 】152. 乘积最大子序列
  4. PJSIP学习笔记——从simple_pjsua.c示例程序了解PJSUA-LIB的基本使用流程
  5. antd新增一行页码不正确_antd-Table@4.x对rowKey属性的重构
  6. Oracle12c部署,允许远程访问
  7. SEO技巧之网站优化的具体细节
  8. 【转】XCode环境变量及路径设置 -- 待学习
  9. androidpn的学习研究(三)androidpn-server服务端几个类说明
  10. c语言mpi矩阵乘法,【MPI并行程序】矩阵乘法
  11. 【乌拉喵.教程】TestBench仿真给输出脚赋值引起的问题
  12. WIFI状态下SecoClient链接故障
  13. Mysql计算同比环比(超详细)
  14. 浅谈 Mlp-Mixer(pytorch and keras)
  15. 水声信号混响matlab,水声信号
  16. 图形API的简单了解
  17. 深圳靠谱的python培训机构排名
  18. uni-app获取设备的唯一标识
  19. Anaconda安装Unpacking payload step frozen
  20. IELTS学习(001) - 语法构成原理

热门文章

  1. es实战-Monitoring原理讲解及kibana可视化实战
  2. Notifications (通知、通告)
  3. sql分组查询的使用
  4. 7种经典的统计学谬论
  5. 【优化模型】最优化计算蒙特卡洛法
  6. es文件管理器怎么运行html,es文件浏览器,教您如何使用es文件浏览器连接计算机...
  7. 【2020年高被引学者】 肖桐 东北大学
  8. 【Arduino基础教程】继电器
  9. NFT中国官网怎么进?(中国唯一NFT数字藏品交易平台)操作指南
  10. ThinkPHP 3.2.3~5.0.10 缓存函数设计缺陷后台GetShell实战