大数据,why python
《机器学习编程语言之争,Python夺魁》,又是一只黑天鹅
- 比pythonXY更加强大,内置全中文用户手册;
- 苹果“开箱即用”模式,绿色软件,解压即可,零配置。
- 首个All-in-one大数据分析平台:内置pandas、Scala、R语言、Q语言、Quant、matlab、hadoop、spark模块库和API接口支持。(仅限V3.0版本)
- 超强功能:图像处理、AI人工智能、机器学习、openCV人像识别、gpu、openCL并行超算开发、pygame游戏设计......
《大数据,小数据,哪道才是你的菜?》
http://blog.sina.com.cn/s/blog_7100d4220102vkdb.html
看来,zw的大方向,还是正确的 :)
《大数据·实战个案“宏”分析》作为附件发这里
大数据·实战个案“宏”分析
MBA教育体系最成功之处,就在于导入了科学的个案分析。
Ps,二战最伟大的技术成功,不是原子弹、导弹、喷气机,而是流水线。流水线提供的生产力,比二战所有科技提高的总和还要高。
至于“宏”,学过c语言的,都知道宏定义、宏替换。
本文不玩文字游戏,也不玩数字游戏,只是简简单单,对几个大数据实战个案,进行宏观的定性分析。
目前,大数据,和大数据分析的核心,人工智能,都处于v0.1的黑暗期,这个阶段,“宏”分析,可能比大量的数字堆砌,更加重要。
还记得量子物理学爆发前的原子轨道模型吗?
当时,有几个人能够想象、理解原子轨道的跳变模型?
还记得天圆地方、地球中心学吗?
要不是哥伦布,“宏”分析一把,认为地球是个“球”,敢去环球探险?
废话少说,言归正传。
本文“宏”分析,包括以下几个大数据案例:
l 经典“啤酒+尿布”案例
l 2015中国股市“七·七”股灾
l 国内首个大数据网络推广个案
个案1:经典“啤酒+尿布”案例
“啤酒+尿布”案例,是最经典、最古老的大数据个案,其历史甚至比大数据这个名词更悠久。
早在上个世纪,dbase时代,数据仓库,数据分析,都用其做过案例。
久而久之,“啤酒+尿布”案例,似乎成了“神”一样的存在。
好像三大几何原理,成为大数据的基本“公理”。
不过,这个“神”,是“伪神”。
参见:《字王看:大数据观点补充》
http://blog.sina.com.cn/s/blog_7100d4220102vkdb.html
【黑天鹅才是新常态】
"啤酒和尿布有什么关系",这个十年前经典案例, 目前我是作为反面课件来说的
这个是冰岛的一个数据分析结果,至少 在中国 不存在
参见:《大数据与黑天鹅等》
http://blog.sina.com.cn/s/blog_7100d4220102vkxa.html
大数据,再多的专家,再nb的模型,再炫的demo,
也不如自己亲自去沃尔玛、家乐福、华润等超市亲眼看看,再回头问问这些大师们,"啤酒和尿布"模型,怎么玩砸了?
个案2:2015中国股市“七·七”股灾
blog《股灾、马云、大数据》
http://blog.sina.com.cn/s/blog_7100d4220102vpzv.html
blog,虽然发布与7月20日,但成文要早得多。
“这篇blog,股市关头“七·七”之日,就差不多构思,因为事件敏感,一直压住没有发布。”
笔者的这篇blog,可能是全网第一个,从大数据分析、技术层面,对“七·七”股灾,进行“宏”分析,断定事件:
“七·七”股灾,根本就不关华尔街、美帝什么事?
幸运的是,笔者blog当中,对于“七·七”股灾的“宏”分析,及其推断,目前,已经证明是科学的、正确的。
“七·七”股灾前后,整个社会好像“三战”核弹爆发,经济、金融的“灭国”之战,国家经济有倒退十年的危险。。。。。
连外访总理都匆忙回国,好像美国华尔街、联合欧洲、日本等全球资本,恶意做空中国,
更加关键的是,这种错误的推断,引发了政府部门实质性的的救市行为,上万亿的资金被导入股市,
好似当年三个代表,有关政府部门,近期言必“大数据”,这次股灾应对,必然会极大的参考大数据方面的资料。
可惜,政府主导的大数据,和其他政府项目一样,往往换来的是是十倍、百倍的失败。
面对“七·七”股灾,政府种种应对措施,全面失败,而且,闹出了个世界金融史上的超级“大乌龙”事件,居然找错了“靶标”。
“七·七”股灾的最终调查结果,目前虽然没有发布,但有消息称,虽然不一定正确:
前期,不过是江浙的一些土老板,为防止风险,做的空头对冲保险,因为配资杠杆,引发的技术性股市大幅度下调。
后期,则是因为程序化交易系统,对阀值K值的设定,引发的一系列自动抛盘,
就像前几年光大乌龙事件,专业人员一听,就知道是因为交易系统,相关参数,未进行初始化设置,直接上线引发的自动抛盘
也许,“七·七”股灾,根本就不关华尔街、美帝什么事?
完全是躺枪。
ps,8月10日新增片段:笔者很少引用中华网的资料,因为基本是TG的文宣。不过这次,过了一个月,这些blog也羞羞答答、间接认可了上面的推断。
《大老虎想在中国玩双头政治?白日做梦》 http://jnwct.blog.china.com/201508/13458004.html
欧洲最近有点看中国的笑话。大老虎作乱。欧美都看笑话。
(ps,应该就是这个“七·七”股灾的超级“大乌龙”事件)
个案3:国内首个大数据网络推广个案
2004年,我们利用AI人工智能和大数据分析技术,研发成功国内首个海量级社区营销软件:百万社区营销系统(软件著作权登记号:2005sr5133)。社区数据库超过一百万个,比同期类似产品,高两个数量级。
2008年,依托百万社区营销系统,在北京联合创办国内首家4A级的专业网络公关公司:wowa传媒,首年业绩突破一千万。
同年,“特仑苏” 危机公关案爆发,wowa受中国国际公关协会委托,在北京,首度对国内大型公关公司,统一进行专业的网络公关培训,被协会誉为:中国网络公关事业的开拓者和启蒙者。
Wowa服务过150+国际500强客户;是微软公司首家官方认证的网络公关服务商;新华美通首选网络传媒合作伙伴;国内TOP10网络公关公司,50%采购过wowa的服务。
2007年,操盘惠普笔记本“数码混搭”推广个案,成为年度十大公关行业经典案例(注意,非仅指网络公关);被业界誉为:史上最强之网络推广案例,没有之一;不可逾越的概念营销“标杆之作”。
我们在惠普笔记本“数码混搭”推广个案当中,首度提出的百度、谷歌搜索引擎:覆盖率指标,NLP反向链接数,等参数,目前已经成为网络公关行业的基础指数。
这个也是大数据技术,首度在网络推广方面的应用个案,我们当时的经验参数:1:1000。(百度NLP反向链接数-抽样采集率)。
按照客户要求,利用自行开发的AI语义分析系统,针对“笔记本电脑”,“数码混搭”两个主关键词,结合百度、搜狗的行业分类关键词,将发布主题帖,细分为数十组不同风格的软文,并在每篇软文前后,插入系统细分的关键词组。
硬件方面,我们采用了近百台PC,组成了一个简单的发布集群系统,通过1-2周时间,围绕关键词:hp笔记本、数码混搭,发布了过百万条网络推广软文。
最终,hp笔记本“数码混搭”的网络推广方案,获得了“空前绝后满天飞”的成功,软文的存活率非常高。
“数码混搭”个案当中高至70-80%的覆盖率,至今,国内外尚没有一家团队、公司能够超越,包括百度、谷歌自身。
技术博客:http://blog.sina.com.cn/zbrow
--------------
zwPython 3.0 初步规划
zwPython 3.0目标:目前最强的集成式Python开发平台,大数据分析平台,没有之一:
- :: 比pythonXY更加强大,内置全中文用户手册;
- :: 苹果“开箱即用”模式,绿色软件,解压即可,零配置。
- :: 首个All-in-one大数据分析平台:内置pandas、Scala、R语言、Q语言、Quant、matlab、hadoop、spark模块库和API接口支持。(仅限V3.0版本)
- :: 超强功能:图像处理、AI人工智能、机器学习、openCV人像识别、gpu、openCL并行超算开发、pygame游戏设计......
因为“All-in-one”大数据分析平台,增加了N多第三方软件,许多都是目前IT领域最前沿的大型系统,
测试相关脚本代码很耗时间,相关软件,包括python本身,也都在不断更新当中(而且非常活跃),
目前无法确定最终发布时间,初步预计需要6-10个月。
幸运的是,zwPython 3.0,基本平台框架,和80%的新增模块,都已经到位
至于为什么选择python,作为大数据分析平台,请参见blog《大数据,why python》
http://blog.sina.com.cn/
---
更多参见blog《大喜,python版opencv3发布 》
http://blog.sina.com.cn/s/blog_7100d4220102vo2m.html
zwPython3的升级也可以启动了,一直在等这个,zwPython会直接升级到版本3:zwPython3
大喜python版opencv3发布,demo脚本抢鲜版发布
zwPython3采用64位python3,支持opencv3
zwPython3的重点会由原来偏重于字库、图像处理,延展到大数据领域,会重点强化以下模块:
pandas数据分析
theano、Scikit Learn机器学习
cuda、gpu并行超算
采用python3,是因为v3的内码是unicode,而且是趋势,目前模块库也n多了,超过一万个
原来用2.7版,最主要的是因为opencv2对python3 的支持很差
遗憾的是,opencv3的demo脚本还都是python2的,连GitHub的官方包都是
为方便大家学习opencv3,用2to3.py把demo脚本升级到python3,并修改了数据包目录
测试了一下,70%可以直接运行
作为抢鲜版,大家先凑合用用
下载还是在zw项目的百度网盘:
http://pan.baidu.com/s/1tY7Wq
文件名:cv3python3demo.zip
转载于:https://www.cnblogs.com/ziwang/p/9500397.html
大数据,why python相关推荐
- python可以处理多大的数据_科多大数据之Python基础教程之Excel处理库openpyxl详解...
原标题:科多大数据之Python基础教程之Excel处理库openpyxl详解 科多大数据小课堂来啦~Python基础教程之Excel处理库openpyxl详解 openpyxl是一个第三方库,可以处 ...
- python大数据招聘信息_2017招聘大数据丨Python需求增速达174%,AI人才缺口超百万!...
原标题:2017招聘大数据丨Python需求增速达174%,AI人才缺口超百万! 看了Boss直聘发布的<2017互联网人才趋势白皮书>,奇小酷只有一句话要说,新的一年,希望大家火的像Py ...
- python是一种面向对象的高级语言_为什么入门大数据选择Python而不是Java?
马云说:"未来最大的资源就是数据,不参与大数据十年后一定会后悔."毕竟出自wuli马大大之口,今年二月份我开始了学习大数据的道路,直到现在对大数据的学习脉络和方法也渐渐清晰.今天我 ...
- 大数据第二阶段Python基础编程学习笔记(待完善)
大数据第二阶段Python基础编程学习笔记(待完善) 第一章 Python基础语法 3.8 1-1Python概述 python基础部分: ●Python基础语法: 标识符,关键字,变量,判断循环.. ...
- 大数据迁移——Python+MySQL
大数据迁移--Python+MySQL 引言 方法一:数据库复制 --最糟糕 方法二:数据库转存--最蜗牛 方法三:数据库备份--最尬速 方法四:内存操作Python+MySQL--最火箭 引言 最近 ...
- 一贴集齐大数据、Python、全栈等所有资源,免费分享,持续更新!!!
[上海校区] 一贴集齐大数据.Python.全栈等所有资源,免费分享,持续更新!!!
- 大数据用Python还是JAVA
前言 大数据用python还是java?书声琅琅教育番茄老师介绍,人生苦短,我用python,这是目前比较流行的行话了,对于用python好还是JAVA好,大家都有自己的看法,虽然JAVA流行时间较, ...
- 视频教程-Python大数据可视化-Python
Python大数据可视化 7年软件开发架构经验,12年IT培训经验,曾就职于拜特科技,金蝶软件,软酷网络等多家互联网公司.擅长Java EE,前端,iOS及大数据等技术方向的开发及教学.策划并撰稿大数 ...
- python大数据和java大数据的区别-未来Java、大数据、Python哪个前景更好,薪资更高?...
都知道现在最火爆的是人工智能.大数据.而人工智能和大数据主要用的语言就是Java和Python.今天我们就来分析一下,当前java,python和大数据,哪个就业前景更好?自己该学哪一个? Java和 ...
- 大数据和python哪个好_大数据语言之争:Java和python哪个好?
IT技术领域,编程语言不少,但是大家的目光,基本上都是盯着排名前几的热门语言的,近几年的热点,Java和Python之间也免不了一场争议.一个是IT行业常青树,一个是大数据带动热度快速上升的语言.那么 ...
最新文章
- 硬盘出现坏道后的修复技巧
- 第三章:lambda表达式
- linux远程连接硬件加速,linux – 没有X的硬件加速
- [安全攻防进阶篇] 七.恶意样本检测之编写代码自动提取IAT表、字符串及时间戳溯源
- 【floyd】【bitset】洛谷 P1841 [JSOI2007]重要的城市 题解
- 容器编排技术 -- Kubernetes kubectl create quota 命令详解
- 【中国好公司】中国人最向往的公司:BAT相差太多!华为排名出乎意料
- Spring Controller – Spring MVC控制器
- EDMA - DMA QDMA
- 大数据项目-4.下载安装谷歌翻译插件
- Cesium 获取屏幕所在经纬度范围
- 灰度发布--Spring Cloud Gray
- Java机器学习库(Java ML)(一、分类)
- 样本标准差分母为什么是n-1
- 利用nero 8刻录DVD教程
- pyhton前景之个人愚见
- java木马_Java校验上传图片文件是否含有木马的两种方式
- htonl htons ntohl ntohs inet_pton inet_ntop
- 除了Sublime Text ,还有啥笔记应用能double代码效率?
- 学计算机的上升路线,学习计算机路线图.doc