python产品经理_数据产品经理该懂的python技术
本文作者详细介绍了python技术,一起来学习一下~
一、Python介绍
小奈:其实你们写的代码好像有不同派系的?
大仁:你是说编程语言?我来介绍下吧,我们来看下GitHub(程序员同城交友、代码协作平台)的数据,看下各种编程语言 Pull Requst的数据, Javascript的提交量最高,前端的鼎盛时期,python则处于飞速上升中,很有潜力。Java一直很稳,常年占据了后端主流编程语言第一。
二、Python热度为何持续上涨?
python可以用来干什么呢?
后端开发语言,常见开发架构django;
数据分析,常用库,pandas;
爬虫,scrapy;
人工智能,tensorflow。
人工智能和数据分析,近年来需求持续攀升,这方面人才待遇也是水涨船高,既然python那么能干,热度自然飞速上涨。
三、爬虫
说到数据分析,我们不得不说下数据来源,一般是内部数据,也有外部数据,外部数据的获取有很多种,最常见的方式就是爬虫了。
爬虫基于robots协议可以公开爬去网络上的信息。
1.爬虫工作原理
python中有成熟的爬虫框架(scrapy、bs4),只要你给爬虫一个网址,它就可以去爬取,和输入url类似却又不同,不同的是爬虫会把这些html文件里有用的信息抓取回来,而且爬虫可以爬取该网站相关的其它链接,像是daquan里的abc、123、456等。
小奈:爬取别人的信息会不会违法?
大仁:看你怎么爬取,其实有个爬虫协议(robots),每个网站都可以声明,其实就是声明哪些文件可以、哪些不可以,下面以淘宝网的robots.txt为例:
User-agent: Baiduspider
Allow: /article
Allow: /oshtml
Disallow: /product/
Disallow: /
遵循robots协议后,爬取的数据不用于商用,基本上没事,商用的话目前还是灰色地带,混沌蛮荒阶段。(抛砖引玉,求专业人士解答下)
2.淘宝对百度的屏蔽
当年还可以在百度里搜索到淘宝商品信息,后来淘宝决定对搜索引擎实施不同程度的屏蔽,那时候淘宝体量还没那么大,屏蔽百度,会少了很多站外流量。
但是这个关键性的决定,让用户心智统一(淘宝里才可以搜索商品),后面现金流般的淘宝广告就更不说了,站在当时,很考验产品决策人。
3.搜索引擎
爬虫似乎和搜索引擎密切相关,是的,是时候来科普下,搜索引擎的工作原理。
假如你在“JackSearch”这个搜索引擎里,输入“产品经理”,那么当你点击搜索时,服务器就会去数据库查找,返回相关的文件信息,那么你就会问,这些文件是哪来的?
是爬虫们去网页世界里爬取的。
当然,搜索引擎远比这个复杂,爬虫抓取回来的信息,还需要存储,建立索引,这个推荐一本书《Luence》。
4.数据产品经理(ex-developer)常用工具
在上古时代,Unix系统连界面都没有,程序员都还是用vi来写代码的,就是密密麻麻黑乎乎的命令行状态。到了今天,依然有部分极客只用命令行(terminal)来写代码,然后现在生活条件好了,大部分程序员都是用集成开发环境,这样子可以提高效率,省下不少脑力。
5.PyCharm (python的集成开发环境)
数据库工具:navicat(for mysql)、robomngo(for mongodb)
后端开发工具:jetbian公司系列,webstorm(for JavaScript)、pycharm(for python)
代码管理工具:sourcetree(for git)、svn
原型工具:axure、墨刀、etc
简单介绍下pycharm,大概长这样子,左边是项目文件(1.py , 2.py), 主界面是文件代码编写窗口,底部是调试窗口。
6.爬虫框架scrapy
Scrapy:Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
这里不得不说下,scrapy是分布式爬虫框架,如何理解?上次也有介绍分布式,分布式就是假如100只爬虫,今天的任务是爬取100本小说,那么如果一百台机器,机器上各有一只,每只爬不同的一部小说,那就是分布式。
分布式爬虫方便性能扩张,极大提高程序的抓取效率。
7.爬虫实践
新建工程 scrapy startproject tutorial;
创建爬虫 scrapy genspider -t xxx.com;
修改settings.py,在settings.py中修改DEFAULT_REQUEST_HEADERA和USER_AGENT;
定义item:DemoItem(scrapy.Item);name = scrapy.Field();title = scrapy.Field();link = scrapy.Field();info = scrapy.Field()
编写spider爬虫逻辑;
储存到数据库(mysql、mongodb、etc)。
8.不想写爬虫又想抓数据?
当然可以的,常见有八抓鱼、火车头之类。八爪鱼有一些优势,比如学习成本低,可视化流程,快速搭建采集系统;能直接导出excel文件和导出到数据库中;降低采集成本,云采集提供10个节点,也能省事不少。
四、数据分析告诉你,天龙八部在讲什么?
小奈:那python在数据分析工作中,如何发挥作用呢?
大仁:数据分析可以用python、r、第三方分析工具,都可以,但最主要还是结合业务,要有分析思路,这个就要求有业务经验了,我举个例子吧,我常看小说,就以天龙八部为例子吧。
“天龙八部”是哪八部?“天龙八部”都是“非人”,包括八种神道怪物,因为以“天”及“龙”为首,所以称为“天龙八部”。
八部者,一天,二龙,三夜叉,四乾达婆,五阿修罗,六迦楼罗,七紧那罗,八摩呼罗迦。
看完介绍,还是不懂,没关系,今天主要讲的是,用数据分析天龙八部里高频词语、人物关系、(关系真的很复杂,电脑都跑的发烫,瑟瑟发抖)以及究竟在讲啥?
1.自己?
看到下面的词云,为什么“自己”这个词,那么高频?估计和写作人称有关,上帝视角?(有点不解,求天龙粉解答)
乍看之下,段誉词频(1551)最高,其实要结合“业务”,实则乔峰才是正主。要从乔峰的身世说起,开头中,乔峰是丐帮帮主,后身世揭破,契丹人也,改名萧峰。
所以乔峰的词频(1900+)=乔峰(963)+萧峰(966)。
从词语中,我们可以看出,写作手法,乔峰(段誉)听/笑/呆/动词,所以人物+动词。
2.人物关系图
故事有好多条主线。
(1)寻仇:
其中虚竹和乔峰,为什么关系最亲密?因为虚竹的爸是杀死乔峰的爸的带头大哥,寻仇是小说的主线之一。
(2)段正淳恋爱史:
从另一角度看,可以说是,大理镇南王,段正淳恋爱史,他和几位女人谈恋爱,并生下的都全都是女儿,女儿再一个个和段誉谈恋爱,搞得段誉很痛苦,最后发现自己不是亲生的故事。
总结来说:故事是由“慕容博”和“段正淳”,两位大Boss挑起的,各负责一条主线:
慕容博想光复燕国,才策划杀死萧家,企图引起两国战乱,引起萧父报仇;
镇南王,则是负责拈花若草,一身情债,一个人很爽,搞得很多人很痛苦,最后自杀。
五、实战
1.词云
这里主要用到了两个库:jieba分词用的,wordcloud词云用,matplib显示用。
下载小说txt文件;
准备一张mask(遮罩)图片;
字体;
#coding:utf-8
from os import path
from collections import Counter
import jieba
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud, STOPWORDS
if __name__==’__main__’:
#读取文件
d = path.dirname(__file__)
pardir = path.dirname(d)
pardir2 = path.dirname(pardir)
cyqf = path.join(pardir2,’tlbbqf/’)
text = open(path.join(d,’tlbb.txt’), encoding=”utf-8″, errors=”surrogateescape”).read()
jieba_word = jieba.cut(text, cut_all=False) #cut_all 分词模式
data = []
for word in jieba_word:
data.append(word)
dataDict = Counter(data)
with open(‘./词频统计.csv’, ‘w’, encoding=’utf-8′) as fw:
for k,v in dataDict.items():
fw.write(“%s,%d\n” % (k,v))
mask = np.array(Image.open(path.join(d, “mask.png”)))
font_path=path.join(d,”font.ttf”)
stopwords = set(STOPWORDS)
wc = WordCloud(background_color=”white”,
max_words=2000,
mask=mask,
stopwords=stopwords,
font_path=font_path)
# 生成词云
wc.generate(text)
# 生成的词云图像保存到本地
wc.to_file(path.join(d, “wordcloud.png”))
# 显示图像
plt.imshow(wc, interpolation=’bilinear’)
plt.axis(“off”)
plt.show()
2.人物关系图
(1)统计词频
text = open(path.join(d,'tlbb.txt'), encoding="utf-8", errors="surrogateescape").read()
jieba_word = jieba.cut(text, cut_all=False) #cut_all 分词模式
data = []
for word in jieba_word:
data.append(word)
dataDict = Counter(data)
(2)计算人物之间矩阵关系
(3)用gephi画出人物关系
首先是导入关系图,逗号、矩阵、utf-8;
然后就是箭头,第一个是显示节点信息,第二、三是调整连线的粗细、颜色;
点击某个节点,例如段誉,可以侧重显示他的人物关系。
六、最后
数据分析产品经理,该具备什么素质?
最核心的当然是分析经验/思路,但是基本的数据分析能力还是得有,最常见的就是Python或R,这里推荐下python吧,动手能力强的话可以做点其它的。
接下来会带来,一些机器学习的东西,不知道大家有没有兴趣?
人工智能,比较有趣的一个方向,大家一起努力吧。
作者:Jack,新零售数据PM,公众号:产品经理的技术课堂
本文由 @Jack 原创发布于人人都是产品经理。未经许可,禁止转载
题图来自 pexels,基于 CC0 协议
给作者打赏,鼓励TA抓紧创作!赞赏
7人打赏
python产品经理_数据产品经理该懂的python技术相关推荐
- 什么是数据产品经理?数据产品经理与传统产品经理有什么区别?
数据产品经理与传统产品经理是两个重叠的角色,在职责.技能和入职要求方面有很多相似之处.但是,同时也有几个关键因素可以区分这两个角色. 让我们通过分解每个职位的角色和职责来仔细研究这些差异. 什么是产品 ...
- sql 某列数据全部为0则不显示该列_数据产品经理养成记(五):汇总分析
学会了如何查找数据后,接下来就要对数据进行分析处理,比如求和.平均值.加总等等.这些对数据的加工处理通过汇总函数来实现.汇总函数在之前的两篇文章中都有涉及,这里采用概念--案例--总结的方式,集中介绍 ...
- 数据产品经理修炼手册_数据产品经理需要了解的大数据平台架构
了解大数据平台的基础架构有助于我们清楚数据是怎么流转与处理的,在每一层的结构中数据是以什么形式存储的,当我们听到工程师们谈论到这些内容时,不至于一无所知. 本文内容偏基础,适合像作为入门了解. 文不如 ...
- 产品功能树图_数据产品经理之图表设计
本文介绍了数据产品经理需要懂的常用图表设计,并针对19种图表的定义.适用场景.优缺点,进行了分析说明. 概述 数据产品经理在日常产品设计时经常需要设计一些图表来对数据进行更好的展现,也能方便用户更好的 ...
- 如何成为产品经理_成为产品经理
如何成为产品经理 Product management is a very diverse domain and is great for people who are more inclined t ...
- 家用电器用户行为分析与事件识别_数据产品指北:用户行为分析平台
本篇主要介绍了一些在用户行为分析平台中应用最广的产品功能和分析方法,包括:用户分群.留存分析.转化分析.行为路径分析和事件分析,与大家分享,供大家一同参考和学习. 相比于传统行业,用户行为分析平台可能 ...
- 虚幻蓝图数据传递_数据产品的战略蓝图
虚幻蓝图数据传递 In today's business climate, strategic moats are built with data. Long gone are the days wh ...
- python 埋点_数据埋点方案简述
数据是机器学习的前提,前面使用Python爬虫抓取数据篇介绍了通过爬虫抓取网页的方式采集数据.对于新产品,最重要的事项是获取用户,参看前面互联网产品怎么发掘种子用户和意见领袖 这篇. 在产品上线之后, ...
- python 课程设计题目_数据分析师能力培养:业务与技术的完美结合
课程名称:数据分析师能力培养:业务与技术的完美结合 课程须知: 本课程为<数据分析师八大能力培养>的免费课程,精品课程请前往: 课程特色: 从真实数据分析工作场景出发,训练实战能力 领导从 ...
最新文章
- 使用ARouter实现组件化
- zuul 路由不生效_springBoot集成zuul路由forward,设置setSendZuulResponse无效
- Android-----Resources
- ios 直播点赞_微信新版本更新:为视频号直播虚拟礼物,还提供连麦、美颜等功能...
- 使用OpenSSL工具制作X.509证书的方法及其注意事项总结
- 在 Web 级集群中动态调整 Pod 资源限制
- 字节跳动学前端还是java_【全国】—Java/前端工程师—字节跳动
- 小说采集,采集笔趣阁小说网站(www.biquges.cc)
- atan和atan2的区别-Matlab三角函数
- 十大Excel函数(一)
- 物理Standby数据库的文件路径转换(1)
- 被迫营业:如何使用向日葵进行远程桌面控制(含MacOS)
- Vscode 调试arm64 linux内核
- 视壮提前祝大家国庆快乐!
- finereport 激活码
- python 12306登录_Python 12306登陆详细分析及操作
- 【问题篇】git创建分支后idea切换分支找不到以及合并问题
- 微服务——服务依赖与治理-服务调用异常、超时,id生成
- 世纪佳缘信息爬取存储到mysql,下载图片到本地,从数据库选取账号对其发送消息更新发信状态
- 写高性能JavaScript
热门文章
- 用python画满天星花朵_Python用27行代码绘制一幅满天星
- 下班做什么副业?利用下班空闲时间赚点外快!
- “公司要求提前复工,我辞职了”,这种情况该怎么办? (附上班后疫情防控权威指南)...
- 源特VPS8703 微功率隔离电源专用驱动芯片 6.5-30VIN/30V/0.5A 功率管的功能简介
- 猜想 QQ好友分组 (微信好友)多层次分组策略 QQ好友过多
- 人口普查2021/5/9
- 【转】CNN+BLSTM+CTC的验证码识别从训练到部署
- 塔望·食业研究|决胜终端,解析“排队王”品牌连锁店的门头战略
- LVM条带化提高I/O性能
- 虚拟现实,房产精装间,使用MentalRay烘培,实现Unity3d·HDR版LightMap