数仓分析

ShopXO免费开源商城系统、国内领先企业级B2C免费开源电商系统，包含PC、h5、微信小程序、支付宝小程序、百度小程序、头条&抖音小程序、QQ小程序、APP、多商户，遵循MIT开源协议发布、基于 ThinkPHP5.1框架研发

1.开启服务

Apache HTTP服务器是世界上使用最广泛的Web服务器。它提供了许多强大的功能，包括动态加载模块，强大的媒体支持，以及与其他流行软件的广泛集成。

启动Apache2、mysql服务，查看Web服务器。
开启服务，使用sudo命令，密码为qingjiao。

sudo service mysql start
sudo service apache2 status

在浏览器地址栏中输入localhost出现ShopXO商城页面

2.requests库

requests是python实现的简单易用的HTTP库，安装request库:

pip install requests

import requestsresponse = requests.get('URL')  # 请求目标网站print(response.status_code)  # 打印状态码
print(response.url)  # 打印请求url
print(response.headers)  # 打印头信息
print(response.cookies)  # 打印cookie信息
print(response.text)  # 以文本形式打印网页源码
print(response.content)  # 以字节流形式打印

1.状态码.status_code

获取的信息包括状态码，状态码会展示请求状态(服务器状态)。用于判断URL是否合法。

200:请求成功，返回请求数据
在代码中使用这些信息来做判断

if response.status_code == 200:print(success!)
elif response.status_code == 404:print(Not Found.)

2.响应内容

GET请求的响应通常在消息体中具有一些有价值的信息，称为有效负载。

.content:以字节方式查看响应内容
.text:文本形式（字符串)

import requests
reponse = requests.get ('url')
print (reponse.text)

python3 / homelqingjiao/python/ code.py >> text.txt    #重定向

3.认识xpath.

跟re、bs4一样，xpath也可以进行页面数据提取。xpath是根据元素的路径来查找页面元素。

前提︰安装lxml包
lxml是一款高性能的Python HTML/XML解析器，利用XPath，可以快速的定位特定元素以及获取节点信息。

4.URL限定条件

最大id: max_tid = ?

url满足条件如下:

#判断url是否合法，是否可连通，HTTP状态码是否为200
def get_url_content (url):response = requests.get (url)if response.status_code == 200:if "资源不存在或已被删除" in response.text:return Falseelse:#如果可以连通返回网页源码html = etree.HTML(response.text)return htmlelse:return False

每天和琦琦学点新知识_大数据_数仓分析相关推荐

每天和琦琦学点新知识_爬虫篇001
网络爬虫相关技术网络爬虫是一个客户端技术,不能离开服务端独立工作,而服务器端由众多的分布在互联网的web服务器组成, 在这样的环境下,爬虫要从不同的配置,不同web管件的服务器上采集页面信息,就 ...
每天和琦琦学点新知识_算法
删除排序数组中的重复项给你一个有序数组 nums ,请你原地删除重复出现的元素,使每个元素只出现一次 ,返回删除后数组的新长度.不要使用额外的数组空间,你必须在原地修改输入数组并在使用 ...
每天和琦琦学点新知识_爬虫篇002_Python正则表达式
正则表达式 1.简介正则表达式是一个特殊的字符序列,利用事先定义好的一些特定字符以及它们的组合组成一个"规则",检查一个字符串是否与这种规则匹配来实现对字符的过滤或匹配. 正 ...
什么是大数据口子_大数据分析师年薪几十万，学什么专业才能从事大数据？
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...
大数据项目一般金额多少_大数据分析师年薪一般多少？学什么专业才能从事大数据？...
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...
数据相关的在职研究生_大数据在职研究生都学什么？
大数据采集与管理在职研究生专业是从大数据应用的数据管理.系统开发.海量数据分析与挖掘等层面系统地帮助学生掌握大数据应用中的各种典型问题的解决办法的专业. 大数据在职研究生专业将从大数据应用的三个主要层 ...
大数据产品价值主张_大数据背景下新零售商业模式探究
摘要:目前,大数据在生活中的应用愈发广泛,各个方面都被智能设备转化为数字,分析运用起来,大数据对销售领域的影响也特别大,通过大数据及其相关的技术和各种智能采集设备.物联网.人工智能的应用,很好地实现 ...
大数据分析师年薪几十万，学什么专业才能从事大数据？
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...
大数据分析师年薪有多少，学什么专业才能从事大数据？
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...

每天和琦琦学点新知识_大数据_数仓分析