python人人贷爬虫_爬取人人贷网上部分借贷信息以及数据可视化
一.主题式网络爬虫设计方案:爬取人人贷网上部分借贷信息
1.主题式网络爬虫名称:爬取人人贷网上部分信息
2.主题式网络爬虫的内容与数据特征分析:爬取人人贷部分信息数据,借贷信息
3.主题式网络爬虫设计方案概述(包括实现思路与技术难点):找到该网站的网址,然后F12分析该网址的源代码,找到自己所需要的数据所在的位置,提取相关的数据分析,进行数据上的处理和数据可视化的操作.
二.二、主题页面的结构特征分析
主题页面的结构与特征分析:打开网址找到我们需要的数据所在位置
然后摁F12提取相关的数据源代码
三、网络爬虫程序设计
1.数据爬取与采集
首先爬取网页通用框架
然后再将该内容进行解析
选择需要绘制的最大值与最小值的柱状图数据
绘制饼图
from pyecharts import Pie
def drawRRDPie (data) :
绘制饼状图.
四.
附上完整程序代码
i mport requestsi mport json
def getRRDInfo(startPage, endPage) :
解析jison文件,获取数据’
data=0_ #统计数据
for page in range (startPage, endPage) :
responseFrequests. post (ur1). textur1='
https://www. renrendai. com/1 oan/1ist/1oanLi st?star tNum=O&1imi t=10'
list=. json.1oads(response). get(' data' ).get(' 1ist')
for item in list:
title=item. get(' tit1e' )
amount=i tem. get(' amount' )
if title not in data. keys():
data[tit1e]=[]
data [title]. append (amount)
#打印数据
print(" *************************** )
print("借款标题: %s" % tit1e)
print(" Hà: %sT" % amount)
return data
if_ name_ =="
main_ ." :
data-getRRDInfo(0, 1)
def bs(text):
#将读取到的网页解析
return soupsoup = bs4. Beauti fulSoup(text,' html. parser')
def main():
url = 'https:/ /www. bilibili. com/ ranking?'# pE pE# A #FfTiisome = get_ url(url)
soup = bs some )
with open( 'try2.txt' , ' W', encoding-'utf-8' ) as f:
f . write( soup. text)# it5fH4iI##Æ FШf#
main( )
from pyecharts import Bar
) def drawRRDBar (data) :
绘制柱状图”
attr=1ist (data. keys (())
min_ _amount=[]
max_ _amount=[]
for item in data. keys(:
min_ amount. append(min(data[i tem]))
max_ amount. append(max (data[i tem]))
bar =Bar("人人贷”,”借款类型最小值/最大值")
bar. add("最小值”,attr , min_ amount , is_ 1abel_ show=True)bar. add("最大值",attr,max_ amount, is_ 1abel_ show=True)bar. render ()
if_ _name__main_”:
data=getRRDInfo(0, 10)
drawRRDBar (data)
from pyecharts import Pie
def drawRRDPie (data) :
绘制饼状图.
attr=list (data. keys())
va1ue=[]
for item in data. keys() :
value. append(sum(data [i tem]))
bar =Pie(”人人贷”, ”借款类型所占比例")
bar. render ()bar. add("" , attr , value , is_ 1abel_ _show=True)
if _ _name__ =="_ main__" :
dr awRRDPie (data)data=getRRDInfo(0, 10)
四.结论
1..经过对数据的分析和可视化,我看到借款最多的为扩大生产经营,最少为日常消费。数据的可视化与图像可以让我们很好的将数据的关系体现出来,让我们能够简易的了解到它的相关内容。
2.在此次做作业的过程中,我发现到我对该网络爬虫的知识运用的程度还不够高,还存在许多的盲区,我利用B站与各种渠道学习该知识,加深了我对python的热爱程度。
python人人贷爬虫_爬取人人贷网上部分借贷信息以及数据可视化相关推荐
- 菜鸟Python实战-03爬虫之爬取数据
最近想学习一下爬虫 所以参考了一下网上的代码,并加以理解和整理,好记性不如烂笔头吧. 以下代码的目标网站是豆瓣电影:https://movie.douban.com/top250?start=%22( ...
- python战反爬虫:爬取猫眼电影数据 (一)(Requests, BeautifulSoup, MySQLdb,re等库)
姓名:隋顺意 博客:Sui_da_xia 微信名:世界上的霸主 本篇文章未涉及猫眼反爬,主要介绍爬取无反爬内容,战反爬内容请去 python战反爬虫:爬取猫眼电影数据 (二)(Requests, Be ...
- python战反爬虫:爬取猫眼电影数据 (二)(Requests, BeautifulSoup, MySQLdb,re等库)
姓名:隋顺意 博客:Sui_da_xia 微信名:世界上的霸主 本文主要介绍破解反爬,可以先去上一篇观看爬取无反爬内容 python战反爬虫:爬取猫眼电影数据 (一)(Requests, Beauti ...
- Python爬虫爬取链家网上的房源信息练习
一 原链接:用Python爬虫爬取链家网上的房源信息_shayebuhui_a的博客-CSDN博客_python爬取链家 打开链家网页:https://sh.lianjia.com/zufang/ ...
- python战反爬虫:爬取猫眼电影数据 (一)
非常荣幸邀请到 赛迪人工智能大赛(简称AI世青赛)全球总决赛银奖的获得者 隋顺意 小朋友为本公众号投稿,隋小朋友虽然小小年纪,但编程能力已经比大多数大学生强非常多了,欢迎大家关注,捧场. 姓名:隋顺意 ...
- 爬虫实战——爬取杭电就业信息网招聘信息
杭电宣讲会信息爬取 爬取内容: 宣讲单位,宣讲时间,所在学校,宣讲地点,单位简介等 项目需求 实现两层网页的信息爬取,并将爬取的信息进行整合保存到 excel 文件中. (1) 基础:爬取一个外层页中 ...
- 爬虫练习- 爬取转转网二手市场商品信息
前言: 使用多进程爬虫方法爬取转转网二手市场商品信息,并将爬取的数据存储于MongoDB数据库中 本文为整理代码,梳理思路,验证代码有效性--2020.1.18 环境: Python3(Anacond ...
- 【python爬虫】爬取网贷之家所有P2P平台基本数据并写入MYsql数据库
使用的是python3做的一个爬虫,主要用于爬取网贷之家上面的数据.比较粗糙,很多该封装的地方没有进行封装.如果需要每天进行的话,还需要人工进行操作.后期会考虑挂靠服务器定时进行爬取,哈哈先这么搞,剩 ...
- 04-python简单爬虫_爬取网易新闻
# -*- coding: utf-8 -*- import os import sys import requests import re from lxml import etree"& ...
最新文章
- R语言ggplot2可视化:自定义设置X轴上的时间间隔(中断、以年为单位),使用scale_x_date()自定义设置坐标轴间隔和标签、添加标题、副标题、题注信息
- boost::gil::pixel_bit_size用法的测试程序
- 46. Permutations 排列数
- Marketing Cloud tile的semantic信息
- 自定义构建基于.net core 的基础镜像
- 数据结构之字符串反转
- linux 汇编语言ldreq,请教一个中断句柄的问题 - ARM技术论坛-ARM嵌入式论坛-人气最火爆ARM学习论坛 - 21ic电子技术开发论坛...
- 冒泡排序C语言(从小到大)
- 餐饮企业免费申请点餐小程序
- QT中的.pro文件,以及.pri .prj .prl文件说明
- 1038: 绝对值最大
- Qt qmake LIBS的使用指南
- zlib访问方法(2022-11-16)
- 攻防世界 mfw 解题思路
- 使用python爬取电子书_怎样用python3爬取电子书网站所有下载链接
- 机器学习环境配置(Tesla K80安装PyTorch的全过程)
- 笔记|统计学习方法:感知机模型
- 理想汽车IPO,与特斯拉之间还差了20个蔚来
- 正则表达式,前后非空,中间可空
- C语言中关于向函数中传入结构指针的易错点及解决方案