python爬虫之json数据处理

# -*- coding: utf-8 -*-
# 处理json数据from urllib import request
import jsondef get_data():url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=400&page_start=0'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'}req = request.Request(url, headers=headers)response = request.urlopen(req)if response.getcode() == 200:result = response.read()# print(type(result))  # bytes类型# print(result)result = str(result, encoding='utf8')print(result)return resultdef parse_data(html):# 将字符串形式的json转换为dict字典data = json.loads(html)movies = data['subjects']for movie in movies:print(movie['title'], movie['rate'])if __name__ == '__main__':# get_data()parse_data(get_data())

python爬虫之json数据处理相关推荐

python urllib.request 爬虫数据处理-python爬虫之json数据处理
# -*- coding: utf-8 -*- # @Time : 2019/11/5 23:18 # @Author : AForever # @Site : # @File : Spider_05 ...
利用python爬虫(part16)--json解析模块
学习笔记 json解析模块 json.loads 作用把json格式的字符串转为Python数据类型. 语法 res = requests.get(url=url, headers=headers) ...
Python爬虫对json数据解析爬取
使用工具 PyCharm 2018.2.3 Anaconda Navigator Python 3.6 解析目标 [{"导航鸭 ♪(^∀^●)ﾉ": [{"name&qu ...
爬虫之 json 数据处理
文章目录一.什么是 json 二.json 有四个方法供我们进行数据转换: 三.json 的作用四.引入 json 包:将json数据转换为字典打印显示五.引入 json 包:将字典转换为jso ...
Python爬虫——使用JSON库解析JSON数据
文章目录 1 如何在网页中获取 JSON 数据? 2 Python 内置的 JSON 库这几天在琢磨爬取动态网页,发现需要爬取 js 内容,虽然说最后还是没有用上 JSON 库进行解析,不过笔记写的 ...
python爬虫requests json与字典对象互相转换
1 import requests 2 import json 3 ''' 4 json.loads(json_str) json字符串转换成字典 5 json.dumps(dict) 字典转换成js ...
与python相关的爬虫工具_python小课堂|爬虫工程师必备的10个python爬虫工具！
[摘要]在这个科学技术高速发展的时代,越来越多的人都开始选择学习编程软件,那么首先被大家选择的编程软件就是python,也用在各行各业之中,并被大家所熟知,所以也有越来越多的python学习者关注py ...
Python爬虫-数据处理与存储
Python爬虫-数据处理与存储数据处理可以使用pandas模块来实现数据处理,pandas是一个开源的并且通过BSD许可的库.它主要为Python语言提供高性能.易于使用数据结构和数据分析工 ...
基于python爬虫数据处理_基于Python爬虫的校园数据获取
苏艺航徐海蛟何佳蕾杨振宇王佳鹏摘要:随着移动时代的到来,只适配了电脑网页.性能羸弱的校园教务系统,已经不能满足学生们的移动查询需求.为此,设计了一种基于网络爬虫的高实用性查询系統.它首先通过 ...

python爬虫之json数据处理

python爬虫之json数据处理相关推荐

最新文章

热门文章