python获取毛豆新车网在售车型

使用爬虫获取毛豆全部在售车型，目前只获取了图片的地址。

"""
功能：获取毛豆新车网的在售车型信息
作者：Mac
时间：2020.6.11
"""
import requests
import csv
from bs4 import BeautifulSoup# 头部信息(这个站不必登陆也可以看所有车型)
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.0) Gecko/20100101 Firefox/68.0"
}# 目标链接：点击第二页，发现pg是2，第三页，pg是3......最后是17  keyword=  这个可有可无
target = "https://www.maodou.com/car/list/all/pg{}"# 解析数据
def analy(html):soup = BeautifulSoup(html, "lxml")divs = soup.find_all("div", class_="car-photo")for div in divs:# print(div.img["alt"])   #大众朗逸 2019款 1.5L 自动舒适版 国VI# print(div.img["data-original"]) # 车的图片# 保存数据save(div.img)# 保存数据
def save(datas):with open("MaoDouNewCars.csv", "a", newline="", encoding="utf-8-sig") as cf:writer = csv.writer(cf)# 写入一页的全部数据writer.writerow([datas["alt"], datas["data-original"]])for i in range(18):  # 18 = 17 + 1# 1.发起请求response = requests.get(url=target.format(i), headers=headers)# 2.解析数据（此步骤包含了# 3.保存数据）analy(response.content.decode())

效果如图

python获取毛豆新车网在售车型相关推荐

[Python]获取起点小说网的更新情况
原创文章,欢迎转载.转载请注明:转载自祥的博客原文链接:https://blog.csdn.net/humanking7/article/details/90176191 文章目录 @[toc] ...
python 获取公网外网 ip 几种方式
实例如下: from urllib.request import urlopen from json import loadmy_ip = urlopen('http://ip.42.pl/raw') ...
python爬虫获取中国天气网天气数据 requests BeautifulSoup re
python获取中国天气网天气数据:http://www.weather.com.cn/textFC/henan.shtml main.py # -*- coding: utf-8 -*- impor ...
易车、毛豆新车、蛋蛋订车买车到底靠谱吗？
对于网络购物,相信大部分的年轻人,甚至是上了一些年纪的朋友都不会陌生,对于汽车来说,似乎网上购车平台也是一种可行的方式,那么网上购车平台到底靠谱吗? 当然,互联网消费一定是未来的趋势,网上购车平台经过 ...
新车电商百花争鸣时代：毛豆新车VS花生好车谁长谁短？
近年来,新车电商的发展日益兴起,逐渐形成风口,其中,融资租赁形式让大家对汽车销售有了全新的认识.此类形式购买新车与4S店购车最大的区别就是:仅0到1成首付便可快速把新车开走,提车效率提高,购车选择方案 ...
python 获取天气接口数据
从微信公众号中看到的代码,以此记录用Python获取中国天气网天气接口数据 import urllib.request import json code='101160101' url='http: ...
可转债代码交流第二期：利用Python获取集思录数据（改）
上期内容讲解了宁稳网数据获取的方法(用于初步计算未上市可转债价格),具体方法参考第一期:可转债代码交流第一期:利用Python获取宁稳网数据(包含基本的环境搭建与Python编辑器安装方法) 本人并非 ...
python读取网站_科学网—python 获取网址 - 林清莹的博文
Python获取网址的内容# coding=utf-8 import urllib url = "http://www.baidu.com" data = urllib.urlop ...
python获取公网ip的几种方式_python获取外网ip地址的方法总结
本文实例总结了python获取外网ip地址的方法.分享给大家供大家参考.具体如下: 一.利用脚本引擎库直接获取 import console; import web.script import ine ...

python获取毛豆新车网在售车型

python获取毛豆新车网在售车型相关推荐

最新文章

热门文章