完整程序

利用搜狐新闻的股票列表，构造url爬取信息

import requests
from bs4 import BeautifulSoup
import json
import csvdef getnum():html = requests.get("https://q.stock.sohu.com/cn/bk_3137.shtml")#获取想要的股票号码html.raise_for_statustext = html.textsoup = BeautifulSoup(text,'html.parser')tdL1 = soup.find_all('td',attrs={"class": "e1"})tdL2 = soup.find_all('td',attrs={"class": "e2"})numL =[]for td1,td2 in zip(tdL1,tdL2):try:numL.append([td1.text,td2.text])except:continuereturn numL#返回所有股票号码def getgupiao(numL):for num in numL:try:url = 'https://q.stock.sohu.com/hisHq?code=cn_'+num[0]+'&stat=1&order=D&period=d&callback=historySearchHandler&rt=jsonp&0.13888967033291877'r = requests.get(url)r.raise_for_status()r.encoding = "gbk"html = r.text[21:-2]#去BOM头data = json.loads(html)datalist = data[0]['hq']with open(num[1]+'.csv', "w",newline='') as csvFile:#写入股票信息csvWriter = csv.writer(csvFile)csvWriter.writerow(['日期','开盘','收盘','涨跌额','涨跌幅  ','最低','最高','成交量(手)','成交金额(万)','换手率'])for data in datalist:csvWriter.writerow(data)csvFile.closeprint(num[1],'爬取成功')except:continuedef main():numL = getnum()getgupiao(numL)print("爬取完成！")main()

#python爬虫#爬取搜狐股票相关推荐

python爬虫股票上证指数_Python爬虫爬取搜狐证券股票数据
前言本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于IT信息教室,作者:M先森看世界数据的爬取我们以上证50的股票为例,首先需 ...
python爬虫爬取东方财富网股票走势+一些信息
一.目标我们的目标是爬取东方财富网(https://www.eastmoney.com/)的股票信息我的目标是爬取100张股票信息图片经过实际测试我的爬取范围为000001-000110,000 ...
python爬虫搜狐新闻_应用案例2:爬取搜狐体育的新闻信息
爬虫学习使用指南 Auth: 王海飞 Data:2018-06-25 Email:779598160@qq.com github:https://github.com/coco369/knowledg ...
Python爬虫——主题爬取搜狐新闻（步骤及代码实现）
目录一 .实现思路二.获取url变化规律三.爬取新闻名称及其超链接四.判断与主题的契合度四.输出结果五.总代码一 .实现思路本次爬取搜狐新闻时政类获取url--爬取新闻名称及其超链接 ...
Python爬虫爬取新浪微博热搜
Python爬虫爬取新浪微博热搜文章目录 Python爬虫爬取新浪微博热搜网页分析数据爬取数据存储全部代码网页分析找到热搜的排名,标题和热度,发现它们在同一路径数据爬取 impor ...
python爬取搜狐新闻网站所有新闻的标题和正文并按阅读量排行输出
# _*_ coding: utf-8 _*_ """实现定量爬取搜狐网站新闻 Author: HIKARI Version: V 0.2 ""&qu ...
Python爬虫——爬取股票信息
Python爬虫--爬取股票信息 1. 准备工作每一次浏览器访问网页,会自动向浏览器服务器发送本地的电脑信息(headers),远方服务器接收到信息后会反馈给你网页信息(response),然后电脑 ...
python爬虫爬取知网
python爬虫爬取知网话不多说,直接上代码! import requests import re import time import xlrd from xlrd import open_wor ...
python爬虫,爬取下载图片
python爬虫,爬取下载图片分别引入以下三个包 from urllib.request import urlopen from bs4 import BeautifulSoup import re ...

#python爬虫#爬取搜狐股票

爬取搜狐股票

完整程序

#python爬虫#爬取搜狐股票相关推荐

最新文章

热门文章