python爬虫爬取机床展名录

几个月前吧，需要去北京看机床展，在去之前需要对参展公司，及其展品种类有个大体的了解。参展列表如下

http://www.cimtshow.com/ZHSExhibitorsListAction.do?actionType=showlist&topage=1&keyword=&language=zhs

一共34页，还是比较多的，如果只需要展位号，公司名称这样本页就有的信息导入excel很简单，但是为了筛选但是还要打开每个展位的“参赛展品”链接，看里面有什么种类一个个点就太麻烦了。正好之前看过简单的爬虫知识，这个用爬虫来解决是比较方便的。虽然很简单，但是第一次写爬虫，第一次用python语言，还是写了一晚上。

#!/usr/bin/env python3
import os
from urllib.request import urlopen
from bs4 import BeautifulSoup
import csvpages=[] #建立个列表来存储链接
def getLinks(url):html=urlopen(url)bsObj=BeautifulSoup(html,"lxml")a=bsObj.findAll("table")[0]bls=a.findAll("a")for aa in bls:if 'href' in aa.attrs:if aa.attrs['href']  not in pages:#我们遇到了新页面newPage=aa.attrs['href']print("http://www.cimtshow.com"+newPage)pages.append("http://www.cimtshow.com"+newPage)for j in range(34):    #这里python循环也查了好久。。是这样写的url="http://www.cimtshow.com/ZHSExhibitorsListAction.do?actionType=showlist&topage="+str(j+1)+"&keyword=&language=zhs"getLinks(url)
csvFile=open("../files/editors1.csv",'a',newline='',encoding='utf-8')
for i in range(len(pages)):html1=urlopen(pages[i])bsObj1=BeautifulSoup(html1,"lxml")rows=bsObj1.findAll("div",{"class":"zplb_w"})if len(rows):       writer=csv.writer(csvFile)csvRow=[]for row in rows:csvRow.append(row.attrs['title'])writer.writerow(csvRow)else:writer.writerow("0,无记录")  #如果链接里没有就写入无记录
csvFile.close()

python爬虫爬取机床展名录相关推荐

在当当买了python怎么下载源代码-python爬虫爬取当当网
[实例简介]python爬虫爬取当当网 [实例截图] [核心代码] ''' Function: 当当网图书爬虫 Author: Charles 微信公众号: Charles的皮卡丘 ''' impor ...
python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
python爬虫爬取csdn博客专家所有博客内容
python爬虫爬取csdn博客专家所有博客内容: 全部过程采取自动识别与抓取,抓取结果是将一个博主的所有文章存放在以其名字命名的文件内,代码如下 #coding:utf-8import urlli ...
python网易云_用python爬虫爬取网易云音乐
标签: 使用python爬虫爬取网易云音乐需要使用的模块只需要requests模块和os模块即可开始工作先去网易云音乐网页版找一下你想要听的歌曲点击进去.按键盘F12打开网页调试工具,点击Ne ...
使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作安装python3.6 略安装requests库(用于请求静态页面) pip instal ...
python如何爬取网站所有目录_用python爬虫爬取网站的章节目录及其网址
认识爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟 ...
运用Python爬虫爬取一个美女网址，爬取美女图
运用Python爬虫爬取一个美女网址,爬取美女图要运用到的python技术: 导入库 1.request 发送请求,从服务器获取数据 2.BeautifulSoup 用来解析整个网页的源代码 imp ...
Python爬虫|爬取喜马拉雅音频
"GOOD Python爬虫|爬取喜马拉雅音频喜马拉雅是知名的专业的音频分享平台,用户规模突破4.8亿,汇集了有声小说,有声读物,儿童睡前故事,相声小品等数亿条音频,成为国内发展最快.规模 ...
Python爬虫爬取新浪微博热搜
Python爬虫爬取新浪微博热搜文章目录 Python爬虫爬取新浪微博热搜网页分析数据爬取数据存储全部代码网页分析找到热搜的排名,标题和热度,发现它们在同一路径数据爬取 impor ...

python爬虫爬取机床展名录

python爬虫爬取机床展名录相关推荐

最新文章

热门文章