爬取奇迹秀工具箱里面的文本和软件网盘链接

1.爬取的网址：http://www.qijishow.com/down/index.html

2.完整代码展示

from selenium import webdriver
import timeurl = 'http://www.qijishow.com/down/index.html'
opt = webdriver.ChromeOptions()
opt.add_argument("--headless")
driver = webdriver.Chrome(chrome_options=opt)
# driver = webdriver.Chrome()
driver.get(url)
k = driver.find_elements_by_class_name("sm-6")for i in range(1, len(k) + 1):print(i)# try:print("---------------开始----------------------")a = driver.find_element_by_xpath(f'//*[@id="page"]/div[4]/div[1]/div[3]/div/div[{i}]/div/a/div[1]/img').get_attribute("data-src")a1 = 'http://www.qijishow.com/down/' + str(a)b = driver.find_element_by_xpath(f'//*[@id="page"]/div[4]/div[1]/div[3]/div/div[{i}]/div/a/div[2]').textprint("软件图片地址链接：", a1)print("软件名字：", b)time.sleep(2)# driver.find_element_by_xpath(f'//*[@id="page"]/div[4]/div[1]/div[3]/div/div[{i}]/div/a/div[1]/img').click()ele=driver.find_element_by_xpath(f'//div[@class="row"]/div[{i}]')driver.execute_script("arguments[0].scrollIntoView()", ele)ele.click()print("11111111111")time.sleep(2)windows = driver.window_handlesdriver.switch_to.window(windows[-1])p = driver.find_element_by_xpath('//*[@id="resources"]').textprint(p)u = driver.find_elements_by_xpath('//img')src = []for j in u:o = j.get_property('src')src.append(o)print('文章图片地址：', o)r = driver.find_element_by_xpath('//*[@id="download"]/a[@id="local"]').get_attribute('href')print("官网地址：", r)try:x = driver.find_element_by_xpath('//*[@id="zoom_download"]/div[2]/p').texty = driver.find_element_by_xpath('//*[@id="zoom_download"]/div[2]/a[1]').get_attribute('href')print(x, y)except:x = "没有"y = "没有"try:z = driver.find_element_by_xpath('//*[@id="zoom_download"]/div[3]/p').texth = driver.find_element_by_xpath('//*[@id="zoom_download"]/div[3]/a[1]').get_attribute('href')print(z, h)except:z = "没有"h = '没有'with open("爬虫/{}.txt".format(i), "w", encoding="utf-8") as f:f.write("软件图片地址链接：" + a1 + '\n')f.write("软件名字：" + b + '\n')f.write(p + '\n')f.write('文章图片地址：' + str(src) + '\n')f.write("官网地址：" + r + '\n')f.write(x + "Mac版百度网盘地址:" + y + '\n')f.write(z + "Win版百度网盘地址:" + h)driver.close()driver.switch_to.window(windows[0])print("---------------结束----------------------")# except:#     pass

3.爬取的文档展示

4.爬取并保存为表格完整代码

from selenium import webdriver
import time
import csv
url = 'http://www.qijishow.com/down/index.html'
opt = webdriver.ChromeOptions()
# opt.add_argument("--headless")
# driver = webdriver.Chrome(chrome_options=opt)
driver = webdriver.Chrome()
driver.get(url)
k = driver.find_elements_by_class_name("sm-6")
with open("交互设计.csv", "w", newline="", encoding="utf-8-sig") as datacsv:csvwriter = csv.writer(datacsv, dialect=("excel"))csvwriter.writerow(["软件图片地址链接", "软件名字", "富文本", "官网地址", "Mac版下载", "Win版下载"])for i in range(1, len(k) + 1):l=[]print(i)try:print("---------------开始----------------------")a = driver.find_element_by_xpath(f'//*[@id="page"]/div[4]/div[5]/div[3]/div/div[{i}]/div/a/div[1]/img').get_attribute("data-src")a1 = 'http://www.qijishow.com/down/' + str(a)b = driver.find_element_by_xpath(f'//*[@id="page"]/div[4]/div[5]/div[3]/div/div[{i}]/div/a/div[2]').textprint("软件图片地址链接：", a1)print("软件名字：", b)l.append(a1)l.append(b)# driver.find_element_by_xpath(f'//*[@id="page"]/div[4]/div[1]/div[3]/div/div[{i}]/div/a/div[1]/img').click()ele=driver.find_element_by_xpath(f'//*[@id="page"]/div[4]/div[5]/div[3]/div/div[{i}]/div/a/div[1]/img')driver.execute_script("arguments[0].scrollIntoView()", ele)time.sleep(2)ele.click()windows = driver.window_handlesdriver.switch_to.window(windows[-1])p = driver.find_element_by_xpath('//*[@id="resources"]').get_attribute('outerHTML')print(p)l.append(p)r = driver.find_element_by_xpath('//*[@id="download"]/a[@id="local"]').get_attribute('href')print("官网地址：", r)l.append(r)try:x = driver.find_element_by_xpath('//*[@id="zoom_download"]/div[2]/p').texty = driver.find_element_by_xpath('//*[@id="zoom_download"]/div[2]/a[1]').get_attribute('href')print(x, y)l.append(x+" "+y)except:x = "没有"y = "没有"l.append(x+" "+y)try:z = driver.find_element_by_xpath('//*[@id="zoom_download"]/div[3]/p').texth = driver.find_element_by_xpath('//*[@id="zoom_download"]/div[3]/a[1]').get_attribute('href')print(z, h)l.append(z+" "+h)except:z = "没有"h = '没有'l.append(z+" "+h)csvwriter.writerow(l)driver.close()driver.switch_to.window(windows[0])print("---------------结束----------------------")except:pass

5.爬取的表格展示

爬取奇迹秀工具箱里面的文本和软件网盘链接相关推荐

Python学习第一课——爬取模特秀网站的模特图片
第一次写博客,经验不足. 很早以前就听说过爬虫,但是从未自己去实现过,昨天看到一个爬虫的教学视频,不免心里痒痒,于是自己动手编程实现.在这里我选择的是Python语言(不要问我为什么,实际上我也没有学 ...
python3.6爬虫案例：爬取朝秀帮图片
一.写在前面之前写的两篇博客: python3.6爬虫案例:爬取百度歌单点击打开链接: python3.6爬虫案例:爬取顶点小说(爱看小说同学的福利)点击打开链接第一个案例写了如何在百度音乐歌单中 ...
Python爬取妹子秀图片
Python爬取妹子秀爬虫真好玩,就是牢饭也香hhh 初体验之爬个妹子秀图库的swmt栏,上面的小妹妹-嘶溜针不戳. 不多说,上代码.第一次写,抄了这位佬的代码基本上,感谢这位佬@https://w ...
增量爬取电影网站2级详情页面电影名称和下载链接
增量爬取电影网站2级详情页面电影名称和下载链接需求步骤需求一级页面抓取:电影详情页链接二级页面抓取:电影名称和电影下载链接增量获取:网站中电影资源后将更新的数据爬取下来步骤确定响应内容 ...
Python爬虫实战三 | 蓝奏网盘抓取网盘链接信息
今天在使用蓝奏网盘的时候发现有一个文件夹加密分享,然后我就尝试了加密文件夹,但是文件夹下的文件还是可以直接通过访问该文件链接得到,所以对于文件夹加密是否显得有点鸡肋了呐? 如此,我们便简单的使用Pyt ...
python爬取豆瓣电影排行前250获取电影名称和网络链接[静态网页]————爬虫实例（1）
目录 1.算法原理: 2.程序流程: 3.程序代码: 4.运行结果(部分结果展示): 5.结果分析: 1.算法原理: (1)利用import命令导入模块或者导入模块中的对象: ①利用requests库 ...
爬取福利吧论坛所有的福利汇总文(视频标题链接、图片)
目录 items.py flhz.py pipelines.py 目标:爬取福利吧论坛里的福利汇总文,将所有福利汇总文里的热门视频标题.链接以json格式保存,所有福利汇总文里面的图片 ...
爬取海量招聘岗位信息-----R语言-----以猎聘网为例(WEB OG LIEPIN)
我们再来回顾一下 nodes.%>% .text三者之间的关系 .如图1: 再者,我们将爬取的数据存入我们指定的文档中: 如图2 我们先简单爬取岗位信息,以猎聘网网上检索关键词老师为例: 如图3 ...
python爬虫类型_Python爬虫：爬取国内所有高校名称、类型、官网
本博客仅用于技术讨论,若有侵权,联系笔者删除. 此次的目的是爬取国内高校的基本信息,并按省份存储.爬取的黄页是http://www.gx211.com/gxmd/gx-bj.html.以下是结果图: ...
python调用sql数据库进存销_python多进程快速批量爬取黄页海量信息并保存文本和数据库教程...
最近帮朋友做一些网络营销的工作,需要抓取一些客源信息,用以辅助营销,我感觉很多做电商的朋友,尤其是微商朋友们,应该都是比较需要各种客源信息的吧,今天,小编我就借此机会把利用python多进程的方式抓取 ...

爬取奇迹秀工具箱里面的文本和软件网盘链接

爬取奇迹秀工具箱里面的文本和软件网盘链接相关推荐

最新文章

热门文章