目标:爬取最终幻想14工匠配方到excel表格。(一个装修仔的尊严)

代码:

from bs4 import BeautifulSoup
import urllib.request
import xlwt
from xlwt import *file = Workbook(encoding='utf-8')
key = ['物品名称', '材料', '数量']fnt = Font()
fnt.name = u'微软雅黑'
style = XFStyle()
style.font = fnt
style.alignment.horz = xlwt.Alignment.HORZ_CENTER
style.alignment.vert = xlwt.Alignment.VERT_CENTERlvRange = []
for x in range(14):x0 = x * 5 + 1x1 = x0 + 4lvRange.append(str(x0) + '-' + str(x1))print(lvRange)def downlaoding(url, fn, lv):table = file.add_sheet(fn + lv)html_doc = urllib.request.urlopen(url).read().decode('utf-8')soup = BeautifulSoup(html_doc, 'html.parser')# 物品数量item_name = []# 物品材料item_material = []item_num = []item_material_count = []# 获取数据for q in soup.find_all('tr', class_='filter-div--item'):for u in q.find_all('div', class_='item-name rarity-common'):u0 = u.find('a').stringitem_name.append(u0)for u in q.find_all('div', class_='item-name rarity-uncommon'):u0 = u.find('a').stringitem_name.append(u0)# 材料count01 = 0for k in q.find_all('td', class_='table--dark-m'):for h in k.find_all('span', class_='item-name'):h0 = h.find('a').stringitem_material.append(h0)count01 += 1for w in k.find_all('span', class_='item-number'):w0 = w.textitem_num.append(w0)item_material_count.append(count01)# 写入数据# 列名num = 0for c in range(len(key)):table.write(0, num, key[c], style)num += 1# 写入物品名col = 0row = 1n = 0for x in range(len(item_name)):row0 = rowrow += item_material_count[x]table.write_merge(row0, row-1, col, col, item_name[x], style)# 写入物品材料名称和数量col = 1row = 1for x in range(len(item_material)):table.write(row, col, item_material[x], style)table.write(row, col + 1, item_num[x], style)row += 1table.col(0).width = 5000table.col(1).width = 5000# 保存sheetfile.save('配方统计.xlsx')for x in range(len(lvRange)):downlaoding("http://ff14.huijiwiki.com/wiki/%E5%88%BB%E6%9C%A8%E5%8C%A0/%E9%85%8D%E6%96%B9/"+str(lvRange[x]), '刻木', lvRange[x])print("http://ff14.huijiwiki.com/wiki/刻木匠/配方/" + (lvRange[x]))downlaoding("http://ff14.huijiwiki.com/wiki/%E9%94%BB%E9%93%81%E5%8C%A0/%E9%85%8D%E6%96%B9/"+str(lvRange[x]), '锻铁', lvRange[x])print("http://ff14.huijiwiki.com/wiki/锻铁匠/配方/" + (lvRange[x]))downlaoding("http://ff14.huijiwiki.com/wiki/%E9%93%B8%E7%94%B2%E5%8C%A0/%E9%85%8D%E6%96%B9/"+str(lvRange[x]), '铸甲', lvRange[x])print("http://ff14.huijiwiki.com/wiki/铸甲匠/配方/" + (lvRange[x]))downlaoding("http://ff14.huijiwiki.com/wiki/%E9%9B%95%E9%87%91%E5%8C%A0/%E9%85%8D%E6%96%B9/"+str(lvRange[x]), '雕金', lvRange[x])print("http://ff14.huijiwiki.com/wiki/雕金匠/配方/" + (lvRange[x]))downlaoding("http://ff14.huijiwiki.com/wiki/%E5%88%B6%E9%9D%A9%E5%8C%A0/%E9%85%8D%E6%96%B9/"+str(lvRange[x]), '制革', lvRange[x])print("http://ff14.huijiwiki.com/wiki/制革匠/配方/" + (lvRange[x]))downlaoding("http://ff14.huijiwiki.com/wiki/%E8%A3%81%E8%A1%A3%E5%8C%A0/%E9%85%8D%E6%96%B9/"+str(lvRange[x]), '裁衣', lvRange[x])print("http://ff14.huijiwiki.com/wiki/裁衣匠/配方/" + (lvRange[x]))downlaoding("http://ff14.huijiwiki.com/wiki/%E7%82%BC%E9%87%91%E6%9C%AF%E5%A3%AB/%E9%85%8D%E6%96%B9/"+str(lvRange[x]), '炼金', lvRange[x])print("http://ff14.huijiwiki.com/wiki/炼金术士/配方/" + (lvRange[x]))downlaoding("http://ff14.huijiwiki.com/wiki/%E7%83%B9%E8%B0%83%E5%B8%88/%E9%85%8D%E6%96%B9/"+str(lvRange[x]), '烹调', lvRange[x])print("http://ff14.huijiwiki.com/wiki/烹调师/配方/" + (lvRange[x]))

效果图:

转载于:https://www.cnblogs.com/liez/p/9227099.html

【FF14】工匠配方爬取相关推荐

  1. 使用单线程,多线程,协程,异步爬取包图网大国工匠视频

    使用单线程爬取,多线程,协程爬取,异步爬取包图网视频 文章目录 使用单线程爬取,多线程,协程爬取,异步爬取包图网视频 第一步使用单线程爬取包图网视频 多线程爬取视频 用协程爬取 基于协程的异步爬取 第 ...

  2. 程序员爬取 5000+ 口红数据,差点比女朋友更懂口红?

    作者 | YaJie 来源 | Giao数据 责编 | 王晓曼 摘要:本文以"口红"为关键字,爬取了[1]淘宝与天猫官网下100页口红数据,经过去重,得到共计4353条口红商品信息 ...

  3. 程序员爬取 5000+ 口红商品数据,差点比女朋友更懂口红?

    作者 | YaJie 来源 | Giao数据 责编 | 王晓曼 摘要:本文以"口红"为关键字,爬取了[1]淘宝与天猫官网下100页口红数据,经过去重,得到共计4353条口红商品信息 ...

  4. 真香,50行Java代码爬取妹子套图!

    前言 当一个代码的工匠回首往事时,不因虚度年华而悔恨,也不因碌碌无为而羞愧,这样,当他老的时候,可以很自豪告诉世人,我曾经将代码注入生命去打造互联网的浪潮之巅,那是个很疯狂的时代,我在一波波的浪潮上留 ...

  5. 我用Python爬取美食网站3032个菜谱并分析,没有我不会做的菜!

    这是巨变的中国,人和食物,比任何时候走的更快.近日,J哥为了寻味中国,奔走于某五线城市的大街小巷,结果除了累,啥也没寻到. 于是,J哥默默打开了各大美食网站,如豆果美食.下厨房.美食天下等.经过甄选, ...

  6. 05笔趣阁小说爬取--爬取作者所有小说

    前面的程序已经实现了从笔趣阁自动爬取整部小说,接下来在之前的基础上,将功能进一步扩展,实现自动爬取某一作者在笔趣阁中的所有小说. 继续以方想为例,下图是方想作品列表的页面 (https://www.5 ...

  7. 这届网友实在是太有才了!用python爬取15万条《我是余欢水》弹幕

    年初时我们用数据解读了几部热度高,但评分差强人意的国产剧,而最近正午阳光带着两部新剧来了,<我是余欢水>和<清平乐>,截止到目前为止,这两部剧在豆瓣分别为7.5分和7.9分,算 ...

  8. Python爬取15万条《我是余欢水》弹幕,看郭京飞如何演活极丧中年人

    CDA数据分析师 出品 他来了他来了,正午阳光带着新剧走来了. 年初时我们用数据解读了几部热度高,但评分差强人意的国产剧,而最近正午阳光带着两部新剧来了,<我是余欢水>和<清平乐&g ...

  9. Python爬取15万条《我是余欢水》弹幕,还原一个丧到极致的中年人生

    ▼ 更多精彩推荐,请关注我们 ▼ 作者:Mika 数据:真达   后期:泽龙  [导语]:今天我们聊聊热干面,Python技术部分可以直接看第四部分.公众号后台,回复关键字"余欢水" ...

最新文章

  1. ADO.Net的小知识(连接数据库)二
  2. IDEA2017注册码
  3. AttributeError: ‘str‘ object has no attribute ‘read‘
  4. PHP自学4——通过函数将数组数据输出到html的Table标签中(使用函数的例子)
  5. 企业能为员工储蓄点什么呢
  6. Extjs之RowNumberer
  7. JavaScript get set方法 ES5/ES6写法
  8. “云联邦”构建连云成片、无缝混合的一朵云
  9. js radio 获值
  10. 开机时提示F1continue, F2 setup
  11. mysql 优化union_mysql优化 - MySQL中使用UNION进行两表合并,去重导致效率低下,请问如何优化?...
  12. html中添加3dmax建模,HT for Web自定义3D模型的WebGL应用
  13. latex模板——计算机学报
  14. editormd编辑器在flask中的使用
  15. 行测 资料分析 统计术语篇
  16. 航拍VR全景怎么拍摄制作?航拍VR全景制作软件有哪些?
  17. 苏州科技大学的计算机专业怎么样,苏州科技大学怎么样?有什么王牌专业?排名如何?...
  18. 秀米怎么添加pdf附件「教程」
  19. 阿里云-内容安全-接口demo
  20. 1875. 贝茜的报复

热门文章

  1. 模仿斗地主玩法实现扑克牌的分发
  2. 计算机网络拓扑结构课件,计算机网络拓扑结构的分析及选择
  3. Redis介绍、安装、客户端
  4. Altium Designer软件导出原理图和PCB图的PDF形式
  5. python决策树画图_python输出决策树图形的例子
  6. 十六进制与rgb颜色转换
  7. oracle 倒库详细步骤,科二倒车入库操作步骤高清图解,一步一解读,非常实用!...
  8. 【训练1】储蓄卡与信用卡
  9. 互联网巨头常用词汇大全 每一个词都在改变世界
  10. 小程序如何获取后端的数据