爬取猫眼电影并保存数据到excel的源码如下:

注:由于这个源码没有使用selenium,所有出现滑块验证是要先登录

https://maoyan.com/board/4? 进行手动验证
import requests
from lxml import etree
import pandas as pd
df = []
# 注:猫眼电影有时要滑块验证,所以print打印出来为猫眼验证中心,要先登录网址通过滑块验证
base_url = 'https://maoyan.com/board/4?offset={}'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'}
columns = ['排名', '片名', '主演', '时间']
for i in range(50):url = base_url.format(str(i))response = requests.get(url, headers=headers)print(response.text)html = response.textxp = etree.HTML(html)# print(xp)lis = xp.xpath('//*[@id="app"]/div/div/div[1]')# print(lis)for li in lis:# 以下结果全是element x at ......paiming = li.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/i/text()')pianming = li.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a/text()')zhuyan = li.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[2]/text()')[0].strip().replace("\xa0\xa0\xa0", "\t").split("\t")shijian = li.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[3]/text()')# print(paiming)# print(pianming)# print(zhuyan)b = df.append([paiming, pianming, zhuyan, shijian])# dataframe是二维数组,columns将上面的标题行插入到二维数组中d = pd.DataFrame(df, columns=columns)# index=False表示输出不显示索引值d.to_excel("猫眼电影.xlsx", index=False)

如上图所示,我之前复制的xpath语句是

paiming = li.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/i')
pianming = li.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a')

这会导致print(paiming)的结果为 [<Element i at 0x18a666abf08>]

但是只要在xpath的最后加上/text(),就能使打印结果为文字

paiming = li.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/i/text()')
pianming = li.xpath('//*[@id="app"]/div/div/div[1]/dl/dd[1]/div/div/div[1]/p[1]/a/text()')

结果如下:

['2']
['我不是药神']
['主演:徐峥,周一围,王传君']

解决[<Element i at 0x18a666abf08>]问题相关推荐

  1. 解决element 照片墙上传时回显问题

    解决element 照片墙上传时回显问题 参考文章: (1)解决element 照片墙上传时回显问题 (2)https://www.cnblogs.com/GGDong/p/10996522.html ...

  2. 解决element 分页组件,搜索过后current-page 绑定的数据变了,但是页面当前页码并没有变的问题

    解决element 分页组件,搜索过后current-page 绑定的数据变了,但是页面当前页码并没有变的问题 参考文章: (1)解决element 分页组件,搜索过后current-page 绑定的 ...

  3. 解决Element Plus 中el-table表格在一些浏览器中不对齐的问题

    解决Element Plus 中el-table表格在一些浏览器中不对齐的问题 #### 问题 ​ 今天在测试项目时候,意外的发现项目在360浏览器中Element Plus 中el-table表格不 ...

  4. php中autofocus,快速解决element的autofocus失效问题

    原因: autofocus是vue中input的原生属性,element也支持这种方法, 但是element中的el-input组件外面还有其他组件, 导致autofocus失效, 只能手动调用foc ...

  5. 解决 element ui 本地使用 引入 图标不显示 .ttf和.woff 报错问题

    解决 element ui 引入在线地址更换为本地地址后 .ttf和.woff 报错问题 原因 因为文件内缺少两个文件 根据控制台提示 发现少了.ttf和.woff两个文件 1)element-ico ...

  6. 解决Element的 InfiniteScroll 无限滚动组件报错

    问题: 使用Element的 InfiniteScroll 无限滚动组件,代码正常,但是控制台还是会有报错: vue.esm.js?efeb:628 [Vue warn]: Error in dire ...

  7. 解决element Upload 上传 出现Access to XMLHttpRequest at

    Access to XMLHttpRequest at 'http://192.168.12.119/api/design/upload_img' from origin 'http://localh ...

  8. elementui文本框换行_解决Element UI input输入框不能使用回车进行搜索

    css怎么让输入框不显示光标? css怎么让输入框不显示光标?网上有很多方式:用div模拟,设置readonly,设置disabled,设置自动blur等等方式,发现都不能满足需求,最后还是找到一位大 ...

  9. 解决Element type “http:“ must be followed by either attribute specifications, “>“ or “/>“.

    我一般只记录一些另类的解决办法,常规的解决办法请参考其他文章: https://blog.csdn.net/bestcxx/article/details/77989039 https://blog. ...

最新文章

  1. 小米十年,雷军的一往无前
  2. 分析死锁并处理_整理贴
  3. mysql索引查询 with_查找mysql中的低效索引
  4. 单机redis 主从实例
  5. 不用eclipse创建第一个servlet
  6. JPDL3.1规范手册
  7. 电脑摄像头未能创建连接服务器,Win7中摄像头提示未能创建视频预览错误怎么办...
  8. mysql视图转sql server视图_SQL Sever MYSQL 视图实现的 2 种方式
  9. 【ElasticSearch】 Hive数据导入到 es 的 项目 FastIndex
  10. 6.哈夫曼树及哈夫曼编码
  11. ROM、RAM、FLASH、IRAM、IROM、DRAM、DROM等简单介绍
  12. win10多显示器设置只有主显示屏显示任务栏
  13. 汽车音响的各个按钮的功能汇总
  14. 三月c++面经(英特尔、旷世、云从、地平线,具体回答后续补)
  15. python元组转字符串_python3字符串和字典、集合、元组的相互转换 | 吴老二
  16. phpexcel部分操作
  17. 小米盒子生死时刻:广电总局着手调查
  18. 如何使用 Landsat 8 卫星影像计算地表温度
  19. 企业内部有哪些常见的培训形式?| 职场杂谈
  20. [双系统]安装双系统的步骤及注意事项(含分区工具介绍)

热门文章

  1. 51汇编按键控制霓虹灯程序设计
  2. A Survey on Neural Speech Synthesis
  3. 不停的往android手机串口写数据
  4. 【编译原理-练习题-3】语法分析大题
  5. 如何使用Mbp模块构建应用.
  6. 目标检测作业及阶段总结
  7. 在VS2017中修改MFC菜单栏无效
  8. java用poi导出wrod文档支持图片并解释代码
  9. 计算机关机慢怎么解决方法,电脑关机慢,教您怎么解决电脑关机慢
  10. Esxi6.7u1升级到u3