介绍

影刀
批量数据抓取

案例

官方案例1

3条命令实现批量数据抓取

命令含义

第一步：
提前用谷歌浏览器打开数据抓取的网址

第二步：数据提取

加分功能1：抓取多页，需获取元素

加分功能2：网页加载时间过长，可以调整“翻页间隔的时长”；网页有弹框类信息遮挡翻页按钮，可以取消模拟人工点击翻页按钮选项，通过底层代码去点击。

第三步：数据存到excel保留到本地

1、输出数据结果

2、保存的excel

第四步：自定义编辑数据
首先，点击“不是我想要”

然后，再捕获相似元素

数据就会自动获取，接着，可“新增一列”，重复上述操作即可

注意，若出现如下报错，只需要重选相似元素捕获即可。

其次，可以通过鼠标自由调整列，点击三点，可以进行列表插入等操作。

其中，有“编辑列”，类似捕获元素时的元素编辑，是该列的元素属性。通过“校验元素”，可以验证捕获元素是否正常，有问题时需要进行元素编辑。

其中，还有“提取为链接列”，适用于有超链接的捕获

捕获后已经自动提取了超链接，如果没有提取

则，手动选择“提取为链接列”

其中，还有还有“处理列数据”，需要学习“正则表达式”

案例2

import xbot
import xbot_visual
from . import package
from .package import variables as glv
import timedef main(args):try:web_page = xbot_visual.web.create(web_type="cef", value="https://uland.taobao.com/sem/tbsearch?refpid=mm_26632258_3504122_32538762&keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&clk1=08d140917a02706d0af264930b2a9309&upsId=08d140917a02706d0af264930b2a9309&spm=a2e0b.20350158.search.1&pid=mm_26632258_3504122_32538762&union_lens=recoveryid%3A201_33.54.87.175_4881315_1660392167968%3Bprepvid%3A201_33.54.87.175_4881315_1660392167968", wait_load_completed=True, load_timeout="20", stop_load_if_load_timeout="handleExcept", chrome_file_name=None, edge_file_name=None, ie_file_name=None, bro360_file_name=None, firefox_file_name=None, arguments=None, _block=("main", 1, "打开网页"))for _xbot_retry_time in range(4):try:web_page2 = xbot_visual.web.get(web_type="cef", mode="url", value="https://uland.taobao.com/sem/tbsearch?refpid=mm_26632258_3504122_32538762&keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC%E7%94%B5%E8%84%91&clk1=08d140917a02706d0af264930b2a9309&upsId=08d140917a02706d0af264930b2a9309&spm=a2e0b.20350158.search.1&pid=mm_26632258_3504122_32538762&union_lens=recoveryid%3A201_33.54.87.175_4881315_1660392167968%3Bprepvid%3A201_33.54.87.175_4881315_1660392167968", use_wildcard=False, wait_load_completed=True, load_timeout="20", stop_load_if_load_timeout="handleExcept", open_page=False, url=None, _block=("main", 2, "获取已打开的网页对象"))breakexcept Exception as e:if _xbot_retry_time == 3:raise eelse:xbot_visual.programing.log(type='info', text=f'第2条指令: {e}')time.sleep(3)file_path = xbot_visual.programing.databook.export_data(folder_source="desktop", custom_folder_path="", file_name="影刀数据表格.xlsx", export_header=True, _block=("main", 3, "数据表格导出"))web_data_table = xbot_visual.web.element.data_scraping(browser=web_page2, table_element=package.selector("数据列表3"), handle_pager=False, page_element=None, max_page="0", page_interval="1", simulate_click_page=True, save_to_datasheet=True, _block=("main", 4, "批量数据抓取"))finally:pass

第一步：安装库，遇到以下问题

进入https://pypi.org/project/x-bot/#files

将下载的包放在d盘，方便pip install下载

但是，没有找到xbot_visual

强化下载： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn xbot_visual

案例：数据提取/数据获取/爬虫—工具篇—影刀相关推荐

python爬虫软件-Python爬虫工具篇 - 必会用的6款Chrome插件
在日常 PC 端的 Python爬虫过程工作中,Chrome 浏览器是我们常用的一款工具. 鉴于 Chrome 浏览器的强大,Chrome 网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫 ...
爬虫工具篇 - 必会用的 6 款 Chrome 插件
在日常 PC 端的爬虫过程工作中,Chrome 浏览器是我们常用的一款工具. 鉴于 Chrome 浏览器的强大,Chrome 网上应用商店很多强大的插件可以帮助我们快速高效地进行数据爬虫. 今天推荐的 ...
后羿采集器怎么导出数据_免费爬虫工具：后羿采集器如何采集同花顺圈子评论数据...
本文主要介绍如何使用后羿采集器的智能模式,免费采集同花顺圈子首页短评的发布时间.发布内容.作者及阅读量等信息. 采集工具简介: 后羿采集器是一款基于人工智能技术的网络爬虫软件,只需要输入网址就能够自动 ...
GeoServer发布PostGIS数据服务（地图工具篇.13）
听老人家说:多看美女会长寿地图之家总目录(订阅之前建议先查看该博客) 关联博客(postgis的数据服务来源): 12.(地图工具篇)PostgreSQL+PostGIS实现两坐标点之间最短路径查询 ...
自动化测试工程师摸索之路---数据准备(网络爬虫)- 测试篇
需求验证爬取数据自动化测试工程师摸索之路-数据准备(网络爬虫) 的准确性测试方法描述为了更全面展示图片, 删除序号列, 所属项目列, 需求参考列, 案例类型列, 预期结果列, 备注列模板: ...
紧随大数据浪潮：爬虫工具采集同花顺圈子评论教程
大数据是什么?对于"大数据"(Big data)研究机构Gartner给出了这样的定义."大数据"是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力 ...
自动化之RPA工具之影刀
一.简介名称:影刀类型:软件官网地址(工具使用地址/下载地址):https://www.winrobot360.com/tg/ 简要说明:「影刀RPA」可类比于工厂流水线上的物理机器人二.解决 ...
python爬虫科研数据提取_python爬虫数据提取四之pyquery
1 pyquery 简介:同样是一个强大的网页解析工具它提供了和jQuery类似的语法来解析HTML文档,支持CSS选择器,使用非常方便 2 pyquery基本用法 2.1 安装 pip insta ...
pythonjson数据提取_python爬虫学习笔记(十)-数据提取之JsonPath的使用
1. JSON与JsonPATH JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写.同时也方便了机器进行解析和生成.适用于 ...
运维学python之爬虫工具篇（四）PhantomJS的用法
1 介绍 PhantomJS是一个×××面的,可脚本编程的WebKit浏览器引擎.它原生支持多种web 标准:DOM 操作,CSS选择器,JSON,Canvas 以及SVG.官方文档 2 安装 Pha ...

案例：数据提取/数据获取/爬虫—工具篇—影刀

介绍

案例

官方案例1

案例2

案例：数据提取/数据获取/爬虫—工具篇—影刀相关推荐

最新文章

热门文章