新工具上线！只需2步助你轻松学爬虫!

2024-06-14 10:54:23

作者简介：张老师，学习计算机十余年，在信息安全、生物信息学、会计、平面设计、编辑出版等多个领域也均有涉猎，热爱钻研、热爱考证、热爱生活。

你还在为Python爬虫入门发愁么？

你还在构建requests请求发愁么？

它来了！它就是curl2pyreqs库。

curl2pyreqs是一款基于 Python 实现的 curl 转换工具，可以直接将 curl 请求转换为使用 python-requests 的 Python 脚本。

Github:https://github.com/knightz1224/curl2pyreqs/

只需2步自动生成requests文件：

1. 复制

2. 运行

接下来让我们体验一下~

一、系统要求

版本：Python 3.8+

依赖：pyperclip >= 1.8.0

Linux下需安装X剪贴板组件，如xclip或xsel。

二、安装方法（推荐使用清华源安装）

Windows 下，在命令行输入：

> pip install curl2pyreqs

Mac OS 或 Linux 下，在终端输入：

$ pip3 install curl2pyreqs

三、使用方法

1. 复制

在Chrome或Firefox浏览器中，按F12，打开开发者模式，复制curl请求；

2. 运行

运行curl2pyreqs，即可生成对应的requests代码，并且直接复制到了剪贴板中。

最后，粘贴到Python文件中即可修改代码。

四、Termux补丁

Termux 是一款支持 Linux 环境的 Android 终端模拟器APP。你无需对手机进行root或额外设置即可使用。Termux的环境配置请参见相关教程:《手把手教你在手机或平板上配置Python环境！》

由于pyperclip暂时不支持Termux的复制粘贴，所以张老师为大家做了一个补丁，这个补丁为pyperclip添加了Termux支持。具体安装方法如下：

安装Termux:API，下载地址：

https://f-droid.org/repo/com.termux.api_47.apk

安装termux-api依赖包

pkg install termux-api

下载补丁并安装：

git clone https://github.com/knightz1224/termux_pyperclip_patch
cd termux_pyperclip_patch
python setup.py

安装完成后，我们就可以使用curl2pyreqs了

五、其他使用方法

如无法调用剪贴板，可以通过将curl请求存入文本文件进行转换：

以UTF-8编码格式存入文本，如example.curl；

运行curl2pyreqs -F example.curl，即可生成对应的example.py文件。

最后，查看example.py文件，里面已经是完整的代码了。

六、结语

其他使用方法请参见项目Github:

https://github.com/knightz1224/curl2pyreqs/

技术群邀请函

△扫码添加小助手姐姐

备注：姓名/昵称-职业-研究方向

学生可加入「小詹学Python@学生专属」社群

新工具上线！只需2步助你轻松学爬虫!相关推荐

SSL证书过期怎么办？只需几步就能轻松解决！
要知道,SSL证书是有时效的,特别是2020年之前SSL证书,最高有效期也只有1年,因此,我们更加要注意一下SSL证书是否过期了.那么,SSL证书过期怎么办呢?下面就让摩杜云小杜来跟大家详细的介绍,希 ...
只需四步，即可轻松管理这些容易让人“忽视”的办公用品
小到纸.笔.墨水,大到鼠标.桌椅.键盘,这些都是企业用"钱"购入的资产,却总是被忽视,管理者对办公用品使用现状,一问三不知: 上个月刚采购的一批笔记本,这个月就没了?哪些人领用的, ...
怎么给视频换背景？只需4步，即可轻松换背景
如果你是一名视频工作者,那么想必你日常的工作当中会接触到大量的视频编辑工作.如果你不是专业的视频工作者,只是单纯的对视频剪辑有兴趣的话,平日里没事儿的时候,学习一下剪辑视频的方法也是很不错的.剪辑视频 ...
iOS - 外加字体（只需三步-教你轻松实现）
外加字体 1.首先info.plist中加入属性Fonts provided by application,在item 0 处填写导入的ttf文件名 eg: <key>UIAppFonts ...
小米电视看普通电视台，只需几步就能轻松解锁
提到小米电视,很多人首先想到的就是高性价比,小米电视的确因为它的高性价比而受到了众多消费者的喜爱.相信每个人身边都有那么几个朋友家里用的电视是小米的吧?甚至自己用的也是小米,毕竟高性价比谁能拒绝呢! ...
【RPA之家转载】只需一步快速合并几百个Excel文件
你遇到过要把几百个excel的数据合并起来的需求吗? 最简单的方法:用alteryx,只需一步,就可以轻松做到这一点,如下图1: 拖拽一个读取工具(Input Data,我用的是英文版,这个软件有中文 ...
在线qmc0转换mp3工具_如何将M4A格式的音频转换为MP3格式？只需一步搞定
随着网络技术的发达,会有很多人喜欢在网上下载东西,特别是很喜欢在网上下载音乐,但是下载音乐之后发现是M4A格式?这样用起来很不方便,都喜欢MP3格式的,那么如何将M4A格式的音频转换为MP3格式?今天 ...
计算机卡顿cmd,电脑运行时经常卡顿？只需3步操作，就跟新买的一样流畅！
原标题:电脑运行时经常卡顿?只需3步操作,就跟新买的一样流畅! 很多时候我们遇到电脑卡顿时就会烦躁,吐槽着电脑真垃圾!而很多用户的做法无不在乎就是重装系统,其实不然,解决电脑卡顿的方法除此之外有的是好 ...
微信新玩法，只需三步就可以在朋友圈发送竖排文字，好看又酷炫！
很多小伙伴喜欢用微信朋友圈来记录生活中的点点滴滴,那么如何才能让自己的动态在朋友圈中看起来与众不同呢? 今天给小伙伴们分享一个有意思的微信小程序,只需几步就能设置竖排文字,效果超棒,赶快一起学起来吧! ...

最新文章

热门文章