PYTHON爬虫神站——curl.trillworks 爬取数据只需两步！

前不久作者因为需要爬取一些建筑类数据于是又又又准备苦哈哈的打开百度搜索“如何爬取XX”，然后看html，找到关键点再挨个循环访问.....以下省略。

但这次这款朋友推荐网站拯救了我他就是 https://curl.trillworks.com/ 为此特地开个文章纪念一下爽快的爬虫时刻。

这朴素的界面正好象征着其大道至简的核心。

https://hangqing.gldjc.com/flooring/trend_chart/concrete ，首先我们先进入网站我们准备爬取广材网的一些交易数据。

虽然这个界面由于要收费的原因给封了，但是并不影响我们进行测试。（你只需要从淘宝购买个一天账号，然后登陆广材网保存它的cookie 那以后就可以一直爬虫访问了！）

按照惯例我们打开F12 刷新一下

然后在 network 寻找到你需要的get请求的声明（在右边的preview看一看）点击右键复制其 cURL

然后把CURL复制进入上面的那个网站然后然后然后就完了！！！

最后把上述代码复制到Py 再

print(response.json())
#print出来就结束了！

由于是json格式在批量处理前需要根据情况转个格式...

爬虫正式被简化成了两步

1.打开F12

2.CV大法

PYTHON爬虫神站——curl.trillworks 爬取数据只需两步！相关推荐

Python 爬虫实战，模拟登陆爬取数据
Python 爬虫实战,模拟登陆爬取数据从0记录爬取某网站上的资源连接: 模拟登陆爬取数据保存到本地结果演示: 源网站展示: 爬到的本地文件展示: 环境准备: python环境安装略安装r ...
Python爬虫入门教程06：爬取数据后的词云图制作
前言
python爬虫 - 起点女生榜单爬取 - 1
python爬虫 - 起点女生榜单爬取最近一直在追庆余年,顺带瞄了一眼小说,真真是精彩(虽然因为范闲多妻的设定接受不了就放弃了). 说来说去,还是钟爱女频的修仙小说,所以就想爬一下起点女生网 ...
Python爬虫实战系列(一)-request爬取网站资源
Python爬虫实战系列(一)-request爬取网站资源 python爬虫实战系列第一期文章目录 Python爬虫实战系列(一)-request爬取网站资源前言一.request库是什么? 二 ...
从入门到入土：Python爬虫学习|实例练手|爬取猫眼榜单|Xpath定位标签爬取|代码
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度翻译|Selenium出击|绕过反爬机制|
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取新浪新闻搜索指定内容|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
从入门到入土：Python爬虫学习|实例练手|爬取百度产品列表|Xpath定位标签爬取|代码注释详解
此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 本人博客所有文章纯属学习之用,不涉及商业利益.不合适引用,自当删除! 若 ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...

PYTHON爬虫神站——curl.trillworks 爬取数据只需两步！

PYTHON爬虫神站——curl.trillworks 爬取数据只需两步！相关推荐

最新文章

热门文章