Python爬取外网数据

针对的问题：

我现在有个梯子，可以用浏览器浏览外网，但是ping不通

并且在python中直接用requests.get(url)的方法会返回None
具体原因为啥我也不不懂，

方法

既然浏览器能上，那么就可以让python模拟浏览器进行上网
幸运的是，python提供了selenium工具包用来模仿浏览器操作
在使用该工具时，你需要添加浏览器的driver引擎，并把该引擎添加到工作目录下，我使用的是Edge，具体在哪里下载我忘了，我也是在网上搜的。。,这里是下载好的文件msedgedriver.exe
下载好之后要将该文件重命名为msedgedriver.exe，因为python找的就是这个文件

from selenium import webdriver
from selenium.webdriver.common.by import By
option = webdriver.EdgeOptions()
option.add_argument("headless")
# 这里适用Edge浏览器
driver = webdriver.Edge(options=option)
driver.get("输入你想要的外网地址")
html_page = driver.page_source
print(html_page)

获取到了html后，就可以使用BeautifulSoup进行愉快的爬虫啦~
当然selenium还提供了网页控件的点击输入操作，例如：

# 通过XPATH找到文本框，并添加关键字
driver.find_element(by=By.XPATH, value='输入控件的XPATH地址').send_keys(keyword)
# 通过XPATH找到按钮，并点击
driver.find_element(by=By.XPATH, value='输入控件的XPATH地址').click()

Python爬取外网数据相关推荐

超详细解析python爬取外网图片
废话不多说直接上货 from bs4 import BeautifulSoup #网页解析库 import requests #网页请求库 import json #json数据解析库 import ...
用python爬取外网
PS:能在PAC模式下正常访问外网 requests import requests #ssr配置代理 proxies={'http': 'http://127.0.0.1:1080', 'https ...
python爬取 xueqiu网数据存入MySQL数据库中
#导入包 from urllib import request import json import pymysql #声名一个class类 class mysql_connect(object):# ...
python爬取东方财富网资金流向数据（在本地生成csv文件）
今天我们来试着用python爬取东方财富网资金流向的表格数据. 第一步:程序及应用的准备首先我们需要安装selenium库,使用命令pip install selenium;然后我们需要下载对应的c ...
用python爬取高考网历年高考分数线将数据放入MySQL并绘制图表
用python爬取高考网历年高考分数线 # 导入爬虫的库 import requests from lxml import etree # 导入画图库 from pyecharts.charts im ...
用python爬取基金网信息数据，保存到表格，并做成四种简单可视化。（爬虫之路，永无止境！）
用python爬取基金网信息数据,保存到表格,并做成四种简单可视化.(爬虫之路,永无止境!) 上次 2021-07-07写的用python爬取腾讯招聘网岗位信息保存到表格,并做成简单可视化. 有的人留 ...
python爬取火车票网的时刻表数据
python爬取火车票网的时刻表数据导包 import re,requests,datetime,time,json from prettytable import PrettyTable from ...
Python 爬取北京二手房数据，分析北漂族买得起房吗？（附完整源码）
来源:CSDN 本文约3500字,建议阅读9分钟. 本文根据Python爬取了赶集网北京二手房数据,R对爬取的二手房房价做线性回归分析,适合刚刚接触Python&R的同学们学习参考. 房价高是 ...
利用python爬取东方财富网股吧评论并进行情感分析（一）
利用python爬取东方财富网股吧评论(一) python-东方财富网贴吧文本数据爬取分享一下写论文时爬数据用到的代码,有什么问题或者改善的建议的话小伙伴们一起评论区讨论.涉及内容在前人的研究基础之 ...

Python爬取外网数据

针对的问题：

方法

Python爬取外网数据相关推荐

最新文章

热门文章