python爬取网页上的特定链接_python 用bs4解析网页后，如何循环打开爬取出来的网址链接？...

请问，用beautiful soup爬取特定网页后提取tag ‘a’，抓取里面的网址，打开特定的网址，循环特定次数，最后打印出想要的网址，如何操作？

详细的要求如下图：

我的代码如下：

import urllib.request, urllib.parse, urllib.error

from bs4 import BeautifulSoup

import ssl

# Ignore SSL certificate errors

ctx = ssl.create_default_context()

ctx.check_hostname = False

ctx.verify_mode = ssl.CERT_NONE

url = input('Enter - ')

def crawl(url):

html = urllib.request.urlopen(url, context=ctx).read()

soup = BeautifulSoup(html, 'html.parser')

position=0

count=0

tags = soup('a')

for tag in tags:

x=tag.get('href',None)

position=position+1

if position==3:break

crawl(x)

count=count+1

if count==4:break

print(x)

目前遇到的瓶颈就是，我知道如何抓取第一次输入的网址，然后也能提取出tag里面要求的内容。

但是如何打开特定的网址，然后循环特定的次数，最后打印出最终想要的网址我就不会了。求各位大牛指教。

sample problem 链接：http://python-data.dr-chuck.net/known_by_Fikret.html 打开之后是一个表格，每个表格里面的人名都是超链接，点进去每个超链接还是一个表格，也是每个人名都是超链接。

运行以上代码，结果如图: 没有任何数据，也没有报错。研究了一下午了，实在不知道哪里出了问题，请求赐教。万分感谢!

python爬取网页上的特定链接_python 用bs4解析网页后，如何循环打开爬取出来的网址链接？...相关推荐

Python爬取网站上面的数据很简单，但是如何爬取APP上面的数据呢
前言在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过 ...
利用Python爬取爬取APP上面的数据
前言在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 环境配置 1.Fidder的安装和配置下载Fidder软件地址:https: ...
python爬取软件数据_利用Python爬取爬取APP上面的数据
前言在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 环境配置 1.Fidder的安装和配置下载Fidder软件地址:https:// ...
手机抓包app_Python爬取网站上面的数据很简单，但是如何爬取APP上面的数据呢
前言在我们在爬取手机APP上面的数据的时候,都会借助Fidder来爬取.今天就教大家如何爬取手机APP上面的数据. 环境配置 1.Fidder的安装和配置下载Fidder软件地址:https:// ...
【Python爬虫】从零开始爬取Sci-Hub上的论文(串行爬取)
[Python爬虫]从零开始爬取Sci-Hub上的论文(串行爬取) 维护日志项目简介步骤与实践 STEP1 获取目标内容的列表 STEP2 利用开发者工具进行网页调研 2.1 提取文章链接和分页链 ...
python爬取电影评分_用Python爬取猫眼上的top100评分电影
代码如下: # 注意encoding = 'utf-8'和ensure_ascii = False,不写的话不能输出汉字 import requests from requests.exception ...
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片
Python爬虫利用18行代码爬取虎牙上百张小姐姐图片下面开始上代码需要用到的库 import request #页面请求 import time #用于时间延迟 import re #正则表达式 ...
python爬取文献代码_使用python爬取MedSci上的影响因子排名靠前的文献
使用python爬取medsci上的期刊信息,通过设定条件,然后获取相应的期刊的的影响因子排名,期刊名称,英文全称和影响因子.主要过程如下: 首先,通过分析网站http://www.medsci.cn ...
爬虫入门（三）——动态网页爬取：爬取pexel上的图片
Pexel上有大量精美的图片,没事总想看看有什么好看的自己保存到电脑里可能会很有用但是一个一个保存当然太麻烦了所以不如我们写个爬虫吧(๑•̀ㅂ•́)و✧ 一开始学习爬虫的时候希望爬取pexel上的 ...

python爬取网页上的特定链接_python 用bs4解析网页后，如何循环打开爬取出来的网址链接？...

python爬取网页上的特定链接_python 用bs4解析网页后，如何循环打开爬取出来的网址链接？...相关推荐

最新文章

热门文章