爬虫爬取相亲网站信息

项目背景：男女人数差过大，导致大部分适合结婚的男女没有找到心仪的另一半，可以选择通过各种相亲网站，但网站上面的信息过多而且需要会员才能获取到联系方式，因此我们项目主要是通过爬取相亲网站（在此采用我主良缘相亲网站）信息，根据所想条件进行筛选，寻找到契合灵魂的人。

步骤如下：

1.使用软件python 3.7 ：软件安装教程就不在此详细讲解，详情信息可以通过python官网进行了解

2.安装相关的python库：pip install 库名

提示信息出现successful就表示成功安装，出现worning不用在意，只是提醒。

import requests
import os
import json
import openpyxl  #操作excel

3.对年龄进行筛选（采用if-elif-else）

def set_age():age = int(input('请输入期望对方的年龄(如：24):'))if 20<= age <=90:#年龄段范围选择if 21 <= age <= 30:startage = 21#起始年龄21endage = 30#截止年龄30elif  31<= age <= 40:startage = 31endage = 40elif  41<= age <= 50:startage = 41endage = 50elif  51<= age <= 60:startage = 51endage = 60elif  61<= age <= 70:startage = 61endage = 70elif  71<= age <= 80:startage = 71endage = 80elif  81<= age <= 90:startage = 81endage = 90else:startage = 0endage = 0else:print("不存在")return startage,endage

4.对性别进行筛选（为防止意料之外的情况出现，在外面加入了一个大的范围条件进行控制）

def set_sex():sex = input("请输入期望对方性别(如：女)：")if sex =='男' or sex== '女':if sex == '男':gender =1else:gender=2else:print("请核对性别是否正确")return gender

5.为了能够筛选出更加符合条件的人，限制条件为4个，另外两个也采用if-elif-else判断筛选

# 身高
def set_height():height =input("请输入期望对方的身高(如：162)：")if 151<= int(height) <=190:if 151 <= int(height) <= 160:startheight = 151endheight = 160elif 161 <= int(height) <= 170:startheight = 161endheight = 170elif 171 <= int(height) <= 180:startheight = 171endheight = 180elif 181 <= int(height) <= 190:startheight = 181endheight = 190else:startheight = 0endheight = 0else:print("不存在")return startheight,endheight#工资
def set_money():money = int(input("请输入期望的对方月薪(如5000)："))if 1000 <= money <5000:salary = 2elif 5000 <= money < 10000:salary = 3elif 10000 <= money < 20000:salary = 4   elif 20000 <= money :salary = 5else:salary = 0return salary

6.在对条件进行筛选后，就可以着手准备开始解析网页，将解析网页中的数据用txt保存。

def get_data(page,startage,endage,gender,startheight,endheight,salary):#解析网页#字符串的格式化#伪装浏览器的信息##a={'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.55 Mobile Safari/537.36 Edg/96.0.1054.41'}url = 'https://m.7799520.com/api/recommend/wap/search/list/search?startage={}&endage={}&gender={}&startheight={}&endheight={}&marry=1&salary={}&page={}'.format(startage,endage,gender,startheight,endheight,salary,page)res=requests.get(url)#状态码 200 请求成功if res.status_code ==200:return res.json()return res.text

7.关于信息保存，在此进行基本数据以及照片保存，基础数据可以通过代码，在同一路径下自动生成一个excel表格，照片保存需要自己在.py文件的路径下手动添加image文件夹进行图片保存。

爬虫爬取相亲网站信息相关推荐

python爬虫招聘-Python爬虫-爬取招聘网站信息（一）
学习内容,来源于百度搜索工具及环境 1.python版本:python 3.7.3 2.安装工具:beautifulsoup 3.系统环境:Windows10 4.浏览器:chrome 网页分析 i ...
爬虫爬取二次元网站美女图片
爬虫爬取二次元网站美女图片前言 xpath解析需求分析代码编写总代码前言本次需要爬取二次元网站cos板块下的图片需要用到request模块与lxml模块,所以请提前安装好这两个模块,打开 ...
Python POST 爬虫爬取掘金用户信息
Python POST 爬虫爬取掘金用户信息 1. 概述 Python第三方库requests提供了两种访问http网页的函数,基于GET方式的get()函数和基于POST方式的post()函数. g ...
深圳python爬虫培训南山科技园钽电容回收_记一次python 爬虫爬取深圳租房信息的过程及遇到的问题...
为了分析深圳市所有长租.短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题: 爬取代码: import requests from reques ...
python解决租房问题_记一次python 爬虫爬取深圳租房信息的过程及遇到的问题
为了分析深圳市所有长租.短租公寓的信息,爬取了某租房公寓网站上深圳区域所有在租公寓信息,以下记录了爬取过程以及爬取过程中遇到的问题: 爬取代码: import requests from reques ...
python网络爬虫_Python网络爬虫——爬取视频网站源视频！
原标题:Python网络爬虫--爬取视频网站源视频! 学习前提 1.了解python基础语法 2.了解re.selenium.BeautifulSoup.os.requests等python第三方库 ...
java爬虫拉勾网_[Java教程]node.js爬虫爬取拉勾网职位信息
[Java教程]node.js爬虫爬取拉勾网职位信息 0 2017-03-14 00:00:21 简介用node.js写了一个简单的小爬虫,用来爬取拉勾网上的招聘信息,共爬取了北京.上海.广州.深圳 ...
python怎么爬网站视频教程_python爬虫爬取某网站视频的示例代码
把获取到的下载视频的url存放在数组中(也可写入文件中),通过调用迅雷接口,进行自动下载.(请先下载迅雷,并在其设置中心的下载管理中设置为一键下载) 实现代码如下: from bs4 import B ...
爬虫实战：过年你被催婚啦吗？爬取相亲网站，看看当下年轻小姐姐的择偶观。
前言到了一定年龄,父母可能会催你找女朋友,结婚. 大多数的父母催婚,是父母渐渐老了,想让你找个人照顾你,有热饭吃,生病了有人照顾.在外面不被人欺负. 当然,也有一部分来自周围人的压力,跟你同龄的孩子 ...

爬虫爬取相亲网站信息

爬虫爬取相亲网站信息相关推荐

最新文章

热门文章