世纪佳缘php查学历吗,爬了世纪佳缘后发现了一个秘密，世纪佳缘找对象靠谱吗？...

今天在知乎上看到一个关于【世纪佳缘找对象靠谱吗？】的讨论，其中关注的人有 1903，被浏览了 1940753 次，355 个回答中大多数都是不靠谱。用 Python 爬取世纪佳缘的数据是否能证明它的不靠谱？

数据抓取

在 PC 端打开世纪佳缘网站，搜索 20 到 30 岁、不限地区的女朋友

翻了几页找到一个 search_v2.php 的链接，它的返回值是一个不规则的 json 串，其中包含了昵称、性别、是否婚配、匹配条件等等

点开 Hearders 拉到最下面，在它的参数中 sex 是性别、stc 是年龄、p 是分页、listStyle 是有照片

通过 url + 参数的 get 方式，抓取了 10000 页的数据总共 240116

需要安装的模块有 openpyxl，用于过滤特殊的字符

# coding:utf-8

import csv

import json

import requests

from openpyxl.cell.cell import ILLEGAL_CHARACTERS_RE

import re

line_index = 0

def fetchURL(url):

headers = {

'accept': '*/*',

'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36',

'Cookie': 'guider_quick_search=on; accessID=20201021004216238222; PHPSESSID=11117cc60f4dcafd131b69d542987a46; is_searchv2=1; SESSION_HASH=8f93eeb87a87af01198f418aa59bccad9dbe5c13; user_access=1; Qs_lvt_336351=1603457224; Qs_pv_336351=4391272815204901400%2C3043552944961503700'

}

r = requests.get(url, headers=headers)

r.raise_for_status()

return r.text.encode("gbk", 'ignore').decode("gbk", "ignore")

def parseHtml(html):

html = html.replace('\\', '')

html = ILLEGAL_CHARACTERS_RE.sub(r'', html)

s = json.loads(html,strict=False)

global line_index

userInfo = []

for key in s['userInfo']:

line_index = line_index + 1

a = (key['uid'],key['nickname'],key['age'],key['work_location'],key['height'],key['education'],key['matchCondition'],key['marriage'],key['shortnote'].replace('\n',' '))

userInfo.append(a)

with open('sjjy.csv', 'a', newline='') as f:

writer = csv.writer(f)

writer.writerows(userInfo)

if __name__ == '__main__':

for i in range(1, 10000):

url = 'http://search.jiayuan.com/v2/search_v2.php?key=&sex=f&stc=23:1,2:20.30&sn=default&sv=1&p=' + str(i) + '&f=select&listStyle=bigPhoto'

html = fetchURL(url)

print(str(i) + '页' + str(len(html)) + '*********' * 20)

parseHtml(html)

发现秘密

在处理数据去掉重复的时候发现有好多重复的，还以为是代码写的有问题呢，查了好久的 bug 最后才发现网站在 100 页只有的数据有好多重复的，下面两个图分别是 110 页数据和 111 页数据，是不是有很多熟面孔。

110 页数据

111 页数据

过滤重复后的数据只剩下 1872 了，这个水分还真大

def filterData():

filter = []

csv_reader = csv.reader(open("sjjy.csv", encoding='gbk'))

i = 0

for row in csv_reader:

i = i + 1

print('正在处理：' + str(i) + '行')

if row[0] not in filter:

filter.append(row[0])

print(len(filter))

总结

世纪佳缘的数据告诉我们网上交友需谨慎。用好 Python 走遍网络都不怕。

点个“在看”支持一下

世纪佳缘php查学历吗,爬了世纪佳缘后发现了一个秘密，世纪佳缘找对象靠谱吗？...相关推荐

python是一种面向对象的高级语言_爬了世纪佳缘后发现了一个秘密，世纪佳缘找对象靠谱吗？...
今天在知乎上看到一个关于[世纪佳缘找对象靠谱吗?]的讨论,其中关注的人有 1903,被浏览了 1940753 次,355 个回答中大多数都是不靠谱.用 Python 爬取世纪佳缘的数据是否能证明它的不 ...
爬了世纪佳缘后发现了一个秘密，世纪佳缘找对象靠谱吗？
今天在知乎上看到一个关于[世纪佳缘找对象靠谱吗?]的讨论,其中关注的人有 1903,被浏览了 1940753 次,355 个回答中大多数都是不靠谱.用 Python 爬取世纪佳缘的数据是否能证明它的不 ...
爬了世纪佳缘后发现了一个秘密
文 | 某某白米饭来源:Python 技术「ID: pythonall」今天在知乎上看到一个关于[世纪佳缘找对象靠谱吗?]的讨论,其中关注的人有 1903,被浏览了 1940753 次,355 个 ...
爬了10000张NASA关于火星探索的图片，我发现了一个秘密
前言最近,我使用爬虫技术,爬取了美国航空航天局,也就是你电影里经常见到的 NASA, 火星探索的相关图片,有 10000 张吧. 嗯嗯,小事情,小事情. 完事儿之后,有点小激动,于是就有了这篇文章, ...
爬取三千条数据需要多久_数字科学家赚多少钱？我爬取近 6 年三千份数据后发现了这些秘密...
数字科学家究竟能赚多少钱?这大概是数据科学领域最有趣.关注度最高的一个问题了.近期,美国一位对这个问题充满好奇的数据科学家 Tony Yiu,针对数据科学家的薪资水平做了一次数据分析.他爬取了 201 ...
爬了深圳3W+二手房我发现了这些秘密
来了就是深圳人,一句多么包容的文案,但来了才能体会到其中的辛酸,因为实际上大部分来了是东莞惠州人. 用爬虫爬了某房产中介深圳地区的37518套二手房,其中普通住宅有30088套,本文章的内容以普通住宅 ...
爬取了3W 用户评价后发现用户眼中的坚果3是这样的
实现过程介绍从网页爬取数据思路首先我们打开京东商城坚果3 的购买页面: 然后按F12进入开发者控制台(审查元素): 发现什么都没有,不要紧,点开评论区,你就会发现控制台出现类似这些信息: 控制台 ...
Python网络爬虫实战：世纪佳缘爬取近6万条小姐姐数据后发现惊天秘密
翻着安静到死寂的聊天列表,我忽然惊醒,不行,我们不能这样下去,光羡慕别人有什么用,我们要行动起来,去找自己的幸福!!! 我也想"谈不分手的恋爱" !!!内牛满面!!! 注册登陆一气 ...
denied 登陆后access_Python网络爬虫实战：世纪佳缘爬取近6万条小姐姐数据后发现惊天秘密...
翻着安静到死寂的聊天列表,我忽然惊醒,不行,我们不能这样下去,光羡慕别人有什么用,我们要行动起来,去找自己的幸福!!! 我也想"谈不分手的恋爱" !!!内牛满面!!! 注册登陆一气 ...
软件测试公司都会查学历吗,高新技术企业申请会查员工学历吗？申请高新技术企业注意事项解读...
高新技术企业申请会查员工学历吗?申请高新技术企业注意事项解读一.高新技术企业申请会查员工学历吗? 答案是会查学历.查学历的目的主要用来鉴定企业研发大专以上人员人数占比,大专学历以上占比越多,说明企业 ...

世纪佳缘php查学历吗,爬了世纪佳缘后发现了一个秘密，世纪佳缘找对象靠谱吗？...

世纪佳缘php查学历吗,爬了世纪佳缘后发现了一个秘密，世纪佳缘找对象靠谱吗？...相关推荐

最新文章

热门文章