实战项目之-scrapy框架实现给孩子取个好名字~

女孩名字常用字大全:http://xh.5156edu.com/xm/nu.html
姓名测试打分:https://www.threetong.com/ceming/baziceming

利用上面两个网站来实现获取一个打分高的女孩名字~

spider页面:

(由于操作不难,就不写其他页的内容了)

# -*- coding: utf-8 -*-
import scrapyclass QimingSpider(scrapy.Spider):name = 'qiming'allowed_domains = ['5156edu.com','threetong.com']start_urls = ['http://xh.5156edu.com/xm/nu.html']def parse(self, response):#将所有字取回来,放在列表f_name_lis = response.xpath('//a[@class="fontbox"]/text()').extract()first = '程'name_lis = []#获取双字for a in f_name_lis:for b in f_name_lis:name =  a + bname_lis.append(name)#获取单个字for c in f_name_lis:name_lis.append(c)#将列表里存在的数据都遍历出来提交.for name in name_lis:Form_data = {"isbz":"1","txtName":first,"name":name,"rdoSex":"1","data_type":"0","cboYear":"2019","cboMonth":"4","cboDay":"22","cboHour":"12-午时","cboMinute":"41分","pid":"北京","cid":"北京","zty":"0",}#打分网站接口url = 'https://www.threetong.com/ceming/baziceming/xingmingceshi.php'#发送请求req = scrapy.FormRequest(url=url, callback=self.parse_test, formdata=Form_data)#将名字一同带过去req.meta['name'] = nameyield req#接收所有返回来的名字打分页面def parse_test(self,response):#匹配相应的标签块,获取打分内容ls_score = response.xpath('//span[@class="df_1 left"]/text()').extract_first().lstrip('姓名理数评分:')bz_score = response.xpath('//span[@class="df_1 right"]/text()').extract_first().lstrip('姓名配合八字评分:')#如果两项打分都超过80,再输出来.if float(ls_score)>= 80 and float(bz_score)>= 80:print(response.meta['name'],ls_score,bz_score)# with open('qiming.html','wb')as f:#     f.write(response.body)

此代码仅供学习与交流,请勿用于商业用途。

实战项目之-scrapy框架实现给孩子取个好名字~相关推荐

Scrapy框架+Gerapy分布式爬取海外网文章
Scrapy框架+Gerapy分布式爬取海外网文章前言一.Scrapy和Gerapy是什么? 1.Scrapy概述 2.Scrapy五大基本构成: 3.建立爬虫项目整体架构图 4.Gerapy概述 ...
使用python的scrapy框架简单的爬取豆瓣读书top250
使用python的scrapy框架简单的爬取豆瓣读书top250 一.配置scrapy环境 1. 配置相应模块如果没有配置过scrapy环境的一般需要安装lxml.PyOpenssl.Twisted ...
python爬上市公司信息_实战项目 1：5 行代码爬取国内所有上市公司信息
实战项目 1:5 行代码爬取国内所有上市公司信息 Python入门爬虫与数据分析在正式开始这门专栏课的学习之前,我们先来看一个简单的爬虫案例.兴趣是最好的老师,当你对爬虫产生兴趣的时候,才会更有动力 ...
怎样给孩子取一个好名字？搜狗“有名堂”大数据支招
http://pinyin.sogou.com/youmingtang/ 在中国文化里,起名字是一件非常讲究的事情.给孩子起名字,既要考虑文字本身的涵义,又要读起来朗朗上口.那么,到底怎样才能给孩子取 ...
Scrapy框架学习笔记 - 爬取腾讯招聘网数据
文章目录一.Scrapy框架概述 (一)网络爬虫 (二)Scrapy框架 (三)安装Scrapy框架 (四)Scrapy核心组件 (五)Scrapy工作流程二. Scrapy案例演示 (一)爬取目 ...
Scrapy框架入门之爬取虎扑体育的新闻标题
下图是2018年5月25日火箭和勇士西决G5时,火箭赢下天王山之战,虎扑NBA的首页. 我这次做的爬虫项目的目的就是:爬取图片中红色边框里的文字,然后txt文本的方式保存到本地. 接下来我介绍一下我完 ...
scrapy框架 crawl spider 爬取.gif图片
创建项目: scrapy startproject qiumeimei 建立爬虫应用: scrapy genspider -t crawl meimei www.qiumeimei.com 爬虫文件 ...
【爬虫实践】记一次Scrapy框架入门使用爬取豆瓣电影数据
本次的学习分享主要是使用一次Scrapy框架,毕竟在很多次的时候,自己在提取一些或是需要实验数据的时候,数据量要求不大,很快便能通过简单的request等库进行调用,然后获取数据. 这次,则是想要使用 ...
一个scrapy框架的爬虫(爬取京东图书)
我们的这个爬虫设计来爬取京东图书(jd.com). scrapy框架相信大家比较了解了.里面有很多复杂的机制,超出本文的范围. 1.爬虫spider tips: 1.xpath的语法比较坑,但是你可以 ...

实战项目之-scrapy框架实现给孩子取个好名字~

spider页面:

实战项目之-scrapy框架实现给孩子取个好名字~相关推荐

最新文章

热门文章