ipip.net IP位置信誉信息爬取

批量查询IP位置和信誉信息

import requests
from lxml import etree
import ssl
ssl._create_default_https_context = ssl._create_unverified_contextrequests.packages.urllib3.disable_warnings()#忽略警告
filename="ip_black_file.txt"
result="ipip.csv"
url="https://www.ipip.net/ip.html"page_headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0','Connection': 'keep-alive','Content-Type':'application/x-www-form-urlencoded','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'}def url_open(check_ip):try:post_data={'ip':check_ip}res=requests.post(url,headers=page_headers,data=post_data,verify=False)status=res.status_codecontent=res.text#print(status)return status,contentexcept Exception as e:return 0,0def check_ipip(check_ip):try:status,content=url_open(check_ip)if status==200:html=etree.HTML(content)tag=html.xpath('//div[@class="outer tableNormal ipSearch"]//div[@class="inner"]//table//tr//td/span/text()')tag=str(tag[1:]).replace("（更多数据请查看', '）","").replace(", ' '","").replace("(', ')","").replace("', '","';'").replace(" ","").replace("['","").replace("']","").replace("'","")#print(tag)return tagelse:return "查询失败"except Exception as e:print(str(e))return "查询失败"if __name__=="__main__":  with open(filename,'r',encoding='utf-8') as fh:data=fh.read().split('\n')with open(result,'a+',encoding='utf-8') as f:for ip in data:if len(ip)>0:print("正在查询IP："+ip)tag=check_ipip(ip)f.write(ip+";"+tag+'\n')

ipip.net IP位置信誉信息爬取相关推荐

利用动态渲染页面对京东笔记本电脑信息爬取
写在前面之前写过一个爬取京东商品的Scrapy爬虫项目,但是里面价格及评论数是通过逆向工程法获得的,在不使用代理ip的情况下,在爬取一定数量的商品后会被持续要求输入验证码.所以这里写出利用动态页面渲 ...
爬虫实战系列！淘宝店铺各品牌手机售卖信息爬取及可视化！
声明:本博客只是简单的爬虫示范,并不涉及任何商业用途. 一.前言最近博主在浏览淘宝时突然萌发了一个想爬它的念头,于是说干就干,我便开始向淘宝"下毒手"了.由于本人平时经常喜欢在淘 ...
爬虫实战系列(八)：淘宝店铺各品牌手机售卖信息爬取及可视化
声明:本博客只是简单的爬虫示范,并不涉及任何商业用途. 一.前言最近博主在浏览淘宝时突然萌发了一个想爬它的念头,于是说干就干,我便开始向淘宝"下毒手"了.由于本人平时经常喜欢在淘 ...
淘宝店铺各品牌手机售卖信息爬取及可视化！
一.前言最近博主在浏览淘宝时突然萌发了一个想爬它的念头,于是说干就干,我便开始向淘宝"下毒手"了.由于本人平时经常喜欢在淘宝上浏览各种手机的信息,于是我便以"手机&qu ...
12306车站信息爬取（4）——添加车票的票价信息
在前三篇文章的基础上: 12306车站信息爬取(1)--输入条件的判断,包括出发站,到达站,和出发时间,并获取车次信息的链接 12306车站信息爬取(2)--输入出发站,到达站和出发时间,获取车次信息 ...
广西人才网实习信息爬取与数据库存储实战
广西人才网实习信息爬取与数据库存储实战 https://www.gxrc.com/ 大家好,我是W 项目介绍:本项目为CrawlSpider结合MySQL.MongoDB爬取求职网站信息的项目,目标是 ...
Scrapy框架爬虫项目：京东商城笔记本电脑信息爬取
一.创建Scrapy项目在cmd中输入一下指令创建一个新的scrapy项目及一个爬虫 scrapy startproject JD_Goodscd JD_Goodsscrapy genspider ...
爬虫第三弹：图灵社区书籍信息爬取
爬虫第三弹:图灵社区书籍信息爬取一.目的:将图灵社区所有书籍的网址.书籍名称,作者,译者,阅读数,标签,出版日期,定价,页数,印刷方式,出版状态全部爬取下来存入mysql数据库,并导出xml格式,最 ...
Python3 pyspider（二）大众点评商家信息爬取
大众点评商家信息爬取首页信息:http://www.dianping.com/ 我是按照城市----商家出售的商品类型----分页----商家----爬取城市: 出售商品类型: 分页:(应该是反爬 ...

ipip.net IP位置信誉信息爬取

批量查询IP位置和信誉信息

ipip.net IP位置信誉信息爬取相关推荐

最新文章

热门文章