写个小爬虫爬下迅雷会员

好久不写爬虫。。。忘了个锤子。于是借着学java的机会用java写个爬虫
爬取静态页面迅雷会员账号和密码。时时获取最新的~

先上我暑假写的python版~

：

# -*- coding: utf-8 -*-
import urllib
import re
import os
url1 = 'http://xlfans.com/'
regex = r'迅雷会员(.+?)密码(.*)<'
regex1 = r'class="item"><a href="(.+?)">'
ml = 'c:/xunlei.txt'
def get_html(url):html1 = urllib.urlopen(url)html = html1.read()html1.close()return html
def get_re(html):xunlei = re.findall(regex,html)for a in xunlei:with open(ml,'a') as f:b = a[0]+' '+a[1]f.write(b+'\n')
def get_new(html):new = re.findall(regex1,html)return new[0]html= get_html(url1)
url = get_new(html)
new_html = get_html(url)
if os.path.exists(ml):os.remove(ml)
get_re(new_html)
print 'please look c:/xunlei.txt thankyou!'
print 'newurl= '+url

附一个暑假写的获取代理ip的小python代码：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import urllib2
url1 ='http://www.kuaidaili.com/'#<td data-title="IP">123.182.216.241</td>
html1 = urllib2.urlopen(url1)
html = html1.read()
html1.close()
regexip = r'data-title="IP">(\d{1,3}.\d{1,3}.\d{1,3}.\d{1,3})'
regexport = r'data-title="PORT">(\d{1,4})'
poxyip = re.findall(regexip,html)
poxyport = re.findall(regexport,html)
for x in range(10):print poxyip[x]+':'+poxyport[x]

然后~

java版

：

package com.Recar;
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.PrintWriter;
import java.net.*;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class pacdemo1 {public static void main(String[] args) throws IOException {System.out.println("程序开始....");String str =newURL();String url1 =str.replace("class=\"item\"><a href=\"", " ");String url = url1.replace("\">", " ");System.out.println(url);http(url);}//抽出来单独写个方法返回html的public static String html(String url1) throws IOException{URL  url = new URL(url1);URLConnection connection = url.openConnection();connection.connect();BufferedReader in = null;in = new BufferedReader(new InputStreamReader(connection.getInputStream(),"UTF-8"));String result = null;String line;while((line=in.readLine())!=null){result+=line;   }//whileSystem.out.println("获取到html....");return result;}///////////////////////////////////////////////////////////////////获取最新的迅雷会员网址public static String newURL() throws IOException{String newURL = null;String result;result= html("http://xlfans.com");//result是返回的网页String regex ="class=\"item\"><a href=\"(.+?)\">";Pattern pattern = Pattern.compile(regex);Matcher matcher = pattern.matcher(result);System.out.println("开始查找最新迅雷会员网址.....");if(matcher.find()){newURL = matcher.group(0);}else{System.out.println("sorry,没有找到，请更新正则"); }return newURL;}///////////////////////////////////////////////////////////////////////////获取网页，并匹配正则public static void http(String newurl)throws IOException{try {//URLURL url = new URL(newurl);String result;result = html(url.toString());//result是返回的网页//那么做正则 迅雷会员(.+?)密码(.*)String regex ="<br />迅雷会员号(.+?)密码(.*)<br />";Pattern pattern = Pattern.compile(regex);Matcher matcher = pattern.matcher(result);String xunlei = null    ;   String xunlei2= null    ;   if(matcher.find()){xunlei = matcher.group(0);xunlei2= xunlei.replace("<br />", "\n");System.out.println(xunlei2);}else{System.out.println("sorry,没有找到，请更新正则"); }} catch (MalformedURLException e) {// TODO Auto-generated catch blocke.printStackTrace();}}}

java版还有问题，总是还有一块一起匹配出来了。我是个萌新，忘大佬指点啊。java写爬虫真心烦啊。Python大法好。

导出jar 要注意是导出可执行版的。不是单纯的jar文件。

小总结：

java的爬虫是先用定义URL

    URL  url = new URL("www.baidu.com");

然后打开网址

URLConnection connection = url.openConnection();connection.connect();

用流来接收html

BufferedReader in = null;in = new BufferedReader(new InputStreamReader(connection.getInputStream(),"UTF-8"));String result = null;String line;while((line=in.readLine())!=null){result+=line;   }//while

然后用正则匹配，当然还有其他更好的方法~

java写的像C。。。以后要改。要学习。有空写动态网页的爬虫。

写个小爬虫爬下迅雷会员相关推荐

【直播】手把手带你 5 分钟写一个小爬虫，从入门到超神！
在程序员界流传着这么一个顺口溜:爬虫玩得好,监狱进得早.数据玩得溜,牢饭吃个够--时不时还有 "XX 公司做违法爬虫,程序员坐牢" 的新闻爆出. 在看热闹的同时,很多人都会提出疑问 ...
小爬虫爬取小猫咪图片并存入本地文件夹
小爬虫爬取小猫咪图片并存入本地文件夹本人是安徽工业大学电气与信息工程学院研一学生,最近还不能开学真的是很糟心哦,由于自己比较笨吧,起步较晚还要忙着学习机器学习还有计算机视觉,但是总学这个感觉很闷也没 ...
python爬虫爬取图片无法打开_半小时入门python爬虫爬下网站图片，不能再简单了...
阅读本文大约需要2分钟本文旨在为没有爬虫基础的,偶尔想爬虫爬一下某个网站上的图片的初学者使用,如果你已经是对爬虫很熟悉了,下面依然有你感兴趣的东西. 我最近也才正儿八经学习了下爬虫,出于某种需要爬一 ...
java用爬虫爬一个页面_使用Java写一个简单爬虫爬取单页面
使用Java爬虫爬取人民日报公众号页面图片使用Java框架Jsoup和HttpClient实现,先看代码爬取目标页面 1.使用Maven构建一个普通Java工程加入依赖: org.jsoup j ...
用Python写一个网络爬虫爬取网页中的图片
写一个爬虫爬取百度贴吧中一个帖子图片网址:壁纸用谷歌浏览器的开发工具检查网页,可以发现其每一张图片都有如下格式 <img class="BDE_Image" src=&q ...
JAVA写的网页爬虫爬取必应词典的词汇音标
为了建立一个英语词汇音标库,需要从网上搜索词汇音标,由于有10万多个词汇需要处理,所以做个这个单词音标爬虫爬取必应网络词典网页上的单词音标. package bingword;import java. ...
五分钟写一个小爬虫，爬取小说并写入txt文件
先上代码: #-*- coding:UTF-8 -*- import requests from lxml import html url='http://www.shuge.net/html/111 ...
python爬虫下载电影百度文档_写一个python 爬虫爬取百度电影并存入mysql中
目标是利用python爬取百度搜索的电影在类型地区年代各个标签下电影的名字评分和图片连接以及电影连接首先我们先在mysql中建表 create table liubo4( id in ...
用 Java 拿下 HTML，分分钟写个小爬虫！
作者 | HelloGitHub-秦人来源 | HelloGitHub(ID:GitHub520) HelloGitHub 推出的<讲解开源项目>系列,今天给大家带来一款开源 Java ...