java爬虫模拟登陆_java爬虫实战之模拟登陆
原标题:java爬虫实战之模拟登陆
使用jsoup工具可以解析某个URL地址、HTML文本内容,是java爬虫很好的优势,也是我们在网络爬虫不可缺少的工具。本文小编带领大家使用jsoup 实现java爬虫模拟登陆,通过省力的API,很好的实现java爬虫模拟登陆。
一、使用工具:Jsoup
jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
二、实现java爬虫模拟登陆
1、确定想要爬取的url
import java.io.BufferedWriter;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.util.Map.Entry;
import java.util.Set;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
public
class SplitTable {
public
static void main(String[] args) throws IOException {
//想要爬取的url
String url = "http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xskb/xskb_list.do?
Ves632DSdyV=NEW_XSD_PYGL";
String username = "";
String password = "";
String sessionId = getSessionInfo(username,password);
spiderWebSite(sessionId,url);
}
2、获取sessionId
private
static String getSessionInfo(String username,String password)
throws IOException{
3、登录网站,返回sessionId信息
Connection.Response res = Jsoup.connect("http://jwcnew.nefu.edu.cn/dblydx_jsxsd/xk/LoginToXk")
4、获得sessionId
String sessionId = res.cookie("JSESSIONID");
System.out.println(sessionId);
return sessionId;
}
5、爬取内容
private
static void spiderWebSite(String sessionId,String url) throws IOException{
//爬取
Document doc = Jsoup.connect(url).cookie("JSESSIONID", sessionId).timeout(10000).get();
Element table = doc.getElementById("kbtable");
//System.out.println(table);
BufferedWriter bw =
new BufferedWriter
(
new OutputStreamWriter(
new FileOutputStream("F:/table.html")));
bw.write(
new String(table.toString().getBytes()));
bw.flush();
bw.close();
}
}
以上就是实现java爬虫模拟登陆的工具及具体实现代码,希望能对你有所帮助哦~
原文至:https://www.py.cn/java/jichu/23016.html返回搜狐,查看更多
责任编辑:
java爬虫模拟登陆_java爬虫实战之模拟登陆相关推荐
- python爬虫与java爬虫的区别_java爬虫(一)主流爬虫框架的基本介绍
(1).Scrapy: Scrapy,Python开发的一个快速.高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据.Scrapy用途广泛,可以用于数据挖掘.监测和自动化测 ...
- java爬虫框架动态_java爬虫框架webmagic
最近需要爬去网站的一些商品,就开始在网上找方法,本来是想着用Python做的,因为以前用Python写过一个小脚本,爬取一个文献网站上的免费文献. 步骤大概是这样的:1,先获取给定URL的html文件 ...
- java爬虫编写步骤_JAVA爬虫--编写第一个网络爬虫程序
JAVA爬虫–编写第一个网络爬虫程序 前言上一章节介绍了XPATH基础语法,本章节将手把手带大家编写第一个爬虫程序,同时也希望能通过这个爬虫程序,帮助大家熟悉上一章节学习的XPATH基础语法并运用到实 ...
- java调用百度搜索_Java爬虫怎么调用百度搜索引擎,对关键字的网页爬取?
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 package com.wjd.baidukey.crawler; import java.io.ByteArrayInputStream; import ...
- java数据爬取_java爬虫,爬取当当网数据
背景:女票快毕业了(没错!我是有女票的!!!),写论文,主题是儿童性教育,查看儿童性教育绘本数据死活找不到,没办法,就去当当网查询下数据,但是数据怎么弄下来呢,首先想到用Python,但是不会!!百度 ...
- java爬虫知乎_java爬虫进阶篇(半小时知乎两万推荐问题)
上一篇写了一个简单的新浪新闻爬虫作为上手主要是用jsoup包来对url页面进行抓取到本地,并在本地进行数据的解析提取.这里就不重复叙述jsoup的用法了,百度一下基本一大片.看了网上大神们都有对知乎进 ...
- java无极树形结构_Java爬虫框架:SeimiCrawler——结构化解析与数据存储
本文将介绍如何使用SeimiCrawler将页面中信息提取为结构化数据并存储到数据库中,这也是大家非常常见的使用场景.数据抓取将以抓取博客园的博客为例. 建立基本数据结构 为了演示,简单起见只建立一个 ...
- java 爬虫身份设定_Java爬虫中HttpClient请求头的设置
在做爬虫的时候发现如果不设置请求头的话,每次httpclient发起的请求都是响应移动端板式的,无法抓取响应的内容,后面查了一下才知道,需要重新设置请求头,让服务端误以为是某个真实浏览器发起的请求: ...
- java爬虫防屏蔽_Java爬虫技术之绕过百度云防护抓取网站内容
如图: 首先需要一个Http工具类:HttpHandle package org.coody.robot.util; import java.io.ByteArrayOutputStream; imp ...
- java 模拟qq空间登陆_java最新完美实现模拟登录QQ登录QQ空间获取说说
package com.pengliu.config; import com.pengliu.util.http.HttpService; /** * desc: 全局公共属性配置 */ public ...
最新文章
- 超轻量级中文OCR,支持竖排文字识别、ncnn推理,总模型仅17M
- [RGEOS]空间拓扑关系
- Rose VS PowerDesigner
- python基础语法第10关作业-Python基础作业一
- python的闭包及装饰器
- cmd下的一些小技巧
- vscode插件的开发与发布流程
- python-shutil学习
- Redis分布式锁奥义
- Java 中Thread的sleep、join、yield方法解析
- mysql建立表间键关系,MySQL外键(表与表之间的关系)
- 【数据分享】工人收入工资及其社会经济影响因素数据
- 【NOIP2017】李电下棋
- 三维点云配准 matlab,一种基于保局PCA的三维点云配准方法与流程
- java试题管理系统
- catia切割红色框框_如何在CATIA中对零件的实体进行切割,详细始末
- javascript join()
- 数学基础知识总结 —— 7. 行列式的基本知识
- java文件写入不覆盖_java写入文件不覆盖写入_Java写入文件–用Java写入文件的4种方法...
- Q1月活大涨70%,后浪会成B站的流量萌新吗?
热门文章
- java 实现base64编码的三种方式、各方式性能比较、最后给出最优工具类 小白实操记录
- 微服务 订单交易支付系统架构演进
- 学生选课管理系统(下)
- java调用python机器学习模型的坑
- fastjson:map转json字符串、json字符串转map、map根据key名拿value、JSONArray转list
- Java项目——Everything 开发思路
- 14道基础Python练习题(附答案)
- java学习笔记宋红康版本-01
- 荷小鱼 x mPaaS | 借助 H5 容器改善 App 白屏、浏览器兼容等问题
- 小米蓝牙音箱驱动_2020年度智能音箱拆解报告汇总,涵盖27个品牌72款产品