HTMLUnit爬虫模拟登录Linkedin

public static void loginLinkedin(String URL) throws IOException,SQLException {

try {

WebClient webClient =new WebClient();//创建WebClient

webClient.getOptions().setJavaScriptEnabled(false);

webClient.getOptions().setCssEnabled(false);

// 获取页面

HtmlPage page = webClient.getPage("https://www.linkedin.com/uas/login");// 打开linkedin

// 获得name为"session_key"的html元素

HtmlElement usernameEle =page.getElementByName("session_key");

// 获得id为"session_password"的html元素

HtmlElement passwordEle = (HtmlElement)page.getElementById

("session_password-login");

usernameEle.focus();// 设置输入焦点

usernameEle.type("z_hao1975@hotmail.com");// 填写值

passwordEle.focus();// 设置输入焦点

passwordEle.type("XXXXX");// 填写值

// 获得name为"submit"的元素

HtmlElement submitEle =page.getElementByName("signin");

// 点击“登陆”

page = submitEle.click();

String result = page.asXml();// 获得click()后的html页面（包括标签）

if (result.contains("Sign Out")){

System.out.println("登陆成功");

HtmlPage page2 =webClient.getPage(URL);

String pageXml =page2.asXml();

Document doc2 = Jsoup.parse(pageXml);

Element background_text =doc2.getElementById("background");

Elements name =doc2.getElementsByClass("full-name");

if (background_text !=null) {

//System.out.println(background_text.toString());

// iMatch method to check if including sensitive content

booleaniMatch = iContentMatch(background_text.toString());

if (iMatch) {

// String res = downloadFromUrl(URL, getDir());

writefile(filePath("linkedin"),name.toString()+"<br>"+background_text.toString(),false);

//writefile(filePath("linkedin"),result, false);

Sub_ID++;

}

// write into database

* str_SQL =

* " INSERT INTO waverly.tsearch(ID,cliuid_2,unedname,Sub_ID,SearchResult) VALUES (88,"

* + Integer.valueOf(cliuid_2) + ","+ "\"" +unedname +

* "\"" + "," + Sub_ID+ "," + "\"" +

*background_text.toString().replace("\"","\\\"") +"\"" +

* ")";

* try {Class.forName("com.mysql.jdbc.Driver");

* java.sql.Connectionconn =DriverManager.getConnection(

* "jdbc:mysql://localhost:3306/waverly?user=root&password=197544"

* ); java.sql.Statementstmt =conn.createStatement();

* stmt.executeUpdate(str_SQL); Sub_ID++; }catch

* (SQLException e) { e.printStackTrace(); }catch

* (ClassNotFoundException e) { //TODO Auto-generated catch

* block e.printStackTrace(); }

// 创建目录

// str_m=str_trim.substring(0,

// 4-cliuid_2.length())+cliuid_2;

// writefile("c:/1.txt",background_text.toString(), false);

} else {

System.out.println("登陆失败");

}

} catch (FailingHttpStatusCodeExceptione) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (Exceptione) {

// TODO Auto-generated catch block

e.printStackTrace();

}

HTMLUnit爬虫模拟登录Linkedin相关推荐

【Python技能树共建】Python爬虫模拟登录
Python 爬虫模拟登录 Python 爬虫模拟登录是使用脚本实现自动登录,部分站点需要逆向加密逻辑,更多的站点会采用验证码进行鉴权验证. 本文为大家带来最简单的登录,其核心用到的是 request ...
python爬虫模拟登录人人网过程解析
这篇文章主要介绍了python爬虫模拟登录人人网过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 equests 提供了一个叫做sessio ...
python登录教务系统_强智科技教务系统python爬虫模拟登录分析(湖南)
强智科技教务系统python爬虫模拟登录分析(湖南) 本文章仅用作于学习前提:最近期末到来,想第一时间看到新出成绩的,于是就有了爬取学校教务系统自己的成绩并通过Qmsg酱推送到自己QQ上的想法,目前 ...
Github项目分享——爬虫模拟登录各大平台
爬虫模拟登录各大平台项目地址 https://github.com/Kr1s77/awesome-python-login-model 项目介绍
python–爬虫–模拟登录全面介绍和简例–以抓取雅卓app为例
转载请注明出处:python–爬虫–模拟登录全面介绍和简例–以抓取雅卓app为例我们在前面的文章中已经学习了如果使用python进行数据抓取. 但我们常常会遇到一种场景,就是想要获取的页面内容或者接 ...
新浪微博爬虫模拟登录（爬手机版）
新浪微博爬虫模拟登录最近一直在想做新浪微博爬取,开始的时候做了一个PC版的爬取,但是发现提取内容真心难过所以在这里爬了手机版的话不多说,show you my code 这个可以提取固定人微博内容, ...
python爬虫登陆教程_(python模拟登陆教程)python爬虫模拟登录是什么意思
python爬虫模拟登录是什么意思网站需要登录后才能所需要的信息,此时可以设计爬虫进拟登录,原理是利用浏cookie. 一.浏览器访问服务器的过程: (1)浏览器(客户端)向Web服务器发出一个HT ...
Java爬虫模拟登录——不给我毛概二的H某大学
你的账号访问太频繁,请一分钟之后再试! 从大一开始就用脚本在刷课在专业课踢的只剩下一门C#的情况下活活刷到一周的课大二开始教务系统多了一个非常**的操作退课池 and 访问频繁缓冲难道,我 ...
枯燥的寒假生活(一) python爬虫模拟登录whu老教务系统获取期末考试成绩(已失效 , 老教务系统增加了新的反爬, 老教务系统已停用)
python模拟登录老教务系统(2021.6.24更新) 一.写在前面之前用爬虫爬取的都是静态网页html中的内容,但是大多数时候需要动态处理网页爬取数据.因为学校出成绩太慢了,每次都自己打开浏览器 ...
python淘宝cookies抢购_python实现简单爬虫模拟登录淘宝（cookie简介）
试验了一个晚上,python的小爬虫还是挺可爱的,简单几行就可以抓取网页了.如果你和我一样是新手,你可以先去http://blog.csdn.net/column/details/why-bug.ht ...

HTMLUnit爬虫模拟登录Linkedin

HTMLUnit爬虫模拟登录Linkedin相关推荐

最新文章

热门文章