HtmlUnit采集页面信息加工并写入excel表

1、功能：从网页上采集信息加工，如将商品名字重组（Name2FiveWords函数），并写入excel表，涉及对htmlunit元素定位以及点击重定向。

2、参考代码如下：

package com;import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.FileOutputStream;import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.poifs.filesystem.POIFSFileSystem;import com.gargoylesoftware.htmlunit.BrowserVersion;
import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.ProxyConfig;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.DomElement;
import com.gargoylesoftware.htmlunit.html.DomNodeList;
import com.gargoylesoftware.htmlunit.html.HtmlElement;
import com.gargoylesoftware.htmlunit.html.HtmlPage;public class EBayHU {public static void main(String[] args) {String path="D:"+System.getProperty("file.separator")+"tmp"+System.getProperty("file.separator")+"test.xls";try {   //webclient设置开始WebClient webClient = new WebClient(BrowserVersion.CHROME); //创建一个webclient                      webClient.getOptions().setJavaScriptEnabled(true); // 启动JS          webClient.getOptions().setUseInsecureSSL(true);//忽略ssl认证            webClient.getOptions().setCssEnabled(false);//禁用Css，可避免自动二次请求CSS进行渲染         webClient.getOptions().setThrowExceptionOnScriptError(false);//运行错误时，不抛出异常           webClient.setAjaxController(new NicelyResynchronizingAjaxController());// 设置Ajax异步      //ProxyConfig proxyConfig = webClient.getOptions().getProxyConfig(); //设置代理//proxyConfig.setProxyHost("ip");  //proxyConfig.setProxyPort(port);//webclinet设置结束//打开excel表，准备采集入表POIFSFileSystem fs=new POIFSFileSystem(new FileInputStream(path));//得到Excel工作簿对象      HSSFWorkbook wb = new HSSFWorkbook(fs);  //得到Excel工作表对象      HSSFSheet sheet = wb.getSheetAt(0);//获取第一张表int lastrow=sheet.getLastRowNum();  for(int i=1;i<=lastrow;i++){//第一行标题，从第二行开始//HSSFRow row = sheet.createRow(lastrow+1);HSSFRow row = sheet.getRow(i);HSSFCell cellURL=row.getCell(0);//获取第一列URLString url=cellURL.getStringCellValue();HtmlPage page = webClient.getPage(url);  //打开网页webClient.waitForBackgroundJavaScript(10000);//等待1秒//第一步：获取商品名称并写入excel第二列HtmlElement itemTitle =page.getHtmlElementById("itemTitle");HSSFCell cellItemTitle=row.createCell(1);String title=itemTitle.asText();title=title.replaceAll("Details about", "");cellItemTitle.setCellValue(title.trim());   //将商品名称随机分成5组       HSSFCell cellItemreTitle=row.createCell(2); cellItemreTitle.setCellValue(Name2FiveWords(title));    //第二步：获取商品价格并写入第三列HtmlElement price =page.getHtmlElementById("prcIsum");HSSFCell cellPrice=row.createCell(3);cellPrice.setCellValue(price.asText()); //第三步，获取商品图片并写入excel第四列//if(!page.asText().contains("vi_main_img_fs")) continue;HtmlElement propic =page.getHtmlElementById("vi_main_img_fs");DomNodeList<HtmlElement> picnodes=propic.getElementsByTagName("img");StringBuffer strbuf=new StringBuffer();for(int m=0;m<picnodes.size();m++){HtmlElement pic=picnodes.get(m);page=(HtmlPage)pic.click();webClient.waitForBackgroundJavaScript(10000);HtmlElement bigpic =page.getHtmlElementById("icImg");String picsrc=bigpic.getAttribute("src");strbuf.append(picsrc+"\r\n");//图片的网址之间用逗号隔开}String strResult=strbuf.toString();strResult=strResult.substring(0,strResult.length()-1);//截取最后一个字符HSSFCell cellpic=row.createCell(4);//写入excel第列cellpic.setCellValue(strResult);//第四步：卖家信息写入第5列HtmlElement seller =page.getHtmlElementById("mbgLink");String href=seller.getAttribute("href");HSSFCell cellseller=row.createCell(5);cellseller.setCellValue(seller.asText()+"\r\n"+href);//第五步：获取商品详情并写入第6列DomNodeList<DomElement> nodelist=page.getElementsByTagName("div");for(int j=0;j<nodelist.getLength();j++){DomElement domElement = (DomElement)nodelist.get(j);if(domElement.getAttribute("class").equals("itemAttr")){//写入excel第四列HSSFCell cellinfo=row.createCell(6);cellinfo.setCellValue(domElement.asText());break;}} //第六步：获取商品更多介绍并写入第7列HtmlElement descifr =page.getHtmlElementById("desc_ifr");//切换到iframeString src=descifr.getAttribute("src");HtmlPage ifrpage=webClient.getPage(src);//读取iframe网页webClient.waitForBackgroundJavaScript(10000);DomNodeList<DomElement> nodelist2=ifrpage.getElementsByTagName("div");for(int j=0;j<nodelist2.getLength();j++){DomElement domElement = (DomElement)nodelist2.get(j);if(domElement.getAttribute("class").equals("prod_item description")){//写入excel第四列HSSFCell cellmoreinfo=row.createCell(7);cellmoreinfo.setCellValue(domElement.asText());break;}} //写入excel表FileOutputStream out=new FileOutputStream(path);out.flush();wb.write(out);out.close();}wb.close();           fs.close();         }catch (Exception e) {System.err.println( "Exception: " + e );}}//将字符串分为5个部分public static String Name2FiveWords(String title){String s[]=title.split(" ");String sr="";int len=s.length/5+1;//分成5组for(int m=0;m<5;m++){String tmp="";for(int n=0;n<len;n++){if((m*len+n)<s.length) tmp=tmp+" "+s[m*len+n];}                        sr=sr+"|"+tmp.trim();}return sr;}
}

HtmlUnit采集页面信息加工并写入excel表相关推荐

集思录REITs基金数据python爬取写入EXCEL表
本文主要讲述REITs基金相关内容, 封闭基金数据获取参见: 集思录封闭基金数据python爬取写入excel表国债数据获取参见: 和讯网债券数据Python爬取保存成CSV文件之一 1.什么是RE ...
python爬虫_爬取京东商品写入Excel表
新人的第二篇文章,写的不好请见谅这段代码只是针对京东的商品信息爬取,很多都是根据页面源码去匹配获取数据的,别的网站用不了,也可能过一段时间官方修改了页面就不能用了,不过这里也只是提供学习使用,希望可 ...
java解析xml文件并写入Excel表
解析xml文件并写入Excel表类似于如下格式的xml数据,解析之后将数据写入Excel中 <?xml version="1.0" encoding="UTF-8 ...
集思录封闭基金数据python爬取写入excel表
本文是在之前文章"集思录REITs基金数据python爬取写入EXCEL表"的基础上写成的. 封闭式基金,是相对于开放式基金而言的,是指基金规模在发行前已确定,在发行完毕后和规定的 ...
Python 读pdf数据写入Excel表中
活动地址:CSDN21天学习挑战赛目录一.Python操作PDF的库有很多二.pdflumber作为案例讲解使用 2.安装配置 2.加载PDF 3.读取pdf文档信息 1)读取pdf文档 ...
使用python随机生成IP+域名并写入excel表
题目要求:使用python随机生成IP,随机域名:并创建excel表,将生成的随机IP与域名数据写入: 代码如下: import random import socket import struct ...
java 写入excel表，设置超链接单元格
XSSF List<String[]> allAIItems; // 将allAIItems写入excel,第一列为超链接(图片地址)try {// 定义输出流os,指向要生成的报告文件O ...
Python实训day12am【网络爬虫大作业简略解析：动态生成html页面、数据写入Excel】
Python实训-15天-博客汇总表目录 1.HTML页面设计 2.生成每个城市的HTML页面 2.1.HTML页面代码(weatherTemplate.html) 2.2.实例代码-动态生成htm ...
读取数据库并写入excel表中发送邮件
'''写一个函数实现传人表名就导出到excel 如果这一行数据有乱码就不写到excel里面然后把excel 当作附件发到邮箱''' import pymysql,xlwt,yagmailde ...

HtmlUnit采集页面信息加工并写入excel表

HtmlUnit采集页面信息加工并写入excel表相关推荐

最新文章

热门文章