Java爬虫获取网页表格数据

//Java爬虫获取网页表格数据

public class Pachong implements Runnable {

public void run() {
String Rpt_date = null;
double price = 0;
//网页地址
String url = "http://www.sse.net.cn/index/singleIndex?indexType=cbcfi";
try {
Document doc = Jsoup.connect(url).get();
//获取第一个表格
Element element = doc.select("table").first();
// System.out.println(element);
Elements els = element.select("tr");
for (Element el : els) {
Elements ele = el.select("td");
for (Element elem : ele) {
if (elem.text().toString().indexOf("本期") != -1) {
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
Rpt_date = elem.text().toString().substring(3);
}
if (elem.text().toString().equals("秦皇岛-广州（6-7万DWT）")) {
price = Double.parseDouble(el.select("td").get(3).text().toString());
}
}
}
} catch (Exception e) {
e.printStackTrace();
}

//以下是将爬取到的数据保存到MySQL数据库
InputStream in = GetOCFIAll.class.getClassLoader().getResourceAsStream("config.property");
String dbURL = "";
String userName = "";
String userPwd = "";
Properties properties = new Properties();
try {
properties.load(in);
dbURL = (String) properties.get("dburl");
userName = (String) properties.get("dbuser");
userPwd = (String) properties.get("dbpwd");
} catch (Exception e) {
e.printStackTrace();
}

try {
Connection dbConn = DriverManager.getConnection(dbURL, userName, userPwd);
Statement statement = dbConn.createStatement();
String query = "SQL语句";
statement.addBatch(query);

statement.executeBatch();
statement.close();
dbConn.close();
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
}

Java爬虫获取网页表格数据相关推荐

Java爬虫获取网页视频，音乐，图片等
如何使用Java写爬虫来获取网页视频方法1对于没有反爬虫机制(不多说直接上代码) @SuppressWarnings("all") public String getVideo( ...
vba获取html代码数据,VBA获取网页表格数据
'获取中国地震网的地震信息 Option Explicit 'http://data.earthquake.cn/datashare/globeEarthquake_csn.html Sub WebI ...
python 获取网页表格数据_python实战4获取tushare数据
python 4 实战4 获取Tushare数据阅读之前请注意: 代码都为红色.由于公众号宽度不够,没有特别注明,即使换行都是同一句代码,中间没有换行符.如果是两行代码,会用空行隔开. SQL语句请 ...
java数据返回到界面,java后台获取网页ajax数据和返回数据简单源码
呼唤远方 1新建一个servlet xml中相应配置(一般自动)2创建service方法3接受参数,做操作,返回数据比如页面发送ajax请求到SomeServlet$.post("SomeS ...
【Java项目】讲讲我用Java爬虫获取LOL英雄数据与图片（附源码）
Java爬虫获取豆瓣的短评数据
Java爬虫获取豆瓣的短评数据打开豆瓣的选电影页面的链接,可以看到该网页的下面分为热门,最新,经典等栏目分类,网页每次显示20部电影,通过几部电影的查看,可以发现电影的短评页https://movi ...
python Chrome + selenium自动化测试与python爬虫获取网页数据
一.使用Python+selenium+Chrome 报错: selenium.common.exceptions.SessionNotCreatedException: Message: sessi ...
python爬虫表格table_Python基于pandas爬取网页表格数据
以网页表格为例:https://www.kuaidaili.com/free/ 该网站数据存在table标签,直接用requests,需要结合bs4解析正则/xpath/lxml等,没有几行代码是搞不 ...
python 爬虫表格,python爬虫爬取网页表格数据
用python爬取网页表格数据,供大家参考,具体内容如下 from bs4 import BeautifulSoup import requests import csv import bs4 #检查 ...

Java爬虫获取网页表格数据

Java爬虫获取网页表格数据相关推荐

最新文章

热门文章