java爬虫隐藏表单提交_java爬虫--jsoup简单的表单抓取案例
分析需求:
某农产品网站的农产品价格抓取
页面展示如上:
标签展示如上:
分析发现每日价格行情包括了蔬菜,水果,肉等所有的信息,所以直接抓每日行情的内容就可以实现抓取全部数据。
软件环境:eclipse,Jsoup包
密码:bmrr
抓取表单比较简单,直接用select选择标签即可。
实现:
完整代码如下:
package com.jsoup;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
public class Shichang {
public static void main(String[] args) throws IOException {
String url = "";
Document doc=null;
BufferedWriter bw = null;
//文件输出路径
String path="f:\\cai.txt";
for (int i = 1; i <= 10; i++) {
url = "http://www.xinfadi.com.cn/marketanalysis/0/list/" + i + ".shtml";
//测试用的url
// url = "http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml";
//模拟浏览器
doc = Jsoup.connect(url)
.userAgent(
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31")
.timeout(6000 * 1000).get();
//找到名为hq_table的table
Elements el = doc.select("table.hq_table");
// System.out.println(el);
//遍历hq_table中的tr
for (Element el2 : el) {
Elements el3 = el2.select("tr.tr_color");
//遍历tr中的td
for (Element el4 : el3) {
Elements el5 = el4.select("td");
String rs = el5.text().toString().replace(" ", "\t");
//输出到控制台
System.out.println(rs);
//输出到本地文件
bw = new BufferedWriter(new FileWriter(path,true));
bw.write(rs);
bw.newLine();
bw.flush();
bw.close();
}
}
}
}
}
java爬虫隐藏表单提交_java爬虫--jsoup简单的表单抓取案例相关推荐
- java http 表单提交_java模仿http表单提交数据(含文件上传)实例源码
[实例简介]java模仿http表单提交数据.模仿http表单上传文件示例 [实例截图] [核心代码] package com.snca.cloudsign.main; import java.io. ...
- java web 表单提交_Java Web 表单(form)提交问题!
layout: java title: Java web 的form表单问题 date: 2019-12-19 16:29:36 QHQ-[问题描述]今天做Java web项目的时候,里面一个功能让我 ...
- java爬虫怎么确定url连接_Java爬虫之抓取一个网站上的全部链接
前言:写这篇文章之前,主要是我看了几篇类似的爬虫写法,有的是用的队列来写,感觉不是很直观,还有的只有一个请求然后进行页面解析,根本就没有自动爬起来这也叫爬虫?因此我结合自己的思路写了一下简单的爬虫,测 ...
- 简单表单提交php教程,php教程之表单提交实例
一个超简单的初学者用的php教程之表单提交实例有需要的朋友参考一下. 下面我们将创建一个复杂的表单,代码如下所示. 实例代码如下: 姓名: 密码: 年龄: 16">小于16 16-30 ...
- dwz 表单提交 html,DWZ文件上传表单提交
文件上传表单提交 因为Ajax不支持enctype="multipart/form-data" 所以用隐藏iframe来处理无刷新表单提交. 或 服务器端响应 DWZ-v1.2版本 ...
- 简单表单提交php教程,php教程之表单提交实例_PHP教程
一个超简单的初学者用的php教程之表单提交实例有需要的朋友参考一下.下面我们将创建一个复杂的表单,代码如下所示. 代码如下 复制代码 姓名: 密码: 年龄: 16">小于16 16-3 ...
- dwz 表单提交 html,dwz 文件上传表单提交 分析
众所周知,因为Ajax不支持enctype="multipart/form-data".所以如果想采用无刷新的方式提交文件,Ajax是不行的.采用变通,也是最简单有效的方式是在页面 ...
- php阻止form提交表单提交,防止表单提交时刷新页面-阻止form表单的默认提交行为...
最近在写 ajax 提交的时候遇到一个问题,在执行 ajax 提交之后,浏览器页面自动刷新了,主要是没有 由于form 表单的默认提交行为.一下是几种阻止 form 表单默认提交行为的方式. 1.使用 ...
- Html 中表单提交的一些知识总结——防止表单自动提交,以及submit和button提交表单的区别...
转自:http://jackaudrey.blog.163.com/blog/static/1314217882010590041833/ 在页面中有多个input type="text&q ...
最新文章
- Zabbix添加Ping外网IP监控
- python解压文件到指定路径
- python 十六进制转中文_Python列表中包含中文时输出十六进制转中文的小方法
- Parse Too complex in xxxx.cpp --------source insight
- CentOS下Hive2.0.0单机模式安装详解
- 2020年“1024”,程序员日
- 顶会论文看不懂?阿里巴巴技术专家为你全方位解读!
- python log模块_Python日志模块-logging
- flask+apache2+ubuntu
- 功能表单之评星、进度条、颜色选择器的使用——JEPLUS软件快速开发平台
- jQuery学习笔记:文档处理
- 温度冲击试验箱军标GJB 150与GB 2423区别
- 阿里云商标自助注册申请快速入门(详细步骤和教程)
- Android面试经历2018
- 图片黑底漂白 PicGrayRemover
- HDMI接口之HPD(热拔插)
- keil5安装包下载
- IntelliJ IDEA 最新版完美破解激活(转)
- colab如何读取google drive(谷歌云盘)的文件
- API+段子+美图+未来的视频+关注+python