如何使用Java写爬虫来获取网页视频

方法1对于没有反爬虫机制(不多说直接上代码)

@SuppressWarnings(“all”)
public String getVideo() {
try {

        String pageUrl="要爬取的网址";URL url=new URL(pageUrl);InputStream is=url.openStream();BufferedReader br = new BufferedReader(new InputStreamReader(is, "UTF-8"));String info="";for(int i=0;i<3000;i++){ //我设置为网页的一共有3000 行 具体根据 你获取网页行数的大小来决定info=br.readLine();if(null!=info){String urlRegex="src=\"(.*?\\.mp4)";//正则表达式 Pattern pattern = Pattern.compile(urlRegex);Matcher matcher = pattern.matcher(info);if (matcher.find()) {//比对成功for (int j = 0; j <= matcher.groupCount(); j++) {String tmp = matcher.group(j);if (!tmp.startsWith("src=")) {System.out.println("ger mp4 src >"+tmp);}}}}

} catch (Exception e) {
e.printStackTrace();
}
return null;

}

有反扒机制
访问方式改成以页面的形式访问
把上面的的访问方式替换成下面的内容就可以，如果反扒机制很强的话，就需要借助代理IP啦
// InputStream is=url.openStream();
// BufferedReader br = new BufferedReader(new InputStreamReader(is, “UTF-8”));

       HttpURLConnection conn = (HttpURLConnection) url.openConnection();conn.setRequestMethod("GET");conn.setRequestProperty("user-agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36");BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream(), "UTF-8"));

基本的就介绍到这里，如果又不懂的可以在下面留言咨询我获取扫描二维码来获取更多学习内容

         ![获取分布式开发资料等学习内容](微信扫码)

Java爬虫获取网页视频，音乐，图片等相关推荐

Java爬虫获取网页表格数据
//Java爬虫获取网页表格数据 public class Pachong implements Runnable { public void run() { String Rpt_date = nu ...
python Chrome + selenium自动化测试与python爬虫获取网页数据
一.使用Python+selenium+Chrome 报错: selenium.common.exceptions.SessionNotCreatedException: Message: sessi ...
Java爬虫获取豆瓣的短评数据
Java爬虫获取豆瓣的短评数据打开豆瓣的选电影页面的链接,可以看到该网页的下面分为热门,最新,经典等栏目分类,网页每次显示20部电影,通过几部电影的查看,可以发现电影的短评页https://movi ...
Java爬虫爬取wallhaven的图片
Java爬虫爬取wallhaven的图片参考文章:JAVA Jsoup爬取网页图片下载到本地需要的jar包:jsuop wallhaven网站拒绝java程序访问,所以要伪装报头. 发送请求时 C ...
Android 使用JS注入获取网页视频链接
Android 使用JS注入获取网页视频链接思路: 1.通过js注入获取整个网页html. 2.通过jsoup分析获取video播放器的数据源. 一.开启webviewjs功能,注入js回调 mWe ...
安卓获取手机视频和图片
安卓获取手机视频和图片获取手机本地视频首先需要获得手机内存权限在AndroidManifest.xml中添加代码,获得读取权限 android.permission.READ_EXTERNAL_ ...
JAVA快速获取网络图片或者URL图片并保存到本地
JAVA快速获取网络图片或者URL图片并保存到本地,直接上代码: import java.io.ByteArrayOutputStream; import java.io.File; import j ...
Python爬虫获取网页编码格式
Python爬虫获取网页编码格式网页编码格式是每个网页规定的本页面文字的编码方式,其中比较流行的是ascii, gbk, utf-8, iso等.观察许多网页的编码格式都是在meta标签的conte ...
Java爬虫获取中国天气网7日天气预报
Java爬虫获取中国天气网7日天气预报前言工具准备爬取数据获取日期和星期获取天气描述获取温度范围获取风向及风力完整代码引用前言项目需要获取7日天气预报,免费好用的接口寻觅不到, ...

Java爬虫获取网页视频，音乐，图片等

如何使用Java写爬虫来获取网页视频

Java爬虫获取网页视频，音乐，图片等相关推荐

最新文章

热门文章