如何批量下载《大数据分析实用技术案例》的学习视频

最近发现全国产业工人学习网上的《课程模块》中有许多很好的学习视频，但是网页观看总是觉得不方便，就想着能不能下载下来自己用播放器观看，经过一番简单分析，发现是可以的，这个网站还是做的很简单，几乎没有任何防爬虫措施；

本次分析的必然老师的《大数据分析实用技术案例》，下载地址：https://download.csdn.net/download/tianshan2010/12040292

分析发现该网站的所有视频课程资源全部在一个http服务器上，地址如下：

http://47.104.225.218/UploadFile/Res/

好了，直接开工下载吧，想下载啥就下载啥，太方便了；

部分代码实例：

一 .Maven工程引入Jsoup；

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.12.1</version>
</dependency>

二.简单的几句代码:


/** * Licensed to the Apache Software Foundation (ASF) under one or more* contributor license agreements.  See the NOTICE file distributed with* this work for additional information regarding copyright ownership.* The ASF licenses this file to You under the Apache License, Version 2.0* (the "License"); you may not use this file except in compliance with* the License.  You may obtain a copy of the License at**     http://www.apache.org/licenses/LICENSE-2.0** Unless required by applicable law or agreed to in writing, software* distributed under the License is distributed on an "AS IS" BASIS,* WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.* See the License for the specific language governing permissions and* limitations under the License.**/
package com.example.demo;import java.io.IOException;
import java.util.LinkedHashSet;
import java.util.List;
import java.util.Set;import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.rocksdb.HashLinkedListMemTableConfig;/*** @desc: demo* @name: JsoupTest.java* @author: tompai* @email：liinux@qq.com* @createTime: 2019年12月17日 下午7:43:29* @history:* @version: v1.0*/public class JsoupTest {/*** @author: tompai* @createTime: 2019年12月17日 下午7:43:29* @history:* @param args void*/public static void main(String[] args) {String seed = "http://47.104.225.218/UploadFile/Res/";String host = "http://47.104.225.218";try {Set<String> urlLinks=new LinkedHashSet<String>();Set<String> texts=new LinkedHashSet<String>();Document doc = Jsoup.connect(seed).get();Elements links = doc.getElementsByTag("a");for (Element link : links) {String href = link.attr("href");String text = link.text();//选择有大数据的链接且是视频格式的if (text.contains("大数据") && href.endsWith("mp4")) {//防止重复if (!urlLinks.contains(href)) {if (!texts.contains(text)) {urlLinks.add(href);}}}}for(String link:urlLinks) {System.out.println(host + link);}} catch (IOException e) {e.printStackTrace();}}}

三.运行结果

http://47.104.225.218/UploadFile/Res/第七章 大数据分析 第一节.mp4
http://47.104.225.218/UploadFile/Res/第七章 大数据分析 第三节.mp4
http://47.104.225.218/UploadFile/Res/第七章 大数据分析 第二节.mp4
http://47.104.225.218/UploadFile/Res/第七章 大数据分析 第五节.mp4
http://47.104.225.218/UploadFile/Res/第七章 大数据分析 第四节.mp4
http://47.104.225.218/UploadFile/Res/第七章大数据分析第一节.mp4
http://47.104.225.218/UploadFile/Res/第七章大数据分析第三节.mp4
http://47.104.225.218/UploadFile/Res/第七章大数据分析第二节.mp4
http://47.104.225.218/UploadFile/Res/第七章大数据分析第五节.mp4
http://47.104.225.218/UploadFile/Res/第七章大数据分析第四节.mp4
http://47.104.225.218/UploadFile/Res/第三章 大数据分析之术：统计是怎么发明的 第一节.mp4
http://47.104.225.218/UploadFile/Res/第三章 大数据分析之术：统计是怎么发明的 第三节.mp4
http://47.104.225.218/UploadFile/Res/第三章 大数据分析之术：统计是怎么发明的 第二节.mp4
http://47.104.225.218/UploadFile/Res/第三章 大数据分析之术：统计是怎么发明的 第五节.mp4
http://47.104.225.218/UploadFile/Res/第三章 大数据分析之术：统计是怎么发明的 第四节.mp4
http://47.104.225.218/UploadFile/Res/第三章大数据分析之术：统计是怎么发明的第一节.mp4
http://47.104.225.218/UploadFile/Res/第三章大数据分析之术：统计是怎么发明的第三节.mp4
http://47.104.225.218/UploadFile/Res/第三章大数据分析之术：统计是怎么发明的第二节.mp4
http://47.104.225.218/UploadFile/Res/第三章大数据分析之术：统计是怎么发明的第五节.mp4
http://47.104.225.218/UploadFile/Res/第三章大数据分析之术：统计是怎么发明的第六节.mp4
http://47.104.225.218/UploadFile/Res/第三章大数据分析之术：统计是怎么发明的第四节.mp4
http://47.104.225.218/UploadFile/Res/第二章大数据分析之道第一节.mp4
http://47.104.225.218/UploadFile/Res/第二章大数据分析之道第三节.mp4
http://47.104.225.218/UploadFile/Res/第二章大数据分析之道第二节.mp4
http://47.104.225.218/UploadFile/Res/第二章大数据分析之道第五节.mp4
http://47.104.225.218/UploadFile/Res/第二章大数据分析之道第四节.mp4
http://47.104.225.218/UploadFile/Res/第二章：大数据分析之道第一节.mp4
http://47.104.225.218/UploadFile/Res/第二章：大数据分析之道第三节.mp4
http://47.104.225.218/UploadFile/Res/第二章：大数据分析之道第二节.mp4
http://47.104.225.218/UploadFile/Res/第二章：大数据分析之道第五节.mp4
http://47.104.225.218/UploadFile/Res/第二章：大数据分析之道第四节.mp4
http://47.104.225.218/UploadFile/Res/第五章 大数据分析之术：分析数据的实用方法 第一节.mp4
http://47.104.225.218/UploadFile/Res/第五章 大数据分析之术：分析数据的实用方法 第三节.mp4
http://47.104.225.218/UploadFile/Res/第五章 大数据分析之术：分析数据的实用方法 第二节.mp4
http://47.104.225.218/UploadFile/Res/第五章 大数据分析之术：分析数据的实用方法 第五节.mp4
http://47.104.225.218/UploadFile/Res/第五章 大数据分析之术：分析数据的实用方法 第四节.mp4
http://47.104.225.218/UploadFile/Res/第五章大数据分析之术：分析数据的实用方法第一节.mp4
http://47.104.225.218/UploadFile/Res/第五章大数据分析之术：分析数据的实用方法第七节.mp4
http://47.104.225.218/UploadFile/Res/第五章大数据分析之术：分析数据的实用方法第三节.mp4
http://47.104.225.218/UploadFile/Res/第五章大数据分析之术：分析数据的实用方法第二节.mp4
http://47.104.225.218/UploadFile/Res/第五章大数据分析之术：分析数据的实用方法第五节.mp4
http://47.104.225.218/UploadFile/Res/第五章大数据分析之术：分析数据的实用方法第六节.mp4
http://47.104.225.218/UploadFile/Res/第五章大数据分析之术：分析数据的实用方法第四节.mp4
http://47.104.225.218/UploadFile/Res/第六章 大数据分析之术：高级工具，OLAP与机器学习模型 第一节.mp4
http://47.104.225.218/UploadFile/Res/第六章 大数据分析之术：高级工具，OLAP与机器学习模型 第三节.mp4
http://47.104.225.218/UploadFile/Res/第六章 大数据分析之术：高级工具，OLAP与机器学习模型 第二节.mp4
http://47.104.225.218/UploadFile/Res/第六章 大数据分析之术：高级工具，OLAP与机器学习模型 第五节.mp4
http://47.104.225.218/UploadFile/Res/第六章 大数据分析之术：高级工具，OLAP与机器学习模型 第四节.mp4
http://47.104.225.218/UploadFile/Res/第六章大数据分析之术：高级工具，OLAP与机器学习模型第一节.mp4
http://47.104.225.218/UploadFile/Res/第六章大数据分析之术：高级工具，OLAP与机器学习模型第三节.mp4
http://47.104.225.218/UploadFile/Res/第六章大数据分析之术：高级工具，OLAP与机器学习模型第二节.mp4
http://47.104.225.218/UploadFile/Res/第六章大数据分析之术：高级工具，OLAP与机器学习模型第五节.mp4
http://47.104.225.218/UploadFile/Res/第六章大数据分析之术：高级工具，OLAP与机器学习模型第六节.mp4
http://47.104.225.218/UploadFile/Res/第六章大数据分析之术：高级工具，OLAP与机器学习模型第四节.mp4
http://47.104.225.218/UploadFile/Res/第四章 大数据分析之术：我们能相信统计么 第一节.mp4
http://47.104.225.218/UploadFile/Res/第四章 大数据分析之术：我们能相信统计么 第三节.mp4
http://47.104.225.218/UploadFile/Res/第四章 大数据分析之术：我们能相信统计么 第二节.mp4
http://47.104.225.218/UploadFile/Res/第四章 大数据分析之术：我们能相信统计么 第四节.mp4
http://47.104.225.218/UploadFile/Res/第四章大数据分析之术：我们能相信统计吗第一节.mp4
http://47.104.225.218/UploadFile/Res/第四章大数据分析之术：我们能相信统计吗第三节.mp4
http://47.104.225.218/UploadFile/Res/第四章大数据分析之术：我们能相信统计吗第二节.mp4
http://47.104.225.218/UploadFile/Res/第四章大数据分析之术：我们能相信统计吗第四节.mp4

直接把上述链接地址放入迅雷开始下载吧！

附件：模拟自动登录源代码；

作者联系方式：

如何批量下载《大数据分析实用技术案例》的学习视频相关推荐

大数据分析经典案例，无缝整合OA、ERP、MES等系统
随着工业化和信息化的发展,传统企业公司的规模和体量都在迅速扩张,逐渐接触到运营和管理的天花板,粗放型管理带来了许多问题,精细化运营势在必行. 那么如果提高企业的运营管理效率.实现精细化运营呢?答案就 ...
怎么批量下载哗哩哗哩B站视频
Bilibili,中文名哔哩哔哩,也叫B站,是一个基于弹幕的视频分享网站,一般像教程都是以合集的形式出现的,下面,小编就来给大家介绍一个工具--视频下载高手,今天就用它教大家批量下载B站合集视频. 浏 ...
python大数据分析实例-python大数据分析代码案例
#查询用户余额代码案例 import sys import MySQLdb import pandas as pd optmap = { 'dbuser' : 'aduser', 'dbpass' : ...
《大数据分析原理与实践》一一导读
前言本书的缘起与成书过程大数据经过分析能够产生高价值,这无疑已在大数据火爆的今天成为共识,从而使得大数据分析在"大数据+"涉及的领域(如工业.医疗.农业.教育等)有了广泛的应 ...
Amazon：大数据分析技能，你满足几条？
从各大招聘网站中可以看到,今年招聘信息少了很多,但数据分析相关岗位有一定增加,而数据分析能力几乎已成为每个岗位的必备技能.是什么原因让企业如此重视"数据人才"? 伴随滴滴出行.智慧 ...
python爬虫批量下载图片
使用python的urllib库和正则表达式爬取学习地址(自行base64解密):aHR0cDovL3BpYy5uZXRiaWFuLmNvbQ== 网站图片,支持批量下载. (本文仅供学习交流,请勿 ...
【干货】剖析大数据分析方法论的几种理论模型（文末有福利哦）
做大数据分析的三大作用,主要是:现状分析.原因分析和预测分析 .什么时候开展什么样的数据分析,需要根据我们的需求和目的来确定. 利用大数据分析的应用案例更加细化的说明做大数据分析方法中经常用到的 ...
大数据分析培训课程有哪些？初级阶段学什么？
无论做数据分析的哪个方向,初级还是高级,都需要有快速学习的能力,学业务逻辑.学行业知识.学技术工具.学分析框架.大数据分析培训课程初期阶段学习如下: 第一阶段(Java基础) 1.Java语言的高级特 ...
大数据分析培训课程有哪些?初级阶段主要学习什么？
大数据分析培训课程有哪些?初级阶段学什么?无论做数据分析的哪个方向,初级还是高级,都需要有快速学习的能力,学业务逻辑.学行业知识.学技术工具.学分析框架.大数据分析培训课程初期阶段学习如下: 大数据分 ...
向大家介绍我的新书：《基于股票大数据分析的Python入门实战》
我在公司里做了一段时间Python数据分析和机器学习的工作后,就尝试着写一本Python数据分析方面的书.正好去年有段时间股票题材比较火,就在清华出版社夏老师指导下构思了这本书.在这段特殊时期内,夏老 ...

如何批量下载《大数据分析实用技术案例》的学习视频

作者联系方式：

如何批量下载《大数据分析实用技术案例》的学习视频相关推荐

最新文章

热门文章