python 爬取淘宝网课

python爬取淘宝网课，打开web控制台，发现有个链接可以下载到对应的内容，下载的格式是m3u8，用文本打开里面是许多.ts链接，当然百度后得知可以直接下个vlc然后下载，但是还是想用python试一试。

我得做法是自己从网页上将15节课的获取m3u8的链接复制粘贴到一个文本里；然后用requests.get.text 分别写入15个空文本中；接着从每个文本将链接（可以获取到.ts视频的链接）遍历为列表之后，再用列表中的每个url进行r=requests.get()。但是此时的r.status_code是404，获取不到r.content。但是我要是直接将可以获得.ts视频的链接直接复制粘贴为url，此时这个链接便可以获取到对应的视频，求解答这是怎么回事？

import linecache
import requests
import os
#i need learn about the re module
#观察发现每个文本都是第六个开始为.ts链接，直到倒数第二个，每个两链接之间隔一个注释

for name in range(15):
    filename3='E:/pycharm/python crawler--taobao‘s internet courses/txt/'+str(name)+'.txt'
    ts_url_list = linecache.getlines(filename3)
    os.makedirs('E:/pycharm/python crawler--taobao‘s internet courses/' + str(name) + '/')
    for num in range(5,len(ts_url_list),2):
        print(ts_url_list[num])
        r=requests.get(str(ts_url_list[num]))
        if r.status_code == 200:
            path_name = 'E:/pycharm/python crawler--taobao‘s internet courses/' + str(name) + '/' + str(num) + '.mp4'
            with open(path_name,'wb') as file_object:
                file_object.write(r.content)
                file_object.close()

        else:
            print(r.status_code)
            break

python 爬取淘宝网课相关推荐

用Python爬取淘宝网商品信息
用Python爬取淘宝网商品信息转载请注明出处网购时经常会用到淘宝网点我去淘宝但淘宝网上的商品琳琅满目,于是我参照中国大学 MOOC的代码写了一个爬取淘宝网商品信息的程序代码如下: impor ...
python爬淘宝app数据_一篇文章教会你用Python爬取淘宝评论数据（写在记事本）
[一.项目简介] 本文主要目标是采集淘宝的评价,找出客户所需要的功能.统计客户评价上面夸哪个功能多,比如防水,容量大,好看等等. [二.项目准备工作] 准备Pycharm,下载安装等,可以参考这篇文章 ...
python电商数据挖掘_利用Python爬取淘宝商品并数据挖掘与分析实战！此乃大型项目！...
项目内容本案例选择>> 商品类目:沙发: 数量:共100页 4400个商品: 筛选条件:天猫.销量从高到低.价格500元以上. 项目目的 1. 对商品标题进行文本分析词云可视化 2. ...
python爬取淘宝商品图片
python爬取淘宝商品的图片话不多说,直接上代码: from selenium import webdriver from selenium.webdriver.common import key ...
Python爬取淘宝女模特信息
前言 Python爬取淘宝美女信息下载本地并同时存储mysql数据库,存储数据库用到了pymysql模块,sql语句简单好用,直接上代码,源码请点链接Python-Spiders文集. 项目结构: 本 ...
第一篇博客，python爬取淘宝信息
python爬取淘宝信息本人只是刚学python的菜鸟,代码不规范及需改进的地方请指教我们直接看代码吧!哈哈 import requests from bs4 import BeautifulSo ...
Python爬虫实战(5)-爬取淘宝网服装图片(Selenium+Firefox)
前言今天我们巩固一下前面学过的知识,通过Selenium+Firefox实现模拟浏览器并自动翻页,爬取图片并写入本地文件中. 以搜索"女装"为例,自动爬取"女装&quo ...
用Python爬取淘宝2000款套套，我发现了一个重要秘密
点击上方"码农突围",马上关注,每天早上8:50准时推送真爱,请置顶或星标一.淘宝商品信息爬取这篇文章主要是讲解如何爬取数据,数据的分析放在下一篇.之所以分开是因为爬取淘宝遇 ...
python爬取淘宝商品做数据挖掘
作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 项目内容: 本项目选择淘宝商品类目:零食数量:一共100页,44 ...

python 爬取淘宝网课

python 爬取淘宝网课相关推荐

最新文章

热门文章