那么子章节的URL就都可以从text-box中取出， 然后交给后面处理：

def parse_sub(self, response):

soup = BeautifulSoup(response.body, "lxml")

lesson_box = soup.find_all('div', class_='text-box')

for l in lesson_box:

sub_l = l.h2.a['href']

yield scrapy.Request(sub_l, self.parse_sub_info)

子章节页面

子章节页面类似这样的http://www.jikexueyuan.com/course/1225_1.html?ss=1地址，到来关键的课程页面，重申以下，至此我们想要的视频才算是能解析了。

学院使用了video-js控件，并且支持HTML5的页面是包含source节点，这里浏览器看不到source节点就算了，还是抓取分析。

整个子课程页面只使用一个播放器，故我们只关心source节点。

另外课子章节名称和时长在text-box块内，课程名在lesson-teacher块内。

def parse_sub_info(self, response):

f_r = "00:00"

lesson = ""

unit = ""

file_urls = ""

id = ""

soup = BeautifulSoup(response.body, "lxml")

#查找子课程信息：时长和名称

lesson_box = soup.find_all('div', class_='text-box')

for l in lesson_box:

sub_l = l.h2.a['href']

print sub_l

if (response.url == sub_l): #因为多做了一次请求，只处理与本URL一致的课程信息

unit = l.h2.a.string

f_r = l.p.string

break

#查找课程视频地址

source = soup.find_all('source')

if len(source):

print source[0]['src']

file_urls = source[0]['src']

#查找课程名称

lesson_teacher = soup.find_all('div', class_='lesson-teacher')

if len(lesson_teacher) == 1:

lesson = lesson_teacher[0].div.h2.string

print lesson

#子课程名添加编号，方便按顺序查看

id = re.findall("\_(.*)\.html", response.url)

if len(id):

unit = id[0] + unit

#将课程信息推送到LessonInfo 处理单元(Item)，后续保存和下载由Scapy自动完成

if len(file_urls) and len(lesson):

# yield the result

yield LessonInfo(lesson=lesson, unit=unit, time=f_r, file_urls=[file_urls])

运行测试

使用scrapy crawl jike-spider -o video.json即将jike-spider初始化运行，-o为制定输出结果文件。

运行后Scrapy会将整个IOS课程子章节分别下载到设定的目录中，并且在当前目录生成抓取结果文件video.json。

如下内容：

[{"files": [{"url": "http://cv4.jikexueyuan.com/a561bd397474a8449303864d26cfd96b/201601221755/ios/course_1225/01/video/c1225b_01_h264_sd_960_540.mp4", "path": "full/f165d19a878d1048df08f6cc9ba389ee1480bcf6.mp4", "checksum": "357b934b62b2f564bdfff1628f5b180c"}], "lesson": "iOS \u5f00\u53d1\u7684\u524d\u4e16\u4eca\u751f", "unit": "1 iOS \u5f00\u53d1\u7684\u524d\u4e16\u4eca\u751f", "file_urls": ["http://cv4.jikexueyuan.com/a561bd397474a8449303864d26cfd96b/201601221755/ios/course_1225/01/video/c1225b_01_h264_sd_960_540.mp4"], "time": "06:02"},

{"files": [{"url": "http://cv4.jikexueyuan.com/c9c10ce5ea141d5b0b347ef12b4bbf94/201601221755/course/1701-1800/1782/video/4830_b_h264_sd_960_540.mp4", "path": "full/3cfc51a0ec32349df5113d014fe2e64705af84e1.mp4", "checksum": "561e26ff5fe6e209726c077734fb4df0"}], "lesson": "\u5229\u7528 Map Kit \u521b\u5efa\u5730\u56fe\u5e76\u6dfb\u52a0\u81ea\u5b9a\u4e49\u6807\u8bc6", "unit": "1 Map Kit \u57fa\u7840\u8bb2\u89e3", "file_urls": ["http://cv4.jikexueyuan.com/c9c10ce5ea141d5b0b347ef12b4bbf94/201601221755/course/1701-1800/1782/video/4830_b_h264_sd_960_540.mp4"], "time": "04:02"},

...

然后在设定的输出目录中可以看到文件在不断的下载，网速一般，可以喝杯咖啡了～