前言

工作有一段时间了，每天早上醒来刷朋友圈发现朋友们都在国外，想想他们当年的英语水平，也比我高不到哪里去，而我现在由于半年没碰英语，怕是单词都不认识几个了吧。但我又很讨厌背单词，读一些艰难苦涩的英文小说也很难读下去。突然想起来之前看资讯的时候，说国内的一些网络武侠/玄幻小说在国外十分盛行，还有人建立了专门的网站，将中文小说一点点翻译成英文供大家看。——诶？我也很爱看这些网络小说啊！三少、土豆西红柿，当年上学的时候不知道有多少个夜晚偷偷看他们的书。

我决定从之前看过很多次的《星辰变》开始，读一读它的英文版。但是网页版的在手机里毕竟兼容性不好，不如下载下来txt版本的放在手机里看。

准备工作

首先，我们找到目标小说《星辰变》的首页，在Completed里，其英文名为Stellar Transformations

定位到星辰变主页.png

找到了http://www.wuxiaworld.com/st-index/这个页面，是星辰变的主页啦。

下面我们来分析一下网页结构：

我用的Chrome浏览器，鼠标选中章节链接后，右键->检查，可以定位到源代码中相应的元素。

如下图所示：

image.png

能够定位到信息了，首先需要做的，是找到所有Chapter对应的地址链接，即上图红框中href部分的内容。

首先把一些基础信息写下，包括目录页面url及请求头，一般比较简单的网站，请求头只把User-Agent写上就可以了，具体值可以去network里随便找一个请求，复制一下自己相应的值。

homepage_url = 'http://www.wuxiaworld.com/st-index/'

headers = {'User-Agent': *******}

获取所有需要爬取的页面链接

接下来我们去获取页面源代码，然后定位到相应元素。

def get_all_url():

# 获取页面源代码

request_url = homepage_url

request = urllib2.Request(request_url, headers=headers)

response = urllib2.urlopen(request)

homepage = response.read()

# 定位到相应元素的根节点

homepage_tree = etree.HTML(homepage)

index_node = homepage_tree.xpath('//*[@id="post-4993"]/div/div[1]/div')

# print index_node

# print etree.tostring(index_node) # 打印当前节点中的内容

# 定位到相应链接

urls = index_node.xpath('.//p/a[starts-with(@href,"http://www.wuxiaworld.com/st-index")]')

#print [etree.tostring(each) for each in urls]

print len(urls)

contentpage_list = []

for each in urls:

url = each.xpath('./@href')

if len(url) == 1:

contentpage_list.append(url[0])

return contentpage_list

获取文本内容

已经找到每个章节的对应链接了，下面需要做的是将页面中的文本元素提取出来，保存到txt文件中。

定位页面文本元素

可以看到其实每一段文本都存在

元素中，那么我们只要定位到这些

元素的根节点，读取

元素下所有文本信息，就可以按段保存了。

首先是获取章节页面源代码：

def get_content(contentpage_url, txt):

request_url = contentpage_url

request = urllib2.Request(request_url, headers=headers)

response = urllib2.urlopen(request)

contentpage = response.read()

然后根据源代码及lxml方法，定位到根节点：

contentpage_tree = etree.HTML(contentpage)

content_root_node = contentpage_tree.xpath('//*[@itemprop="articleBody"]')[0]

#print len(content_root_node)

获取所有

节点及文本内容，并存入txt文件中：

content = content_root_node.xpath(u'./p/text()')

print content

fp = open(txt + '.txt', 'w')

for each in content:

each = each.decode("utf8")

fp.write('%s' % each + '\n')

fp.close()

效果如图：

附：

完整代码如下：

# usr/bin/python

# -*- coding: utf-8 -*-

import re

import urllib2

from lxml import etree

import sys

import os

reload(sys)

sys.setdefaultencoding('utf-8')

homepage_url = 'http://www.wuxiaworld.com/st-index/'

headers = {'User-Agent':

'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.78 Safari/537.36'}

def get_all_url():

contentpage_list = []

# 验证list是否为空

if len(contentpage_list) != 0:

raise ValueError("该列表不为空")

request_url = homepage_url

request = urllib2.Request(request_url, headers=headers)

response = urllib2.urlopen(request)

homepage = response.read()

homepage_tree = etree.HTML(homepage)

index_node = homepage_tree.xpath('//*[@id="post-4993"]/div/div[1]/div')

if len(index_node) == 1:

index_node = index_node[0]

else:

raise ValueError("有不止一个目录节点")

print index_node

# print etree.tostring(index_node) # 打印当前节点中的内容

#urls = index_node.xpath('.//p/a[starts-with(@title,"ST Book")]') # 第九章开始没有title了，爬不全

urls = index_node.xpath('.//p/a[starts-with(@href,"http://www.wuxiaworld.com/st-index")]')

#print [etree.tostring(each) for each in urls]

print len(urls)

for each in urls:

url = each.xpath('./@href')

if len(url) == 1:

contentpage_list.append(url[0])

return contentpage_list

def get_content(contentpage_url, txt):

request_url = contentpage_url

request = urllib2.Request(request_url, headers=headers)

response = urllib2.urlopen(request)

contentpage = response.read()

contentpage_tree = etree.HTML(contentpage)

content_root_node = contentpage_tree.xpath('//*[@itemprop="articleBody"]')[0]

#print len(content_root_node)

content = content_root_node.xpath(u'./p/text()')

print content

fp = open(txt + '.txt', 'w')

for each in content:

each = each.decode("utf8")

fp.write('%s' % each + '\n')

fp.close()

#print etree.tostring(content_root_node[0])

if __name__ == '__main__':

contentpage_list = get_all_url()

#print contentpage_list[0]

#contentpage_list = ['']

#contentpage_list[0] = 'http://www.wuxiaworld.com/st-index/st-book-1-chapter-1/'

for each_url in contentpage_list[303::]:

print each_url

tmp = re.findall('.*/st-index/st-(.*)/', each_url)

if len(tmp) == 0:

tmp = re.findall('.*/st-index/(.*)/', each_url)

if len(tmp) == 0:

tmp = re.findall('.*/st-index/(.*)', each_url)

print len(tmp)

get_content(each_url, tmp[0])