1.笔记供学习参考

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
# [@Time](https://my.oschina.net/u/126678)    : 2018/8/5 11:46
# [@Author](https://my.oschina.net/arthor)  : Chawn
# [@Site](https://my.oschina.net/u/859132)    :
# [@File](https://my.oschina.net/u/726396)    : pachong0805.py
# [@Software](https://my.oschina.net/u/922589): PyCharm
# 爬取豆瓣评分250强的电影名
import codecs
import requests
import bs4
from bs4 import BeautifulSoupdownload_url = 'https://movie.douban.com/top250'def download_page(url):headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'}data=requests.get(url).contentreturn datadef parse_html(html):soup = BeautifulSoup(html,features="html.parser")movie_list_soup = soup.find('ol',attrs={'class':'grid_view'})movie_name_list=[]for movie_li in movie_list_soup.find_all('li'):detail = movie_li.find('div',attrs={'class':'hd'})movie_name = detail.find('span',attrs={'class':'title'}).getText()#top = movie_li.find('div',attrs={'class':'pic'}).find('em')movie_name_list.append(movie_name)next_page = soup.find('span',attrs={'class':'next'}).find('a')if next_page:return movie_name_list,download_url + next_page.get('href')return movie_name_list,Nonedef main():url = download_urlwith codecs.open('movies','wb',encoding='utf=8') as fp:while url:html = download_page(url)#对应上面的return movie_name_list,download_url + next_page['href']movies,url = parse_html(html)# print(#     movies# )#u是防止中文乱码#'分隔符'.join(list) = string ,列表转化字符串# '{}'.format(任何内容），标准输出#本来作者写的是fp.write(u'{movies}\n'.format(movies='\n'.join(movies)))#这样输出写的太复杂，看着乱。下面是简写的，大的框架没变。正常情况下u'{}\n'不需要换行符#但是每一页都是列表，没有换行符的话每页的首位就会相连fp.write(u'{}\n'.format('\n'.join(movies)))if __name__=='__main__':main()

2.脚本结果

肖申克的救赎
霸王别姬
这个杀手不太冷
阿甘正传
美丽人生
泰坦尼克号
千与千寻
辛德勒的名单
盗梦空间
机器人总动员
三傻大闹宝莱坞
忠犬八公的故事
海上钢琴师
放牛班的春天
大话西游之大圣娶亲
楚门的世界
教父
龙猫
星际穿越
熔炉
触不可及
无间道
乱世佳人
当幸福来敲门
怦然心动
天堂电影院
十二怒汉
鬼子来了
蝙蝠侠：黑暗骑士
疯狂动物城
少年派的奇幻漂流
活着
搏击俱乐部
指环王3：王者无敌
天空之城
大话西游之月光宝盒
飞屋环游记
罗马假日
控方证人
窃听风暴
两杆大烟枪
飞越疯人院
闻香识女人
哈尔的移动城堡
辩护人
海豚湾
V字仇杀队
死亡诗社
摔跤吧！爸爸
教父2
指环王2：双塔奇兵
美丽心灵
指环王1：魔戒再现
饮食男女
情书
美国往事
狮子王
素媛
钢琴家
小鞋子
七宗罪
天使爱美丽
被嫌弃的松子的一生
致命魔术
本杰明·巴顿奇事
音乐之声
西西里的美丽传说
勇敢的心
拯救大兵瑞恩
黑客帝国
低俗小说
剪刀手爱德华
让子弹飞
看不见的客人
沉默的羔羊
蝴蝶效应
入殓师
大闹天宫
春光乍泄
末代皇帝
心灵捕手
玛丽和马克思
阳光灿烂的日子
哈利·波特与魔法石
布达佩斯大饭店
幽灵公主
第六感
禁闭岛
重庆森林
猫鼠游戏
狩猎
致命ID
大鱼
断背山
甜蜜蜜
射雕英雄传之东成西就
告白
一一
加勒比海盗
穿条纹睡衣的男孩
阳光姐妹淘
摩登时代
阿凡达
上帝之城
爱在黎明破晓前
消失的爱人
风之谷
爱在日落黄昏时
侧耳倾听
超脱
倩女幽魂
恐怖直播
红辣椒
小森林 夏秋篇
喜剧之王
菊次郎的夏天
驯龙高手
幸福终点站
萤火虫之墓
借东西的小人阿莉埃蒂
岁月神偷
神偷奶爸
七武士
杀人回忆
贫民窟的百万富翁
电锯惊魂
喜宴
谍影重重3
真爱至上
怪兽电力公司
东邪西毒
记忆碎片
海洋
黑天鹅
雨人
疯狂原始人
卢旺达饭店
小森林 冬春篇
英雄本色
哈利·波特与死亡圣器(下)
燃情岁月
7号房的礼物
虎口脱险
心迷宫
萤火之森
傲慢与偏见
荒蛮故事
海边的曼彻斯特
请以你的名字呼唤我
教父3
恋恋笔记本
完美的世界
纵横四海
花样年华
唐伯虎点秋香
超能陆战队
玩具总动员3
蝙蝠侠：黑暗骑士崛起
时空恋旅人
魂断蓝桥
猜火车
穿越时空的少女
雨中曲
二十二
达拉斯买家俱乐部
我是山姆
人工智能
冰川时代
浪潮
朗读者
爆裂鼓手
香水
罗生门
未麻的部屋
阿飞正传
血战钢锯岭
一次别离
被解救的姜戈
可可西里
追随
恐怖游轮
撞车
战争之王
头脑特工队
地球上的星星
房间
无人知晓
梦之安魂曲
牯岭街少年杀人事件
魔女宅急便
谍影重重
谍影重重2
忠犬八公物语
模仿游戏
你的名字。
惊魂记
青蛇
一个叫欧维的男人决定去死
再次出发之纽约遇见你
哪吒闹海
完美陌生人
东京物语
小萝莉的猴神大叔
黑客帝国3：矩阵革命
源代码
新龙门客栈
终结者2：审判日
末路狂花
碧海蓝天
秒速5厘米
绿里奇迹
这个男人来自地球
海盗电台
勇闯夺命岛
城市之光
初恋这件小事
无耻混蛋
卡萨布兰卡
变脸
E.T. 外星人
爱在午夜降临前
发条橙
步履不停
黄金三镖客
无敌破坏王
疯狂的石头
美国丽人
荒野生存
迁徙的鸟
英国病人
海街日记
彗星来的那一夜
国王的演讲
非常嫌疑犯
血钻
燕尾蝶
聚焦
勇士
叫我第一名
穆赫兰道
遗愿清单
枪火
上帝也疯狂
我爱你
黑鹰坠落
荒岛余生
大卫·戈尔的一生
千钧一发
蓝色大门
2001太空漫游

3.movies的列表结果

D:\untitled\venv\Scripts\python.exe C:/Users/Administrator/.PyCharm2017.3/config/scratches/douban_movies.py
['肖申克的救赎', '霸王别姬', '这个杀手不太冷', '阿甘正传', '美丽人生', '泰坦尼克号', '千与千寻', '辛德勒的名单', '盗梦空间', '机器人总动员', '三傻大闹宝莱坞', '忠犬八公的故事', '海上钢琴师', '放牛班的春天', '大话西游之大圣娶亲', '楚门的世界', '教父', '龙猫', '星际穿越', '熔炉', '触不可及', '无间道', '乱世佳人', '当幸福来敲门', '怦然心动']
['天堂电影院', '十二怒汉', '鬼子来了', '蝙蝠侠：黑暗骑士', '疯狂动物城', '少年派的奇幻漂流', '活着', '搏击俱乐部', '指环王3：王者无敌', '天空之城', '大话西游之月光宝盒', '飞屋环游记', '罗马假日', '控方证人', '窃听风暴', '两杆大烟枪', '飞越疯人院', '闻香识女人', '哈尔的移动城堡', '辩护人', '海豚湾', 'V字仇杀队', '死亡诗社', '摔跤吧！爸爸', '教父2']
['指环王2：双塔奇兵', '美丽心灵', '指环王1：魔戒再现', '饮食男女', '情书', '美国往事', '狮子王', '素媛', '钢琴家', '小鞋子', '七宗罪', '天使爱美丽', '被嫌弃的松子的一生', '致命魔术', '本杰明·巴顿奇事', '音乐之声', '西西里的美丽传说', '勇敢的心', '拯救大兵瑞恩', '黑客帝国', '低俗小说', '剪刀手爱德华', '让子弹飞', '看不见的客人', '沉默的羔羊']
['蝴蝶效应', '入殓师', '大闹天宫', '春光乍泄', '末代皇帝', '心灵捕手', '玛丽和马克思', '阳光灿烂的日子', '哈利·波特与魔法石', '布达佩斯大饭店', '幽灵公主', '第六感', '禁闭岛', '重庆森林', '猫鼠游戏', '狩猎', '致命ID', '大鱼', '断背山', '甜蜜蜜', '射雕英雄传之东成西就', '告白', '一一', '加勒比海盗', '穿条纹睡衣的男孩']
['阳光姐妹淘', '摩登时代', '阿凡达', '上帝之城', '爱在黎明破晓前', '消失的爱人', '风之谷', '爱在日落黄昏时', '侧耳倾听', '超脱', '倩女幽魂', '恐怖直播', '红辣椒', '小森林 夏秋篇', '喜剧之王', '菊次郎的夏天', '驯龙高手', '幸福终点站', '萤火虫之墓', '借东西的小人阿莉埃蒂', '岁月神偷', '神偷奶爸', '七武士', '杀人回忆', '贫民窟的百万富翁']
['电锯惊魂', '喜宴', '谍影重重3', '真爱至上', '怪兽电力公司', '东邪西毒', '记忆碎片', '海洋', '黑天鹅', '雨人', '疯狂原始人', '卢旺达饭店', '小森林 冬春篇', '英雄本色', '哈利·波特与死亡圣器(下)', '燃情岁月', '7号房的礼物', '虎口脱险', '心迷宫', '萤火之森', '傲慢与偏见', '荒蛮故事', '海边的曼彻斯特', '请以你的名字呼唤我', '教父3']
['恋恋笔记本', '完美的世界', '纵横四海', '花样年华', '唐伯虎点秋香', '超能陆战队', '玩具总动员3', '蝙蝠侠：黑暗骑士崛起', '时空恋旅人', '魂断蓝桥', '猜火车', '穿越时空的少女', '雨中曲', '二十二', '达拉斯买家俱乐部', '我是山姆', '人工智能', '冰川时代', '浪潮', '朗读者', '爆裂鼓手', '香水', '罗生门', '未麻的部屋', '阿飞正传']
['血战钢锯岭', '一次别离', '被解救的姜戈', '可可西里', '追随', '恐怖游轮', '撞车', '战争之王', '头脑特工队', '地球上的星星', '房间', '无人知晓', '梦之安魂曲', '牯岭街少年杀人事件', '魔女宅急便', '谍影重重', '谍影重重2', '忠犬八公物语', '模仿游戏', '你的名字。', '惊魂记', '青蛇', '一个叫欧维的男人决定去死', '再次出发之纽约遇见你', '哪吒闹海']
['完美陌生人', '东京物语', '小萝莉的猴神大叔', '黑客帝国3：矩阵革命', '源代码', '新龙门客栈', '终结者2：审判日', '末路狂花', '碧海蓝天', '秒速5厘米', '绿里奇迹', '这个男人来自地球', '海盗电台', '勇闯夺命岛', '城市之光', '初恋这件小事', '无耻混蛋', '卡萨布兰卡', '变脸', 'E.T. 外星人', '爱在午夜降临前', '发条橙', '步履不停', '黄金三镖客', '无敌破坏王']
['疯狂的石头', '美国丽人', '荒野生存', '迁徙的鸟', '英国病人', '海街日记', '彗星来的那一夜', '国王的演讲', '非常嫌疑犯', '血钻', '燕尾蝶', '聚焦', '勇士', '叫我第一名', '穆赫兰道', '遗愿清单', '枪火', '上帝也疯狂', '我爱你', '黑鹰坠落', '荒岛余生', '大卫·戈尔的一生', '千钧一发', '蓝色大门', '2001太空漫游']进程已结束,退出代码0