如何用python爬取豆瓣图书 Top 250
下面就是代码:
import requests
import re
import sys
from bs4 import BeautifulSouptot_Book=[]
tot_other=[]
tot_con=[]f = open('Book.csv', 'w', encoding='utf-8')
f.writelines('书名'+','+'其他信息'+'\n')def book_spy(url):resp=requests.get(url)text=resp.textsoup=BeautifulSoup(text,'lxml')Book_p=soup.find_all('div',class_='pl2')Book_o=soup.find_all('p',class_='pl')for j in Book_o:t_other = j.get_text().replace('\n', '').replace(' ', '')tot_other.append(t_other)for i in Book_p:tit=i.find_all('a')title=tit[0].get_text().replace('\n','').replace(' ','')tot_Book.append(title)for i in range(25):str=tot_Book[i]+','+tot_other[i]tot_con.append(str)def main():init_url='https://book.douban.com/top250?start='for i in range(10):urls=init_url+str(i*25)# print(urls)book_spy(urls)for i in tot_con:f.writelines(i+'\n')print(i)if __name__ == '__main__':main()f.close()
这就是写入文件
书名,其他信息
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
追风筝的人,[美]卡勒德·胡赛尼/李继宏/上海人民出版社/2006-5/29.00元
解忧杂货店,[日]东野圭吾/李盈春/南海出版公司/2014-5/39.50元
小王子,[法]圣埃克苏佩里/马振聘/人民文学出版社/2003-8/22.00元
白夜行,[日]东野圭吾/刘姿君/南海出版公司/2008-9/29.80元
围城,钱锺书/人民文学出版社/1991-2/19.00
三体:“地球往事”三部曲之一,刘慈欣/重庆出版社/2008-1/23.00
嫌疑人X的献身,[日]东野圭吾/刘子倩/南海出版公司/2008-9/28.00
挪威的森林,[日]村上春树/林少华/上海译文出版社/2001-2/18.80元
活着,余华/作家出版社/2012-8-1/20.00元
百年孤独,[哥伦比亚]加西亚·马尔克斯/范晔/南海出版公司/2011-6/39.50元
红楼梦,[清]曹雪芹著/人民文学出版社/1996-12/59.70元
看见,柴静/广西师范大学出版社/2013-1-1/39.80元
平凡的世界(全三部),路遥/人民文学出版社/2005-1/64.00元
三体Ⅱ:黑暗森林,刘慈欣/重庆出版社/2008-5/32.00
不能承受的生命之轻,[捷克]米兰·昆德拉/许钧/上海译文出版社/2003-7/23.00元
三体Ⅲ:死神永生,刘慈欣/重庆出版社/2010-11/38.00元
达·芬奇密码,[美]丹·布朗/朱振武/上海人民出版社/2004-2/28.00元
我们仨,杨绛/生活·读书·新知三联书店/2003-7/18.80元
简爱(英文全本),[英]夏洛蒂·勃朗特/世界图书出版公司/2003-11/18.00元
天才在左疯子在右:国内第一本精神病人访谈手记,高铭/武汉大学出版社/2010-2/29.80元
哈利·波特与魔法石,[英]J.K.罗琳/苏农/人民文学出版社/2000-9/19.50元
明朝那些事儿(壹):洪武大帝,当年明月/中国友谊出版公司/2006-9/24.80
傲慢与偏见,[英]奥斯丁/张玲/人民文学出版社/1993-7/13.00元
目送,龙应台/生活·读书·新知三联书店/2009-10/39.00元
恶意,[日]东野圭吾/娄美莲/南海出版公司/2009-6/18.00
如何用python爬取豆瓣图书 Top 250相关推荐
- python xpath爬取豆瓣图书Top 250存入csv文件并解决csv乱码问题
我上次分享过关于爬取豆瓣电影top250的实战:BeautifulSoup爬取豆瓣电影top250信息 和 python BeautifulSoup爬取豆瓣电影top250信息并写入Excel表格 , ...
- 使用Python爬取豆瓣电影 Top 250
目录 前言 一.大致思路 1.导入第三方库 2.简单需求分析 二.代码解析 三.代码实现 四.总结一下 实现Python爬虫的基本思路: 1. 确定需求 2. 网站分析 3. 单一数据提取 4. 提取 ...
- python爬取豆瓣图书(详细步骤讲解)
题目: 老师安排我们爬取豆瓣图书,恰好想学,所以把爬取的过程按照顺序写下来,主要是留个痕迹.在文中我会把爬虫所需的所有代码以图片形式一一讲解,图片里的代码就是全部的爬虫代码!!!如果你懒得自己敲的话, ...
- 【Python爬虫】爬取豆瓣电影Top 250
豆瓣电影 Top 250 导入第三方包 urllib模块介绍 引入模块 import urllib.request,urllib.parse,urllib.error 获取一个get请求 respos ...
- python爬取豆瓣图书top250_「豆瓣读书250」爬取豆瓣TOP250书单 - seo实验室
豆瓣读书250 小白学习爬虫 爬取豆瓣TOP250的书,正好本人也喜欢看书 思路分析: https://book.douban.com/top250这是TOP250第一页的链接 https://boo ...
- python爬取豆瓣排名前250部电影封面
话不多说,先给出网页地址豆瓣电影 Top 250,进入后我们按F12打开开发者工具查看网页信息,然后随便右键点击一张电影封面查看元素如图: 容易看出我们所需要的封面地址在img这个标签下的src属性当 ...
- python爬取豆瓣图书榜单 并存放数据库心得
最近javaweb 项目存放图书的数据库存放的图书太少 决定去豆瓣榜单 爬取一些数据 首先是爬取网页得到数据 以字典类型先储存下来 贴上代码 def init(self, keyword): self ...
- python爬取豆瓣图书Top250
平台 python3.5 windows 10 目标结构 最近想学习一下python爬虫,所以目标定在豆瓣读书top250.结构简单,没有js加载的内容等,感觉比较适合入门新手来爬取. 首先看一下to ...
- 爬虫练习-爬取豆瓣电影 Top 250信息并存储于本地
文章目录 思路 使用环境 一.请求网页 二.解析网页 三.获取信息 四.实现翻页 附录 A.所得数据截图 B.完整代码 思路 请求网页 翻页 开始 解析电影Top250页面 获取信息 使用环境 pyt ...
- 爬取豆瓣电影Top 250的海报图片以及相关信息
该项目大致分为以下步骤: 使用 requests库 获取页面 使用 lxml库 和 XPath 解析页面 爬取电影海报图片 使用 pandas库 将电影的相关信息存储为csv文件 添加循环,保存所有图 ...
最新文章
- 从零开始学习python-从零开始学习python(一)
- 第一百二十九天 how can I坚持
- apache ii评分和死亡率_高大上的风险分层系统:APACHE评分到底是啥?
- html按键清空怎么写_html的空格代码怎么写?教你如何使用空格nbsp代码
- 征战蓝桥 —— 2015年第六届 —— C/C++A组第4题——格子中输出
- 2016年这些网络新贵或被并购
- 20个linux命令行工具监视性能(上)
- __FILE__ 与 $_SERVER['SCRIPT_FILENAME']的区别
- 光伏电池最大功率跟踪
- yuicompressor java_YUI Compressor使用配置方法 JS/CSS压缩工具
- Alex 的 Hadoop 菜鸟教程: 第1课 hadoop体系介绍
- c语言俄罗斯方块源代码 解说,C语言课程设计俄罗斯方块源代码解说.doc
- BS7799、ISO/IEC 17799、ISO/IEC 27001的联系与区别
- IDEA安装插件(在线/离线)
- 数分下第12讲(第9.6节) 梯度散度和旋度
- python 金融发欺诈_python金融反欺诈-项目实战
- Ubuntu 20.04双拼输入法
- 前端面试题总结(转载)
- Date.getTime() 方法
- numpy中rand与randn的区别