该楼层疑似违规已被系统折叠 隐藏此楼查看此楼

#coding:utf-8

import urllib2

import urllib

import random

name=raw_input('请输入要爬取的贴吧名称:')

nume=input('输入要爬取的页数:')

#############################################

ip_list=['42.234.118.56:8118','175.154.50.127:8118','122.238.51.210:8118']

proxy=urllib2.ProxyHandler({'http':random.choice(ip_list)})

opener=urllib2.build_opener(proxy)

###############################################

user_list = ['Mozilla/5.0 (Windows NT 10.0; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2979.2 Safari/537.36']

headers = {'User-Agent':random.choice(user_list)}

############################################

x=0

for page in range(0,nume):

print '正在爬取第%s页...'%(page+1)

url='https://tieba.baidu.com/f?kw=%s&pn=%s'%(name,x)

x=x+50

values={}

data=urllib.urlencode(values)

print url

request=urllib2.Request(url,data,headers)

response=opener.open(request)

# print response.read().decode('utf-8')

html=response.read().decode('utf-8')

f=open(('%s_%s.html'%(name,(page+1))).decode('utf-8'),'w')

f.write(html.encode('utf-8'))

f.close()

python怎么注释掉一段代码_爬取出来的网页代码都被注释掉怎么解决?相关推荐

  1. python如何注释掉一段代码_爬取出来的网页代码都被注释掉怎么解决?

    该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 #coding:utf-8 import urllib2 import urllib import random name=raw_input('请输入要 ...

  2. 代码注释掉还能执行_日志消息是可执行代码和注释

    代码注释掉还能执行 尽管在一个人的代码中应添加多少注释之间存在意见分歧,但我认为可以肯定地说,大多数开发人员都同意以下代码段中的注释是多余的: // increment the total total ...

  3. python 提取txt某一段内容_(转)提取TXT文本中指定内容——python

    项目介绍: 在PYTHON的计算机二级考试中有这么一个题,要求我们从一个文本中按照特定的格式提取指定内容. 文件名称为"论语-网络版.txt",其内容采用如下格式组织: [原文] ...

  4. 简单的签到代码_【SAS小恩的代码段】02样本分布、两群体与组合差异性检定

    为了响应停课不停学, 本人在吉林大学的课程教学上会大量使用SAS编程教学.同时本人撰写了两本SAS相关的教材,因此将会录制一连串视频,会以以下的材料陆续发布: ◆ SAS在财务研究中的应用  --&g ...

  5. python图书馆抢座代码_“我去图书馆”公众号代码抢座的实现

    因为要考研嘛,想去图书馆.我们学校是早上六点开抢,同学们太猛,我每天5点50起床抢,都不太抢的到想要的座位,于是我就花了个两三天琢磨着怎么用代码来实现这个抢座,目前已经完成,虽然因为微信的那个sess ...

  6. 天天向上续 python代码_第46p,8行代码,用Python批量重命名文件

    大家好,我是杨数Tos,这是<从零基础到大神>系列课程的第46篇文章,第二阶段的课程:Python基础知识:小案例之用Python批量重命名文件. 学习本课程,建议先看一遍:[计算机基础知 ...

  7. 如何编写无法维护的代码_编写可维护的前端代码

    点击这里获得更好的阅读体验​github.com 以下是本人在团队内部分享的整理和补充,水平有限,如有错误,请不吝赐教. 大家好,我叫王力国,目前是 RPA 前端团队负责人,过去一年我们从零构建了 R ...

  8. 小波分解与小波包分解代码_分解的功能参数和代码可维护性

    小波分解与小波包分解代码 Code keeps changing, there's no doubt about that. We always do our best to set some roc ...

  9. python 批量下载 代码_Python + Selenium +Chrome 批量下载网页代码修改

    Python + Selenium +Chrome 批量下载网页代码修改 主要修改以下代码可以调用 本地的 user-agent.txt 和 cookie.txt 来达到在登陆状态下 批量打开并下载网 ...

  10. mysql在哪里写代码_[译] 如何写好 Go 代码

    原文:https://scene-si.org/2018/07/24/writing-great-go-code/ 我写了多年的 Go 微服务,并在写完两本关于 (API Foundations in ...

最新文章

  1. python/pandas数据分析(十五)-聚合与分组运算实例
  2. 【408预推免复习】计算机网络(谢希仁第七版)第五章——运输层
  3. 数据结构相关C语言代码
  4. 牛客小白月赛37【部分题解】
  5. 除自身以外数组的乘积—leetcode238
  6. java线程wait()使一个线程一直运行,一直提供服务
  7. mysql的Innodb为什么使用B+树
  8. git与github学习笔记
  9. 【PostgreSQL-9.6.3】设置log参数
  10. 如何在Cocos2D游戏中实现A*寻路算法(三)
  11. OpenCV学习笔记总结
  12. 南阳理工acm 15括号匹配(二)
  13. 《信号与系统》(吴京)部分课后习题答案与解析——第一章
  14. mysql查看表编码_MySQL中使用SQL语句查看某个表的编码方法
  15. potato电脑版连接不上_土豆电脑版-potato chat下载 v2.13.200323 电脑版 - 安下载
  16. 计算机网络——(5)网络操作系统
  17. 苹果手机app应用显示未受信任打不开怎么办
  18. python将两个csv文件按列合并
  19. 【笔记】Polygon mesh processing 读书笔记(3)
  20. 关于Acad的cui(研究adobe pdf)

热门文章

  1. Julia: DataFrame最大的好处是对NA的处理和对象化操作!
  2. Julia的学习资料从哪里找?
  3. PolarDB-X 一致性共识协议 (X-Paxos)
  4. 我眼中的解决方案架构师
  5. 【手写数字识别】基于matlab PCA手写数字识别【含Matlab源码 309期】
  6. 颜色 透明度 算法_通过问责制和透明度减少算法偏差
  7. openai-gpt_GPT-3的不道德故事:OpenAI的百万美元模型
  8. python向mysql插入数据
  9. 插件合并css,Yii安装EClientScript插件扩展实现css,js文件代码压缩合并加载功能
  10. 使用github找资源