Python 爬虫笔记、多线程、xml解析、基础笔记(不定时更新)
1 Python学习网址:http://www.runoob.com/python/python-multithreading.html
注意高级中的xml解析和多线程
2 参考笔记 虫师 http://www.cnblogs.com/fnng/p/3576154.html
#自动访某个网址from selenium import webdriver import time M = 100000 i = 0 URL = 'http://www.baidu.com' browser = webdriver.Firefox() #浏览器名字,以本机安装为准 while i < M:browser.get(URL)time.sleep(1)i += 1 browser.quit() print '本次python总共打开了', i, '次' #提取一级标题import urllib2 from sgmllib import SGMLParser URL = 'http://www.baidu.com' class ListName(SGMLParser):def __init__(self):SGMLParser.__init__(self)self.is_h4 = ""self.name = []def start_h4(self, attrs):self.is_h4 = 1def end_h4(self):self.is_h4 = ""def handle_data(self, text):if self.is_h4 == 1:self.name.append(text)content = urllib2.urlopen(URL).read() listname = ListName() listname.feed(content) for item in listname.name:print item.decode('gbk').encode('utf8') #访问百度,并填写表单,中文暂时不好解决,英文没问题# coding = utf-8 import sys reload(sys) sys.setdefaultencoding('utf8') from selenium import webdriverbrowser = webdriver.Firefox()browser.get("http://www.baidu.com") browser.find_element_by_id("kw").send_keys("你好").decode('gbk').encode('gb2312') browser.find_element_by_id("su").click() time.sleep(30) # 休眠3秒 browser.quit()
3 Python多线程 http://www.cnblogs.com/fnng/p/3670789.html
科技在发展,时代在进步,我们的CPU也越来越快,CPU抱怨,P大点事儿占了我一定的时间,其实我同时干多个活都没问题的;于是,操作系统就进入了多任务时代。我们听着音乐吃着火锅的不在是梦想。python提供了两个模块来实现多线程thread 和threading ,thread 有一些缺点,在threading 得到了弥补,为了不浪费你和时间,所以我们直接学习threading 就可以了,引入threadring来同时播放音乐和视频:
#coding=utf-8import threading from time import ctime,sleepdef music(func):for i in range(2):print "I was listening to %s. %s" %(func,ctime())sleep(1)def move(func):for i in range(2):print "I was at the %s! %s" %(func,ctime())sleep(5)threads = [] t1 = threading.Thread(target=music,args=(u'爱情买卖',)) threads.append(t1) t2 = threading.Thread(target=move,args=(u'阿凡达',)) threads.append(t2)if __name__ == '__main__':for t in threads:t.setDaemon(True)t.start()t.join()print "all over %s" %ctime()
输出内容
I was listening to 爱情买卖. Thu Jul 09 14:39:20 2015 I was at the 阿凡达! Thu Jul 09 14:39:20 2015 I was listening to 爱情买卖. Thu Jul 09 14:39:21 2015 I was at the 阿凡达! Thu Jul 09 14:39:25 2015 all over Thu Jul 09 14:39:30 2015
Python学习网址
http://www.scipy-lectures.org/
GUI编程
https://wiki.python.org/moin/GuiProgramming
转载于:https://www.cnblogs.com/hdu-2010/p/4617641.html
Python 爬虫笔记、多线程、xml解析、基础笔记(不定时更新)相关推荐
- Python爬虫:运用多线程、IP代理模块爬取百度图片上小姐姐的图片
Python爬虫:运用多线程.IP代理模块爬取百度图片上小姐姐的图片 1.爬取输入类型的图片数量(用于给用户提示) 使用过百度图片的读者会发现,在搜索栏上输入关键词之后,会显示出搜索的结果,小编想大多 ...
- Python爬虫怎么挣钱?解析Python爬虫赚钱方式,轻轻松松月入两万,再也不用为钱发愁啦
Python爬虫怎么挣钱?解析Python爬虫赚钱方式,想通过自己学到的专业技能赚钱,首先需要掌握Python爬虫技术,专业能力强才能解决开发过程中出现的问题,可以通过Python爬虫外包项目.整合信 ...
- Python爬虫怎么挣钱?解析Python爬虫赚钱方式
Python爬虫怎么挣钱?解析Python爬虫赚钱方式,想过自己学到的专业技能赚钱,首先需要你能够数量掌握Python爬虫技术,专业能力强才能解决开发过程中出现的问题,Python爬虫可以通过Pyth ...
- python爬虫详细步骤-Python爬虫的两套解析方法和四种爬虫实现过程
对于大多数朋友而言,爬虫绝对是学习 python 的最好的起手和入门方式.因为爬虫思维模式固定,编程模式也相对简单,一般在细节处理上积累一些经验都可以成功入门.本文想针对某一网页对 python 基础 ...
- python爬虫之多线程、多进程+代码示例
python爬虫之多线程.多进程 使用多进程.多线程编写爬虫的代码能有效的提高爬虫爬取目标网站的效率. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪 ...
- python爬虫之创建和解析xlm文件
python爬虫之创建和解析xlm文件: 1.python代码创建xlm字符串(使用xml库方法): import xml.etree.ElementTree as ET bookstore = ET ...
- python多线程爬取多个网址_【Python爬虫】多线程爬取斗图网站(皮皮虾,我们上车)...
原标题:[Python爬虫]多线程爬取斗图网站(皮皮虾,我们上车) 斗图我不怕 没有斗图库的程序猿是无助,每次在群里斗图都以惨败而告终,为了能让自己在斗图界立于不败之地,特意去网上爬取了斗图包.在这里 ...
- Python爬虫(入门+进阶)学习笔记 1-4 使用Xpath解析豆瓣短评
本节课程主要介绍解析神器Xpath是什么.Xpath如何安装及使用,以及使用实际的例子讲解Xpath如何解析豆瓣短评的网页并获取数据. 解析神器Xpath Xpath的使用 实战环节 解析神器Xpat ...
- 【Python基础】Python爬虫的两套解析方法和四种信息提取方式
Python爬虫 Author:Iouwill Machine Learning Lab 分享一篇往日旧文章,非常实用. 对于大多数朋友而言,爬虫绝对是学习python的最好的起手和入门方式.因为爬虫 ...
- Python爬虫、数据分析、可视化学习笔记(一、梦开始的地方)
系列文章持续更新中...... 文章目录 一.工具及环境配置 1.Python3.8(官网下载) 2.Pycharm(官网下载) 3.Anaconda(官网下载) 4.环境配置(传送门,感谢前人栽树) ...
最新文章
- ipone11android,iphone12全系配置曝光不如买iPhone11 安卓和苹果谁更香
- 算法与数据结构(Java解八皇后问题)
- java static method_java static关键字静态方法详解,静态方法实例分享
- lazada开店入驻最新流程,开店只需三步
- NLP深度学习:PyTorch文本分类
- objective-c 关键字和概念
- 于谦一共收了几个徒弟,为什么?
- 深度学习三巨头共获 2018 年图灵奖(经典重温)!
- 孤读Paper——《ATSS:Adaptive Training Sample Selection》
- JS打开摄像头并截图上传
- Laravel中的日志与上传
- 插值方法 matlab 实验,matlab计算方法实验报告3(插值问题).doc
- 计算机插入的u盘文件打不开,为什么u盘文件夹打不开
- netlimiter 4 功能使用TCP UDP上行下行流量监控
- 链家房源数据爬取(Scrapy)
- 请不要“妖魔化”外包
- 5 win10 python3.6+pcl1.9环境配置
- 模拟HTTP请求, POST方法(附源码)
- web前端实训作业 html+css+javascript 水果超市网页设计实例 企业网站制作
- 推荐几本小说吧,反正过年闲着也是闲着,看看呗
热门文章
- oracle数据磊导入数据,可传输表空间记载
- 一年后斩获腾讯T3,直击优秀开源框架灵魂
- 字节跳动Java面试:java软件工程师简历描述项目
- 【响应式Web前端设计】HTML DOM padding 属性
- python【力扣LeetCode算法题库】217-存在重复元素
- HDU 2037 今年暑假不AC【贪心】
- atoi() //把字符串转换成整型数
- 四川大学计算机学院优秀毕业论文,四川大学本科生毕业论文设计评分标准.docx...
- OPPO Find X3通过网站推广正式官宣,打破常规探索高端旗舰新突破!
- 网站推广流量获取仍需寻找全新获取网站推广流量渠道