初步探索python
最近开始学习使用python ,初步想着抓抓网页
用了python 2.7 和python 3.4
1----安装
安装包在我的个人百度网盘中有,需要的朋友也可以联系我,也可以到官网下载
2、使用idle
安装好后我有试着使用python 自带的编辑器idle
在开始--》搜索程序和文件栏中输入idle -->点击idle 。
3、参考源代码
https://github.com/shineyr/Spider/blob/master/01_douban.py
上面的代码是别人写的。下面附上该神的博客文链接:
http://blog.csdn.net/fly_yr/article/details/51525435
============================================================================================
其他:
建议用pip安装其他包。
首先升级pip
下面是我在运行该源码时遇到的问题时解决方法和部分解决问题链接
安装 bs4
http://www.crummy.com/software/BeautifulSoup/
http://www.crummy.com/software/BeautifulSoup/bs4/download/4.3/
解压后,在cmd 下执行python setup.py install
pip install --upgrade html5lib
twisted
http://www.jianshu.com/p/a294a4b2bcde
pycharm
http://blog.csdn.net/php_fly/article/details/19364913
http://blog.csdn.net/hk2291976/article/details/51141868
https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
scray
http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html
https://www.oschina.net/code/snippet_210762_44600
运行: scrapy crawl xxx -o respBody -t json (其中xxx所在的文件名必须为xxxSpider.py )
https://a6205206z.github.io/scrapytaobao.html 登录淘宝
http https
http://www.111cn.net/phper/python/103529.htm
进程
能够登录web服务器。获取静态数据
初步探索python相关推荐
- python socket发送数组_利用pyprocessing初步探索数组排序算法可视化
[经过两次更新,功能基本完成]最终效果请直接下拉到最后一个视频观看 背景说明 这篇文章旨在初步探索利用pyprocessing的强大的可视化功能,以及pyprocessing和Ipython之间的本地 ...
- 这个干货值得看|用Python来初步探索黄金的最佳建仓时机
近期,国际金价持续创新高,也激发了很多人黄金投资的热情.目前国内黄金市场存在实物黄金.纸黄金.黄金T+D.黄金期货.黄金ETF.黄金股.现货黄金等品种,交易规则错综复杂,不仅要判断对趋势,还要为爆仓. ...
- python实战故障诊断之CWRU数据集(二):异常数据剔除及包络解调初步探索
文章目录 1. 概述 2. 异常数据探索 2.1. 电噪声干扰 2.2. 驱动端与风扇端传感器信号混淆 2.3. 分段采集信号整合 3. 正常信号的平方包络解调分析 1. 概述 在完成了CWRU数 ...
- Alibaba Druid 源码阅读(二) 数据库连接池实现初步探索
Alibaba Druid 源码阅读(二) 数据库连接池实现初步探索 简介 在上篇文章中,了解了连接池的应用场景和本地运行了示例,本篇文章中,我们尝试来探索下Alibaba Druid数据库连接池的整 ...
- OpenJDK 初步探索
什么是 OpenJDK? OpenJDK 初步探索 第 1 章 OpenJDK 介绍 1.1 什么是 OpenJDK ? 1.2 Oracle JDK.Oracle OpenJDK 和 OpenJDK ...
- 探索 Python、机器学习和 NLTK 库 开发一个应用程序,使用 Python、NLTK 和机器学习对 RSS 提要进行分类
挑战:使用机器学习对 RSS 提要进行分类 最近,我接到一项任务,要求为客户创建一个 RSS 提要分类子系统.目标是读取几十个甚至几百个 RSS 提要,将它们的许多文章自动分类到几十个预定义的主题领域 ...
- Redis主从复制架构初步探索 http://www.sxt.cn/info-1750-u-324.html#SXT_h2_11
Redis主从复制架构初步探索 目录http://www.sxt.cn/info-1750-u-324.html#SXT_h2_11 · 一.主从复制架构简介 · 1.1 源于关系数据库的读写分离 ...
- 企查查app sign算法破解初步探索
企查查app sign算法破解初步探索 之前有说过企查查的sign的解密,但这次是企查查app的sign算法破解,目前是初步进程. 目前我们需要做查壳,具体方法可以百度搜索,企查查用的360加固,很简 ...
- ASPNet请求处理机制初步探索之旅Part2核心
ASPNet请求处理机制初步探索之旅Part2核心 开篇:上一篇我们了解了一个请求从客户端发出到服务端接收并转到ASP.Net处理入口的过程,这篇我们开始探索ASP.Net的核心处理部分,借助强大的反 ...
- 创客教育和Mixly的初步探索
创客教育的理论与实践 + Mixly的初步探索 创客教育 傅骞老师在课堂上指出,创客教育要注重"创新"和"分享","创客就是让你没有目标的去做你喜欢做 ...
最新文章
- python众数问题给定含有n个元素的多重集合s_2-1 问题描述:给定含有n个元素的多重集合S - 下载 - 搜珍网...
- 人工神经网络——笔记摘抄1
- egg框架访问 Mysql 数据库 egg-mysql 增删改查
- 从新手到高手 c++全方位学习_股票新手怎样快速入门?关于散户学习炒股的几点建议...
- 用于检测浏览器语言偏好的JavaScript
- 链表的基本操作:创建、插入、删除操作对应c/c++代码
- css实现加载旋转动画
- Codeforces-85D Sum of Medians
- PanDownload作者被抓,为何大家都对百度网盘如此气愤?
- 数值分析·学习 | 拉格朗日插值法matlab实现
- expdp异地备份 (expdp导出数据到其他服务器)
- Linux下Netfilter创建自己的Hook,让数据包可以发送到用户层,然后统计节点负载信息
- 关于babe-loader^8.0.6的配置问题
- MFC中英文切换实现过程中遇到的问题
- emqtt 启动报错 Node 'emq@127.0.0.0' not responding to pings.
- 天下数据浅谈SNS社交网络本质
- 润乾报表 :com.runqian report4.dataset.SQLDataSetFactory 失败:数据集中,数据集ds1 中未设定数据源名称,且无默认数据源,请检查数据源设定
- 计算机高新办公软件应用考试,全国计算机信息高新技术考试办公软件中级操作员考试题库...
- zzulioj1121
- JavaScript实现树以及对树的常用操作