Python爬虫（一）

花了四天的时间用python写了个简单的爬虫程序。整个过程分为两个部分：工具的安装和程序的实现

本文并没有讲程序的详细实现遇到的问题，而是对着手前一些前期的准备

第一部分（工具的安装）

开发工具的下载安装MySql + MySQLWorkbench +PyCharm （可參考）

第二部分（程序实现部分）

mac os x下python安装MySQLdb模块

在整个程序进行開始前，爬虫须要的Python模块主要是MySQLdb模块

安装这个模块也花了点时间，其安装步骤例如以下：

1、在以下的网址下载mysqldb模块：

http://sourceforge.net/projects/mysql-python/

2、在mac os x直接双击解压，在终端进入安装文件夹，运行python setup.py build

假设出现 sh: mysql_config: command not found等错误时，能够解决办法：

在默认方式安装 Mac 版 MySql 时，会在 /usr/local/mysql/bin 文件夹下生成 mysql_config 文件。

因此下载安装时的解决的方法为：在 MySQL-python 的安装包中找到 site.cfg 文件，打开它，找到下面内容：

# The path to mysql_config.

# Only use this if mysql_config is not on your PATH, or you have some weird

# setup that requires it.

# mysql_config = /usr/local/bin/mysql_config

将最后一句句首井号去掉，并改动为：

mysql_config = /usr/local/mysql/bin/mysql_config

然后运行：

$ python setup.py install

可能会出现Reason: image not found 错误，解决 Reason: image not found 错误例如以下：

解决方法是在终端运行：

$ sudo ln -s /usr/local/mysql/lib/libmysqlclient.18.dylib /usr/lib/libmysqlclient.18.dylib

$ sudo ln -s /usr/local/mysql/lib /usr/local/mysql/lib/mysql

sudo ln -s /usr/local/mysql/lib/libmysqlclient.18.dylib /usr/lib/libmysqlclient.18.dylib

注意在mac 下安装这些东西时，在涉及到配置文件的改动时，须要知道怎么使用vim

mac os x下python安装MySQLdb模块真可谓千辛万苦，最后在终端和Pycharm环境下都能够应用这个模块，而且能够链接操作数据库。

程序的详细实现待续 Python爬虫（二）

參考博客：

http://www.cnblogs.com/ifantastic/archive/2013/04/13/3017677.html

http://www.codeif.com/post/1073/

Python爬虫（一）相关推荐

关于Python爬虫原理和数据抓取1.1
为什么要做爬虫? 首先请问:都说现在是"大数据时代",那数据从何而来? 企业产生的用户数据:百度指数.阿里指数.TBI腾讯浏览指数.新浪微博指数数据平台购买数据:数据堂.国云数据 ...
python爬虫之Scrapy框架的post请求和核心组件的工作流程
python爬虫之Scrapy框架的post请求和核心组件的工作流程一 Scrapy的post请求的实现在爬虫文件中的爬虫类继承了Spider父类中的start_urls,该方法就可以对star ...
python爬虫抓取信息_python爬虫爬取网上药品信息并且存入数据库
我最近在学习python爬虫,然后正好碰上数据库课设,我就选了一个连锁药店的,所以就把网上的药品信息爬取了下来. 1,首先分析网页 2,我想要的是评论数比较多的,毕竟好东西大概是买的人多才好.然后你会 ...
python爬虫案例_推荐上百个github上Python爬虫案例
现在学生都对爬虫感兴趣,这里发现一些好的github开源的代码,分享给各位 1.awesome-spider 该网站提供了近上百个爬虫案例代码,这是ID为facert的一个知乎工程师开源的,star6 ...
Python培训分享：python爬虫可以用来做什么?
爬虫又被称为网络蜘蛛,它可以抓取我们页面的一些相关数据,近几年Python技术的到来,让我们对爬虫有了一个新的认知,那就是Python爬虫,下面我们就来看看python爬虫可以用来做什么? Pytho ...
玩转 Python 爬虫，需要先知道这些
作者 | 叶庭云来源 | 修炼Python 头图 | 下载于视觉中国爬虫基本原理 1. URI 和 URL URI 的全称为 Uniform Resource Identifier,即统一资源标志 ...
买不到口罩怎么办？Python爬虫帮你时刻盯着自动下单！| 原力计划
作者 | 菜园子哇编辑 | 唐小引来源 | CSDN 博客马上上班了,回来的路上,上班地铁上都是非常急需口罩的. 目前也非常难买到正品.发货快的口罩,许多药店都售完了. 并且,淘宝上一些新店口罩 ...
一个月入门Python爬虫，轻松爬取大规模数据
如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多,另一方面,像 Python这样一个月入门Python爬虫,轻松爬的编程语言提供越来越多的优秀工具,让爬虫 ...
Python爬虫获取文章的标题及你的博客的阅读量，评论量。所有数据写入本地记事本。最后输出你的总阅读量！
Python爬虫获取文章的标题及你的博客的阅读量,评论量.所有数据写入本地记事本.最后输出你的总阅读量!还可以进行筛选输出!比如阅读量大于1000,之类的! 完整代码在最后.依据阅读数量进行降序输出! ...
Python爬虫破解有道翻译
有道翻译是以异步方式实现数据加载的,要实现对此类网站的数据抓取,其过程相对繁琐,本节我以有道翻译为例进行详细讲解. 通过控制台抓包,我们得知了 POST 请求的参数以及相应的参数值,如下所示: 图1: ...

Python爬虫（一）

Python爬虫（一）相关推荐

最新文章

热门文章