前几天玩了下python爬虫Scrapy，用md记录了一篇在OS X上的安装过程，现在抽空分享给大家！(悲剧的是当时写文章的截图当做垃圾删掉了……)

一、打开终端执行命令

sudo easy_install pip

二、终端执行命令安装Scrapy

sudo pip install Scrapy

三、解决错误

安装成功当然是最好的，但是往往是安装失败，或许你会看到如下提示

Command "/usr/bin/python -c "import setuptools,     tokenize;__file__='/private/tmp/pip-build-9RYtLC/lxml/setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record /tmp/pip-544HZx-record/install-record.txt --single-version-externally-managed --compile" failed with error code 1 in /private/tmp/pip-build-9RYtLC/lxml

解决方法：

测试标题

1.使用lxml命令安装
STATIC_DEPS=true pip install lxml
2.如果还是失败，请安装命令行开发工具（安装有Xcode的同学可以省略这步）
xcode-select –install
然后执行安装命令。
3.如果还是失败，请配置libxml路径(注意系统版本号)

sudo ln -s  /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.11.sdk/usr/include/libxml2/libxml/ /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.11.sdk/usr/include/libxml

然后执行安装命令。

四、安装成功

安装成功后，在终端输入：scrapy

显示如下

bogon:~ ian$ scrapy
Scrapy 1.0.3 - no active projectUsage:scrapy  [options] [args]Available commands:bench         Run quick benchmark testcommands      fetch         Fetch a URL using the Scrapy downloaderrunspider     Run a self-contained spider (without creating a project)settings      Get settings valuesshell         Interactive scraping consolestartproject  Create new projectversion       Print Scrapy versionview          Open URL in browser, as seen by Scrapy[ more ]      More commands available when run from project directoryUse "scrapy  -h" to see more info about a command

大功告成！另外请不要删除Mac自带的python，否则你会后悔的，详情请看我的这篇博文 ->> 传送门

继上文说到，不能删除mac os自带的python，这事我刚好做了，删除之后，发现homebrew的安装命令很多在使用时，系统都提醒说commind can not find，真是无（shou）知（jian）啊，我又百度来一遍从头开始安装，后面很多命令不能使用的时候也是百度来很久。

所以小白入门，没有极强的探索精神，请谨记，别乱删别乱删！

原文出处：https://www.ianisme.com/it/2010.html

MAC OS X 安装Scrapy爬虫工具相关推荐

MAC OS 如何安装命令行工具:Command Line Tools
打开终端输入:xcode-select --install 回车安装好了测试结果:gcc -v 显示如下: xcode-select: note: install requested for com ...
mac os maven_如何在Mac OS上安装Maven
mac os maven 在Mac上安装Maven (Install Maven on Mac) Maven is the most widely used build and project dep ...
服务器 mac系统安装教程,mac os sierra安装教程
mac os sierra安装教程 [2021-02-15 20:13:38] 简介: 下面由composer教程栏目给大家介绍Mac下安装Composer及Composer安装TP5的方法,希望对 ...
Mac os如何安装绿盾客户端
环境: Apple Mac mini 八核M1芯片 8G 256G Mac os 11.0 问题描述: Mac os如何安装绿盾客户端解决方案: 一.关闭系统保护 1.关机电脑,按住"开机 ...
Mac OS GMT安装与使用
引言 GMT(Generic Mapping Tools)是一个被地学界广泛使用的绘图工具,可以完成海岸线.国界.河流等的绘制.GMT免费开源,且可以运行于Windows.Linux.Mac OS X ...
iphone adb android,在苹果系统MAC OS X 安装 ADB (Android调试桥)
该文章解决: 1.如何在苹果系统(MAC OS X) 安装 ADB (Android调试桥)? 2.如何让安卓屏幕投射到苹果系统(MAC OS X)屏幕? Android调试桥( adb )是一个开发 ...
python的scrapy框架的安装_Python3环境安装Scrapy爬虫框架过程及常见错误
Windows •安装lxml 最好的安装方式是通过wheel文件来安装,http://www.lfd.uci.edu/~gohlke/pythonlibs/,从该网站找到lxml的相关文件.假如是P ...
mac memcached_如何在Mac OS上安装Memcached Server
mac memcached Memcached is an open-source high performance distributed memory object caching system. ...
mac安装rstudio_在Windows / Linux / Mac OS上安装R和RStudio入门
mac安装rstudio 在Windows上安装R (Installing R on Windows) Go to r-project.org on your internet browser.在您的 ...

MAC OS X 安装Scrapy爬虫工具