深度学习相关软件安装整理
================================================================================================================
软件安装总结:
1:软件环境配置
(1)最新版anconda安装:官网下载对应版本安装 https://www.anaconda.com/download/
(2)pycharm 安装: http://www.jetbrains.com/pycharm
Professional:专业版需要注册码 server选项里边输入url。或者server选项里边输入url
Community: 社区版免费
pycharm汉化: 复制粘贴resources_cn.jar放在PyCharm的lib文件里
2:如何更新pip
命令:
python -m pip install -U pip
python2 -m pip install -U pip
python3 -m pip install -U pip
注意: 需要以管理员身份运行cmd
需要把pip的路径添加到环境变量path
3:如何使用pip安装graphviz, pydotplus:
安装python的graphviz插件: pip install graphviz
安装python的pydotplus插件: pip install pydotplus
注意: 环境变量path,将对应的python路径添加到系统变量,尤其是有多个版本python时
4:如何使用pip安装hmmlearn:
pip install hmmlearn
会报错,解决办法
报错:Microsoft Visual C++
解决方法:安装 visual studio (https://www.visualstudio.com/zh-hans/downloads/)
报错: notebook 5.4.0 requires ipykernel, which is not installed.
解决命令: pip install ipykernel报错: Failed building wheel for hmmlearn
从 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的hmmlearn轮子(wheel)
将轮子拷贝到C:\Users\dell\Anaconda3\Scripts,用以下命令安装hmmlearn:
解决命令: pip install C:\Users\dell\Anaconda3\Scripts\hmmlearn-0.2.1-cp36-cp36m-win_amd64.whl其他失败的尝试: python -m pip install --upgrade pip setuptools wheelpip install --upgrade wheelpip install C:\Users\dell\Anaconda3\Scripts\lxml-4.2.1-cp36-cp36m-win_amd64.whlRequirement already satisfied: lxml==4.2.1 from file:///C:/Users/dell/Anaconda3/Scripts/lxml-4.2.1-cp36-cp36m-win_amd64.whl in c:\users\dell\anaconda3\lib\site-packages (4.2.1)
5:如何添加jupyter路径:
C:\Users\dell.jupyter
jupyter_notebook_config.py
c.NotebookApp.notebook_dir = ‘G:\PYTHON’
1.打开cmd,输入 jupyter notebook --generate-config
2.打开这个配置文件,找到“c.NotebookApp.notebook_dir=‘’ ”,把路径改成自己的工作目录
3.配置文件修改完成后, 以后在jupyter notebook中写的代码等都会保存在自己创建的目录中。
打开jupyter所在文件快捷位置,右击属性,把目标里路径最后 %uerfile% 这一部分删去,应用确定
6: 安装主题模型LDA第三方库:lda.datasets
pip install lda
7: 安装中文分词包:jieba (结巴) 切词
pip install jieba
8: 安装tensorflow
http://mirrors.aliyun.com/pypi/simple/tensorflow-gpu/
从 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的tensorflow轮子(wheel)
将轮子拷贝到C:\Users\dell\Anaconda3\Scripts,用以下命令安装tensorflow:
解决命令: pip install C:\Users\dell\Anaconda3\Scripts\tensorflow-1.7.0-cp36-cp36m-win_amd64.whl
import tensorflow as tf
tf.version
卸载tensorflow:pip uninstall tensorflow安装gpu版本tensorflow: tensorflow_gpu-1.9.0-cp36-cp36m-win_amd64.whlpip install tensorflow-gpuconda install -c anaconda tensorflow-gpu 更新condaconda update -n base conda或conda update condaubuntu系统下的tensorflow版本安装包:https://blog.csdn.net/geyunfei_/article/details/78753899
9: 安装lightgbm
pip install lightgbm
安装 xgboost
pip install C:\Users\dell\Anaconda3\Scripts\xgboost-0.71-cp36-cp36m-win_amd64.whlIDE安装: wing ide
12.hadoop环境安装
–1. 安装VMware workstation 虚拟机
–2. 安装CentOS-6.4-x86_64-bin-DVD1.iso
安装pydub包:切割音乐包
pip install pydub安装python_speech_features 提出语言特征包
pip install python_speech_features安装 ffmpeg 官网下载
免安装 把bin路径添加到环境变量, 重启IDEpytorch 安装(官方网页选择对应版本,命令自己出来) window python3.6
cpu版本:
pip install http://download.pytorch.org/whl/cpu/torch-0.4.0-cp36-cp36m-win_amd64.whl
pip install torchvision
卸载:
pip uninstall torch
pip uninstall torchvision
gpu版本:
pip install http://download.pytorch.org/whl/cu90/torch-0.4.1-cp36-cp36m-win_amd64.whl
pip install torchvision如何看cuda版本:
控制面板-系统信息-组件-看cuda版本
在桌面空白处点击右键,进入NVIDIA控制面板。
在打开的窗口左下角有个“系统信息”,单击后出现窗口选择“组件”标签,这时就能看到各个组件的版本信息了。
NVCUDA.DLL 23.21.13.8816 NVIDIA CUDA 9.1.75 driver安装cuda
建议参考以下视频:http://www.bilibili.com/video/av7676039/
cuda的下载地址:https://developer.nvidia.com/cuda-downloads
https://developer.nvidia.com/cuda-toolkit-archivecudnn的下载地址:https://developer.nvidia.com/cudnn
https://developer.nvidia.com/rdp/cudnn-archive
windows 安装cudnn
cudnn 是英伟达的一个加速库
首先要安装好cuda
在英伟达网站 https://developer.nvidia.com/rdp/cudnn-download 下载与cuda对应的库,
需要注册一个账号
下载之后解压缩,将.h .lib 和.dll 文件分别拷贝到cuda的include, lib/x64, bin 文件夹下pycuda的安装
cuda一般是指采用C语言编程实现的GPU cuda架构,pycuda就是指使用python语言实现的cuda架构,同属于nvidia显卡加速并行计算架构。pycuda的安装也比较简单,方法如下:
1.下载whl文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycuda
需要选择自己合适的版本,包括python版本,cuda版本,windows 32/64.
2.在cmd下运行pip install pycuda-2014.1+cuda6514-cp27-none-win32.whl,需要注意的是需要把whl文件放到你的home文件下,或者cd在它下载的文件所在的位置即可。
3.测试,测试代码如下:
import pycuda.autoinit
import pycuda.driver as drv
import numpy
from pycuda.compiler import SourceModule安装Progressbar模块
pip install progressbar2安装Progress模块
pip install progress推荐系统
Surprise安装
-1. 安装方式一(需要依赖numpy):
执行命令:pip install scikit-surprise
可能出现异常:Windows报错01.png
异常原因:Windows平台上的C环境存在问题
解决方案:
安装C的开发环境,解压安装Microsoft Visual C++ 14.0.rar即可
-2. 推荐使用conda的安装
执行命令:conda install -c conda-forge scikit-surprise安装opencv库
pip install opencv-pythonNER项目,安装flask,gevent包
pip install gevent安装opencv3
anaconda上下载包安装python sqlite3模块包。
pip install sqlite3
SQLite 是一个软件库,实现了自给自足的、
无服务器的、零配置的、事务性的 SQL 数据库引擎。
SQLite 是在世界上最广泛部署的 SQL 数据库引擎。
SQLite 源代码不受版权限制。安装tqdm模块Tqdm 。
pip install tqdm
Tqdm是一个快速,可扩展的Python进度条,
可以在 Python 长循环中添加一个进度提示信息,
用户只需要封装任意的迭代器 tqdm(iterator)。安装selectivesearch模块:Selective Search算法,图像分割—region proposal算法
pip install selectivesearchDeep contextualized word representations
深度上下文词向量训练
ELMo vector:
pip install allennlpimgaug是一个封装好的用来进行图像augmentation的python库,
支持关键点(keypoint)和bounding box一起变换。
pip install imgauggensim是一个python的科学库,gensim包含了TF-IDF、随机投影、
word2vec和document2vec算法的实现,分层Dirchlet过程(HDP),
潜在语义分析(LSA)和潜在Dirichlet分配(LDA),
包括分布式并行版本。主要是用来主题建模、文档索引以及使用
大规模语料数据的相似性检索,被作者称为“根据纯文本进行监督
性建模最健壮、最有效的、最让人放心的软件”。pip install gensim
from gensim.models import word2vecChainer 使复杂神经网络变的简单
https://blog.csdn.net/zkh880loLh3h21AJTH/article/details/78100460
Chainer使用纯Python和NumPy提供了一个命令式的API
Chainer是一个专门为高效研究和开发深度学习算法而设计的开源框架。
Chainer 是一个基于Python的独立的深度学习框架。pip install chainer
torchtext
Torchtext 是一个非常强有力的库,她可以帮助我们解决 文本的预处理问题。
Torchtext 不仅可以和 pytorch 一起用,还可以和其它深度学习框架(tf,mxnet,…)
https://blog.csdn.net/u012436149/article/details/79310176pip install torchtextAPI一览 torchtext.datatorchtext.data.Example : 用来表示一个样本,数据+标签torchtext.vocab.Vocab: 词汇表相关torchtext.data.Datasets: 数据集类,__getitem__ 返回 Example实例torchtext.data.Field : 用来定义字段的处理方法(文本字段,标签字段) 创建 Example时的 预处理batch 时的一些处理操作。torchtext.data.Iterator: 迭代器,用来生成 batchtorchtext.datasets: 包含了常见的数据集.
keras模块
keras是基于Tensorflow、Theano、CNTK后端的高层神经网络API,它简单快速的原型设计,让你可以快速的将idea转化为结果,并且可以在CPU和GPU之间无缝切换
由于Keras不是独立的深度学习(DL)算法包,其安装必须依赖于后端系统的安装,特别是对GPU的支持,因此其安装并非那么简单。
在windows系统下,需要事先安装Theano开发包,并使Theano支持GPU运算。
关于Theano的安装参考Theano官方网站的安装教程,网址是: http://deeplearning.net/software/theano/install.htmlpip install keras
Theano安装
(1) 在GitHub上可下载到Theano的源码。点击Cloneor download按钮–> 点击Download ZIP即可开始下载,如图。
GitHub地址:https://github.com/Theano/Theano,下载后文件为Theano-master.zip
(2)删除Theano文件夹
由于安装Keras后默认会得到一个Theano库,而我们需要使用下载的Theano,所以先把原版的Theano库给删掉。在F:\ProgramData\Anaconda2\Lib\site-packages里删theano文件夹即可。
(3)复制Theano文件夹
解压上面下载的文件Theano-master.zip。复制Theano-master文件下的theano文件夹,复制到Anaconda安装目录下的F:\ProgramData\Anaconda2\Lib\site-packages中即可。
(4)配置环境变量
在环境变量中添加一个系统变量,变量名为PYTHONPATH,值为F:\ProgramData\Anaconda2\Lib\site-packages\theano
{
“floatx”: “float32”,
“epsilon”: 1e-07,
“backend”: “tensorflow”,
“image_data_format”: “channels_last”
}
(5)修改默认后端(这一步一定要进行!否则会报错!)
打开C:\Users\dell(当前用户名).keras,修改文件夹内的keras.json文件如下:
{“image_dim_ordering”:“th”,
“epsilon”:1e-07,
“floatx”:“float32”,
“backend”:“theano”
}
再在cmd,python中输入import keras , 出现Using Theano backend.表示安装成功。安装 wget
pip install wgetcaffe环境配置:【caffe-Windows】caffe+VS2013+Windows无GPU快速配置教程
https://blog.csdn.net/zb1165048017/article/details/51355143
第一步:下载caffe官网提供的工具包,复制Windows下CommonSettings.props.example,后缀改为CommonSettings.props,如下:
第二步:由于我电脑无GPU,所以修改复制过来的CommonSettings.props配置文件:
修改 PythonSupport 为 ture MatlabSupport
修改 PythonDir MatlabDir
第三步:双击Windows下的caffe.sln,在VS2013中生成解决方案:
第四步:当下载完毕第三方库,你的caffe-Windows并列文件夹下会有一个第三方库的文件夹
CaffeDev下面有2个文件夹: caffe-master和NugetPackages
【注】caffe-windows和caffe-master对caffe.cpp编译以后下载的第三方库都是十六个文件夹。
第五步:生成libcaffe, caffe,
第六步:caffe下 运行caffe.cpp,按ctrl+F5进行编译2018.9.24 编译了libcaffe, caffe, pycaffe, convert_mnist_data,
convert_imageset, caffe.managed, classification, compute_image_mean,
convert_cifar_data, convert_mnist_siamese_data, extract_features,
test_all, upgrade_net_proto_binary, upgrade_net_proto_text,
upgrade_solver_proto_textmatcaffe未生成
Cygwin:在windows平台上运行的类UNIX模拟环境
git安装
https://blog.csdn.net/lemon_cookie/article/details/79058151
https://blog.csdn.net/shuyou612/article/details/53183683git --version
官网下载, 直接安装MoviePy 视频处理模块
pip3 install moviepyflask-restful模块安装: No module named ‘flask_restful’
pip install flask-restful从github上安装配置keras-retinanet
代码网址:https://github.com/fizyr/keras-retinanet
在指定目录git bash-克隆代码: git clone https://github.com/fizyr/keras-retinanet.git
进入克隆好的代码目录里git bask-执行以下命令:
pip install . --user
python setup.py build_ext --inplace
安装 pycocotools(MS COCO dataset):windows系统执行以下命令
pip install git+https://github.com/philferriere/cocoapi.git#subdirectory=PythonAPI安装mxnet的python版本(GPU版本)
windows系统:
pip install mxnet-cu80 #cuda8.0版本
pip install mxnet-cu90 #cuda9.0版本
ubuntu系统: https://blog.csdn.net/will4906/article/details/78221427
pip install mxnet-cu80
pip install mxnet-cu90VMware安装
可以在官网直接下载,下载后秘钥可直接在网上搜寻
VMware下载与安装:最新超详细VMware虚拟机下载与安装 https://blog.csdn.net/qq_40950957/article/details/80467513
秘钥:
CG54H-D8D0H-H8DHY-C6X7X-N2KG6
ZC3WK-AFXEK-488JP-A7MQX-XL8YF
AC5XK-0ZD4H-088HP-9NQZV-ZG2R4
ZC5XK-A6E0M-080XQ-04ZZG-YF08D
ZY5H0-D3Y8K-M89EZ-AYPEG-MYUA8
FF590-2DX83-M81LZ-XDM7E-MKUT4
FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA
CV7T2-6WY5Q-48EWP-ZXY7X-QGUWD
AALYG-20HVE-WHQ13-67MUP-XVMF3
注意: 需要安装VMwaretools, ubuntu虚拟机才能全屏vmware上ubuntu16.04系统安装
VMware上安装ubuntu16.04:https://www.cnblogs.com/ddbear/p/7736912.html
ubuntu-16.04.2-server-amd64.iso##Ubuntu 16.04版本下载地址:
##url: https://blog.csdn.net/q7989682/article/details/82459578?utm_source=blogxgwz6关于如何在VMware虚拟机里安装Ubuntu16.04系统:
服务版: https://jingyan.baidu.com/article/5d368d1ec381fe3f60c0572a.html##桌面版安装: https://blog.csdn.net/u013142781/article/details/50529030
虚拟系统安装完,检查网络连接
报错: network error: connectiong to ‘‘192.168.1.107’’ refused
ssh: connect to host 192.168.1.107 port 22: connection refused
https://zhidao.baidu.com/share/17f3e1e6700c559b6036f6e49d82fd5c.html
请按如下步骤检查:
1、目标主机的ssh server端程序是否安装、服务是否启动,是否在侦听22端口;
检查方法:
june@ubuntu:~$ ps -ef|grep sshd
root 2859 1 020:29 ? 00:00:00 /usr/sbin/sshd -D
root 2901 2859 020:31 ? 00:00:00 sshd: june[priv]
june 2971 2901 020:31 ? 00:00:00 sshd:june@pts/1#其中/usr/sbin/sshd为ssh clinet/server中server端的守护进程,如果上述结果中没有sshd出现,那么#可能就是你的server端程序没有安装#Ubuntu 11.04 默认没有安装ssh server,只安装了ssh client#或者sshd服务没有启动,这两者的解决办法请见下文详述。2、是否允许该用户登录;3、本机是否设置了iptables规则,禁止了ssh的连入/连出;检查方法:june@ubuntu:~$sudo iptables -L[sudo] password for june: Chain INPUT (policy ACCEPT)target prot opt source destination ACCEPT tcp -- anywhere anywhere tcp dpt:ssh Chain FORWARD (policy ACCEPT)target prot opt source destination Chain OUTPUT (policy ACCEPT)target prot opt source destination june@ubuntu:~$4、查查ssh的配置文件ls -lrt /etc/ssh针对第一点没有安装ssh server或者没开启sshd的用户,可以参考这篇:Ubuntu如何开启SSH服务SSH分客户端openssh-client和openssh-server#如果你只是想登陆别的机器的SSH只需要安装openssh-client#(ubuntu有默认安装,如果没有则sudo apt-get install openssh-client),#如果要使本机开放SSH服务就需要安装openssh-server:#sudo apt-get install openssh-server 然后确认sshserver是否启动了:ps -e |grep ssh如果看到sshd那说明ssh-server已经启动了。如果没有则可以这样启动:sudo /etc/init.d/ssh startssh-server配置文件位于/etc/ssh/sshd_config,在这里可以定义SSH的服务端口,默认端口是22,你可以自己定义成其他端口号,如222。然后重启SSH服务:sudo /etc/init.d/ssh stopsudo /etc/init.d/ssh start然后使用以下方式登陆SSH:ssh tuns@192.168.0.100 tuns为192.168.0.100机器上的用户名,需要输入密码。断开连接:exit
44.安装vmwaretools: https://www.cnblogs.com/huangjianxin/p/6343881.html
成功安装后, ctrl+alt+enter就可以把ubuntu虚拟桌面全屏
小经验:如果没有全屏,tx2刷机到了components manager这一步就无法点下一步
tar zxf VMwareTools-10.0.10-4301679.tar.gz
sudo ./vmware-tools-distrib/vmware-install.pl
一直回车
sudo reboot #需要重启
深度学习相关软件安装整理相关推荐
- 计算机视觉与深度学习基本环境安装
计算机视觉与深度学习基本环境安装 1. Python的安装与使用 1.1 Python简介 1.2 Python下载与安装 1.2.1 Anaconda的下载与安装 1.2.2 Python编译器Py ...
- 用MXnet实战深度学习之一:安装GPU版mxnet并跑一个MNIST手写数字识别 (zz)
用MXnet实战深度学习之一:安装GPU版mxnet并跑一个MNIST手写数字识别 我想写一系列深度学习的简单实战教程,用mxnet做实现平台的实例代码简单讲解深度学习常用的一些技术方向和实战样例.这 ...
- 做深度学习相关的科研工作,这一篇就够了?
大家好,我是羽峰,今天要和大家分享的是做与深度学习相关的科研工作的一些相关网站,相关工具,相关数据集等. 目录 深度学习白嫖网站 相关科研网站 论文写作 文献管理 深度学习白嫖网站 吴恩达:深度学习工 ...
- 利用Anaconda安装pytorch和paddle深度学习环境+pycharm安装---免额外安装CUDA和cudnn(适合小白的保姆级教学)
系列文章目录 深度学习原理-----线性回归+梯度下降法 深度学习原理-----逻辑回归算法 深度学习原理-----全连接神经网络 深度学习原理-----卷积神经网络 深度 ...
- 交通运输相关机器学习/深度学习相关资源列表,关于交通运输场景的机器学习/深度学习的资源这里都有
本文素材来源于GitHub,经本人翻译及整理首发于CSDN,仅供技术交流所用,请勿商用.欢迎大家关注我的公众号: gbxiao992 原文地址:https://github.com/zzsza/Awe ...
- 转载【数据集】计算机视觉,深度学习,数据挖掘数据集整理
金融 美国劳工部统计局官方发布数据 上证A股日线数据,1999.12.09 至 2016.06.08,前复权,1095支股票 深证A股日线数据,1999.12.09 至 2016.06.08,前复权, ...
- 二十五个深度学习相关公开数据集
转 [干货]二十五个深度学习相关公开数据集 2018年04月18日 13:42:53 阅读数:758 (选自Analytics Vidhya:作者:Pranav Dar:磐石编译) 目录 介绍 图像处 ...
- python学习——相关软件汇总
python学习--相关软件汇总 Part 1:准备工作 安装所需软件. 文本编辑器 VScode.pycharm 工具包 anaconda 交互式运行 python3.x 一.需要安装: 1.文本编 ...
- cuda, cudnn的升级,各种深度学习库的安装
新版本的tensorflow和keras已经要求cudnn v6了,并且将来会升级到cuda9 和 cudnn7. cudnn7最大的特点是支持group convolution, 这里原先的环境是 ...
- 转:深度学习课程及深度学习公开课资源整理
http://www.52nlp.cn/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E8%AF%BE%E7%A8%8B%E6%B7%B1%E5%BA%A6%E5%AD%A ...
最新文章
- 有针对linux系统的补丁吗,Linux用户的注意了 有两个补丁需要你打一下
- Jmeter和LoadRunner的区别
- 程序员职场须知:公司如何衡量程序员的价值?别以为是经常加班!
- web服务器 apache_如何配置Apache Web服务器
- [模拟] leetcode 14 最长公共前缀
- Lyft无人车战略揭秘:两个团队并行,用百度Apollo,想定行业标准
- [LeetCode] 92. Reverse Linked List II 反向链表II
- C# 使用Microsoft Speech朗读文本
- CMD命令行查询电脑硬件信息
- word文档通配符换行_Word指定位置批量插入表格,别人花一天搞不出来,我只用了10秒...
- bochs镜像java模拟器_【 bochs win7镜像完整版 】bochs win7镜像完整版(bochs win7 img文件)新版下载 - U大师...
- 关于主从同步时应该注意的一些问题;
- 两个鸡蛋--一道Google面试题
- 手把手教你用Python打造一个语音合成系统(已生成软件)
- 天猫、淘宝商品详情、库存、价格抓包
- 宽带拨号上网时,Win10代理设置无效
- 数据结构之线索二叉树详细解释
- SaaS正迅速成为人力资本管理数字化新常态
- 电脑截图,电脑怎么截图,教您电脑怎么截屏
- 80字符带空格 段错误_【超详细】ArcGIS字段计算器分割字段中的字符串