python+大数据学习打卡day1
【大数据从0-1打卡-day1】
1、简单了解一些关于大数据的概念
数据:数据就是对客观事件进行记录并可以鉴别的符号。他不仅仅是指数字,还可以是有一定意义的字母、文字、符号、语音、文字、图画、视频或者这些元素的结合等。
企业数据分析方向:现状分析:离线分析
原因分析:实时分析
预测分析:机器学习
数据分析基本流程:采集、处理、分析、应用
大数据:大数据(big data),指的是所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。简单来说就是大量的数据,通过进行处理得到一些结论或规律。
分布式与集群:相同点是与单机对立,都是由多机所组成的。不同点是分布式是多操作系统的,集群是单操作系统的。
操作系统分类:桌面操作系统:mac、Windows、Linux
嵌入式操作系统:多用于军事、工业、航空
服务器操作系统:Unix、Linux、Windows 、netware
移动设备操作系统:Android、ISO、harmony等
2、Linux:内核:系统的核心部分
发行版本:内核与各种常用软件的集合产品 常用的版本有Ubuntu、Redhat、centos等
Linux是最初始的操作系统,现在大部分的开发还是在Linux系统中进行。
3、vm虚拟机的安装及centos操作系统的导入
4、虚拟机的常规使用和快照
基本操作:启动、停止、重启、挂起
快照:用于记录某一点的状态,用于备份恢复 注意:如果需要快照跳转恢复,自己电脑的所有虚拟机都要进行同时恢复,避免虚拟机处于多种不同状态。
5、finalshell
ssh协议:用户加密实现远程登录、服务器之间的免 密登录。
finalshell的下载安装以及与Linux的连接(可以更好的操作Linux系统)
6、Linux文件系统概念
Linux系统不同于我们常用的Windows系统,Linux是以根目录为起点,下设其他文件夹,形成文件夹树类的系统,不再有盘的概念。
路径:当前路径、相对路径、绝对路径
如果路径以.开始则表示当前路径,如果名字上以.开始代表此文件处于隐藏中
..代表当前路径的上一级 ~代表当前目录的home目录 /代表根目录
7、Linux常用操作命令
小技巧:熟能生巧、tab键可以自动补全和提示、history可以查看历史操作
ls:显示指定工作目录下的内容 -a 查看所有文件(包括隐藏文件) -l显示当前目录下文件及详细属性 -la 显示所有文件及详细信息
cd:用于切换当前工作目录
pwd:查看当前路径
mkdir:创建目录 -p 可以连创两级目录,如/root/home
touch:创建空文件,无任何内容
rm:用于删除一个文件或目录 -f 强制删除,无需用户确认 -r 将目录及以下所有递归逐一删除
-rf 直接删除目录下所有东西 -rf /* 删除根目录下所有东西(谨慎)
cp:用于复制文件或目录 -r 若给出的文件是目录,会复制该目录下所有的目录和文件
mv:用来为文件或目录改名,或者移动文件或目录
cat:用于连接文件并显示文件全部内容(适用于小文件)
more:用于翻页查看文件 space下翻 b上翻 (适用于大文件)
tail:用于查看文件的结尾部分的内容 -n 用于显示行数,默认为10 -f 用于实时显示文件动态追加的内容 (如数据采集)
echo:用于输出内容到console控制台上
|:管道命令:将前一个命令的结果给到第二个命令继续执行 命令1 | 命令2
>:输出重定向覆盖命令 commend > file
>>:输出重定向追加命令 commend >> file
tar: -c 创建新的备份文件(打包) -x 解包 -v显示指令执行过程 -f 指定备份文件
-z 指定压缩算法gzip算法 -xvf -cvf -C解压到指定目录 -zcvf XXXX.tar.gz -zxvf
python+大数据学习打卡day1相关推荐
- 2022年Python+大数据学习路线图,源码笔记,最优学习资源
任何学习过程都需要一个科学合理的学习路线,才能够有条不紊的完成我们的学习目标.Python+大数据所需学习的内容纷繁复杂,难度较大,所以今天特别为大家整理了一个全面的Python+大数据学习路线图,帮 ...
- 2022新版Python+大数据学习路线图,附视频教程
互联网的未来也是人工智能的未来,那就少不了Python+大数据的助力,对于想要转行的小伙伴来说,或许这是一个新兴赛道. 第一阶段 大数据开发入门 学前导读:从传统关系型数据库入手,掌握数据迁移工具.B ...
- python 大数据学习 遇到的问题,及解决方法。
最近开始跟随<子雨大数据之Spark入门教程(Python版)> 学习大数据方面的知识. 这里是网页教程的链接: http://dblab.xmu.edu.cn/blog/1709-2/ ...
- 卧槽!又来一个Python大数据学习神器!
今天给大家推荐一个「宝藏号」.为什么是「宝藏号」呢?因为你关注后回复关键词,可以免费获取海量学习资源. 关注后回复关键词:AI | PPT | 干货 | Python | 机器学习 | 中台 | 大数 ...
- python+大数据学习day4
HDFS HDFS(Hadoop Distributed File System ),意为:Hadoop分布式文件系统. 是Apache Hadoop核心组件之一,作为大数据生态圈最底层的分布式存储服 ...
- 大数据学习完可以做什么
如果要推荐一种人人都能掌握的编程语言,应该没有比Python更合适的了.如果想学习大数据,可以选择从python语言入手~ Python 简单易学,用途广泛,不仅可以在日常办公中提高大家的职场效率,还 ...
- Python大数据培训实例:三维空间的星星
"一闪一闪亮晶晶,满天都是小星星......" 相信很多人都听过这首<小星星>.Python大数据学习中,经常会碰到用3D散点图实现数据的情况,下面就绘制包含若干个五角 ...
- Python大数据综合应用 :零基础入门机器学习、深度学习算法原理与案例
机器学习.深度学习算法原理与案例实现暨Python大数据综合应用高级研修班 一.课程简介 课程强调动手操作:内容以代码落地为主,以理论讲解为根,以公式推导为辅.共4天8节,讲解机器学习和深度学习的模型 ...
- python大数据零基础_零基础学习大数据人工智能,学习路线篇!
大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...
最新文章
- 如何跨过Docker集群网络Weave遇到的“坑”?
- Logback也爆漏洞了,总结下最近log相关的几个漏洞
- oracle ohs是什么,怎么更改OHS端口为80
- python工具是什么-使用Python编写命令行工具有什么好的库?
- ZeroMQ之Publish/Subscribe (Java)
- jooq实体 和mysql_几个数据持久化框架Hibernate、JPA、Mybatis、JOOQ的比较
- redis(16)--sentinel
- calendar操作详解
- java 解析/操作 xml 几种常用方式 xml的增加/删除/修改
- python数值积分_python实现数值积分的Simpson方法实例分析
- 1.2 xss原理分析与剖析(3)
- Kubernetes集群部署及简单命令行操作
- 结对编程-四则运算生成
- docker安装教程
- python菜鸟教程w-【读书】Django教程(菜鸟教程)
- 图神经网络(GNN)必读论文及最新进展跟踪
- 神武3登录显示未能成功连接服务器,T3安装成功后,点击运行显示登录界面,但提示“检测公共组件Protal。exe时未能通过,公共组件可能被破坏”,和”无法连接服务器“。应该怎么处理?求助!...
- C#Assembly详解
- Java集成华为云对象存储
- 入职体检(三甲医院)
热门文章
- 计算机用户登录界面,win登录界面突然多出来个Administrator的账户
- 微信号名称乱码什么情况_微信号改成什么比较好,2020最火微信号!
- android自定义虚线,Android自定义view的方式绘制虚线
- 优秀计算机基础微课案例,大学计算机基础——大学微课实用案例教学
- 1253号C语言程序设计试题,2016年1月试卷号1253C语言程序设计A.pdf
- 计算机word论文,怎么用电脑Word写论文?
- python中列表是什么样的数据结构_Python中列表、字典、元组、集合数据结构整理...
- 基于华为ENSP模拟器下的多个区域互联,减少LSA的更新量,加快收敛,保障更新安全的OSPF综合练习
- php个人空间源码,PHP安装 - 牛牛牛大棚的个人空间 - OSCHINA - 中文开源技术交流社区...
- python用百度云接口实现植物识别和动物识别