开始：2022年11月6日

以下内容仅为个人笔记整理。（第一阶段的内容并不完全。硬件上有点问题，暂时无法解决，空着的部分后续补上。）

第0章大数据介绍

大数据可以从事的职位有：大数据工程师数据分析师（一般女孩较多，画图）

大数据和python的关系：

1-1大数据介绍

1.什么是大数据？（有价值的海量数据）

大数据（big data）,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，因此需要新处理模式，该模式就是大数据。

2.大数据处理的数据量有多大？

3.大数据解决什么问题

4.大数据的特点

（拓展）结构化数据、半结构化数据、非结构化数据的区别
结构化：文字、数字
非结构化：音频、视频、图片
半结构化（少）：json

5.大数据应用场景

行业领域（上课ppt上的图片，数据来源尚不清楚。）

（拓展）数据的存储方式：
excel:单个sheet页，能存放6万多条数据。单个sheet页中存储不够的话可以在加一个sheet页，但是两个sheet页中的数据是彼此隔离的。（隔离的概念暂时比较模糊）

mysql、oracle:mysql单个表存储数据量达到百万级别之后就会变得非常卡。
痛点问题：增删改查，无法操作或响应时间太长
存不下 -> 存储问题
算不了 -> 计算问题

大数据来了

6.大数据分析业务步骤

流程

个人总结：
->了解了大数据的主要技术之后，你要搞清楚你现在面对的需求是什么？
->需求知道了下面就是怎么做。既然是大数据，首先这些数据属性是啥，在哪？
->大数据我有了。但是大数据都具有低价值密度性，先筛选掉部分没用或关系不大的数据。
->对留下来的数据，运用各种知识、工具进行分析。
->将分析结果换种方式表达，尽量让普通人也能看懂。同时也要保证数据的准确性、[实时性、]等。
->总结一下你都干了啥。解决的问题、解决流程、... 最终的结果。

7.大数据职业规划

岗位需求：

大数据开发工程师
Hadoop开发工程师

-- 上面两个差别不大
Spark开发工程师
实时计算开发工程师（flink+kafka,sparkstreaming+kafka）
数据仓库工程师(Hive脚本开发、Hive开发工程师)
ETL开发工程师 (与上一个差不多）
BI开发工程师（数据分析、工资偏低、Python+fineBI、tableau）
数据挖掘工程师 (算法)
数据架构师 (5年起步、年薪百万）

职业方向：

大数据开发工程师（初级、中级）

->高级大数据开发工程师（3-5年：30k+）

->大数据架构师(5年以上)

->大数据技术总监（基本不写代码、35岁之前牛皮的很）

8.大数据学习路线

1.Linux

| 大数据的所有组件都是在Linux的环境下搭建的。

2.编程语言：Java、SQL(重点语言)、Scala、Python

3.大数据框架：

核心框架：Hadoop、Hive、Spark、Flink、Kakfa、Hbase

大数据工具：

zookeeper
Hadoop
- MapReduce
- hdfs
HIVE
azkaban:调度工具
impala
HBASE
Phoenix
Redis
elasticsearch
logstash
kibana
hue
oozie
scala
spark
flink
kafka
kudu
clickhouse
DS

第一章 Linux

1-2 Linux介绍及虚拟机网络配置

1.Linux介绍

Linux的创始人林纳斯·托瓦兹
Linux的特点是：开源、免费、拥有最为庞大的源码贡献者。
Linux操作系统本身是一个整体，包括Linux内核、系统库和系统程序，Linux内核是其最基础的部分。
自发布Linux内核来，很多公司加入其中，在内核的基础上构建了自己的操作系统版本，被称为Linux的发行版。
Linux常见发行版本：Linuxmint、ubuntu、centos、redhat、debian、深度、麒麟、红旗...

2.Linux系统的安装介绍

需要有一台裸机或虚拟机。

●概述要安装Linux系统，首先，我们需要找到一台计算机，才能安装。为了方便我们课堂上的操作，我们将使用【虚拟机】，在我们的笔记本电脑上模拟一台计算机。我们把Linux系统安装到这台计算机上。

●虚拟机介绍虚拟机(Virtual Machine)指通过软件模拟的具有完整硬件系统功能的，运行在一个完全隔离环境中的完整计算机系统。

8.网络配置

9.网络配置2

10.解决网络问题

11.网络配置和连接工具

1-3 Linux的目录结构（了解）

Linux文件系统没有盘符的概念，就是没有C盘，D盘等等，所有文件入口是从根目录开始的。
系统自带的文件、文件夹不要删除或修改

1.常用的目录介绍

FHS根据文件系统使用的频繁情况，是否允许用户随意改动，将目录定义成4种交互作用的形态，如下：

可分享的：可以分享给其他系统挂载使用的目录。
不可分享的：仅与自身机器有关，不适合分享给其他主机的。如自己机器上运行的设备文件或者与程序有关的socket文件。
不变的：不会经常变动的数据，如说明文件，函数库，主机服务配置文件等。
可变动的：经常会改变的数据，如登录文件，新闻组等。

根目录是整个系统最重要的一个目录，因为所有的目录都是由它衍生出来，而且根目录也与开机，还原，系统修复等操作有关。

由于系统开机需要特定的开机软件、内核文件、开机所需要的程序、函数库等文件数据，若系统出现异常时，根目录也要有能够修复文件系统的程序。由此可见根目录的重要性，所以建议，根目录不要放在非常大的分区内（这里的分区是什么意思，话说Linux系统下不是部分C盘、D盘吗？），因为越大放置的文件越多，出错的几率也越大，性能也越不好，所以，根目录应该越小越好，且应用程序所安装的软件最好不要与根目录放在一个分区内。

其中有5个目录不可与根目录分开放在不同的分区。这5个目录分别为：etc，bin，dev，lib，sbin。

那么除啦以上的文件夹之外，还有一些linux系统中也非常重要的目录如下：

LIUNX系统的目录树，如下：

第二章 Linux命令（重点）

命令格式
command [-options] [parameter]

说明：
- command:命令名，相应功能的英文单词或单词的缩写。
- [options]:选项，可用来对命令进行控制，也可以省略。
- parameter:传给命令的参数，可以是零个、一个 或 多个

1. 显示文件列表命令：ls

[options]	含义
-a	显示指定目录下所有子目录与文件，包含隐藏文件
-l	以列表方式显示文件信息（ls -l 可以简写为ll）
-h	显示大小带单位。必须配合`-l`一起使用
------------------------------------	--------------------------------------------------------------------------------------------------------------------------
[parameter]	含义
不选	显示此目录文件、文件夹名
路径名	显示该路径下的所有子目录与文件，包含隐藏文件
路径名1 路径名2	同时查询并分别显示两个路径下的所有子目录与文件，包含隐藏文件（用得少，可供装x，哈哈哈）

中文乱码问题： option->Session Options...->Appearance 选择 Character encoding 为 UTF-8。其他问题找老师。

绝对路径与相对路径：从/开始的路径是绝对路径

ls -l显示的信息： drwxr-xr-x. 26 root root 4096 6月 6 2020 anaconda3 -rw---------. 1 root root 1561 6月 2 2020 anaconda-ks.cfg 其中：

drwxr-xr-x. 26 root root 4096 6月 6 2020 anaconda3
d	文件类型
rwxr-xr-x.	文件权限
26	连接数
root	文件所属用户
root	文件所属用户组
4096	表示该目录所占的字节大小。
6月 6 2020	文件最后改动时间
anaconda3	文件名称

1.文件类型

符号	文件类型
-	普通文件
b	块设备文件
s	套字节
l	连接文件
c	字符设备文件
p	命名管道
d	目录

普通文件：就是我们一般的文件，他在linux中按照文件内容大致分文3种。

纯文本文件（ASCII）：内容直接被我们读到，如数字，字母等，几乎我们可以设置读写的文件都是这一种，他可以通过cat命令打开，直接查看内容。
二进制文件（binary）：linux唯一可以识别执行的文件，在系统中可执行文件就是这种格式，例如：刚刚执行的cat就是一个二进制文件。
数据格式文件（data）：程序在运行过程中读取的特定格式文件，就是数据文件，比如：用户登录的用户数据记录在/var/log/wtmp这个数据格式文件中。比较明显的特征使用last可以读出来，cat读时是乱码。

块（block）设备文件：为一些存储数据，如体现随机访问的接口设备，如硬盘，软盘等，可以随机的在硬盘的不同块读写，可以看看/dev/sda

字符（character）设备文件：一些串行端口的接口设备，如键盘、鼠标等。这些设备的特征就是“一次性读取”的，不能够截断输出。例如：鼠标只能滑动到一个地方而不能跳到另外一个地方。

套字节（sockets）：这种文件类型用于在网络上的数据连接。

管道（FIFO,pipe）：fifo，first-in-first-out，主要解决多个程序同时访问一个文件所造成的错误问题。

连接文件（link）：类似windows系统中的快捷键。

2.文件权限r-xr-xr-x

缩写字母的意义：x:可执行，r：可读，w：可写，-占位。
123：拥有者权限，456：用户组用户权限，789：其他用户权限。
特征顺序为rwx。

3.连接数：表示有多少文件名连接到此节点。

4.文件名

linux中没有像windows中所谓的扩展名。但是为了方便认识还是要有写扩展名的习惯。

文件长度限制，一般不要超过255个字符就好。
文件命名限制，最好避免*？><；&|、'"(){}

补充：
ls 后面的 路径和选项 的位置顺序 可随意。对于同时使用多个选项的情况也可以合并例如：
ls -l -h 可以简写为 ls -lh

2. 查看当前所在位置：pwd

[root@localhost ~]#  这个是当前用户的用户文件夹主目录
[root@localhost  /]#  这个是整个系统的根目录

3. 切换目录：cd

命令	含义
cd ..	切换到上一级目录
cd	切换到当前登录用户的家目录（~）。如果是itcast用户登录的，就回到 /home/itcast ,如果是root用户登录的就回到 /root
cd 目录路径	从当前路径切换到指定路径
cd -	回到上一次所在的位置
cd /	切换到根目录

cd 输入前几个字母+tab键 可补充为 该位置中存在的 文件或文件夹名称

4. 新建目录（文件夹）: mkdir

mkdir:make directory，创建文件夹

注意：mkdir 不能创建已经存在的同名且格式一致的文件夹。但Linux严格区分大小写，所以理论上可以创建同名但大小写规则不同的文件夹。能成功，但不推荐。

命令	含义
mkdir Draft01	在当前位置新建文件夹：Draft01
mkdir 指定路径/Draft01	在指定路径下新建文件夹：Draft01
mkdir -p test1/test11/test111	递归创建有层级的文件夹，先检查，判断之后再创建。
mkdir test1 test2 test3	在当前位置新建test1、test2和test3文件夹

补充：-p可以理解为:如果没有,就创建。mkdir -p test1/test11/test111的实现逻辑可以理解为：
判断test1文件夹是否存在，不存在则创建
判断test1/test11文件夹是否存在，不存在则创建
判断test1/test11/test111文件夹是否存在，不存在则创建如果直接使用 mkdir test1/test11/test111。则会因为test1不存在而报错，程序无法执行。

5. 删除文件或目录：rm

rm:remove简写

命令	含义
rm a.txt	删除当前位置的a.txt文件
rm test	报错。rm无法直接删除目录
rm -r test1	递归删除test1中的所有内容，以及test1文件夹。很烦，不太推荐。
rm -rf test1	强制性永久删除test1目录。推荐。慎用
rm -rf *	强制性永久删除当前位置的所有文件和目录。慎用

注意：rm删除一个文件或文件夹，确认中输入y则删除，否则不删除。
-f force 强制执行不需要重复询问是否确认。
* 代表所有
rm -rf * 删除当前位置的所有文件夹、文件删除慎用，一般不要在root用户下使用。

6. 查看历史操作命令：history

7. 创建空文件：touch

命令	含义
touch a.txt	在当前位置新建a.txt空文件
touch a1.txt a2.txt a3.txt	在当前位置新建a1.txt、a2.txt和a3.txt空文件
touch 路径/a1.txt aa.txt	在指定路径下创建a1.txt空文件，在当前位置新建aa.txt空文件

8. 文件、目录的重命名和移动： mv命令

作用 mv命令用于文件、命令的移动和重命名。

命令	含义
mv 文件名路径	将该文件剪切到指定路径
mv 目录名路径	将该目录剪切到指定路径
mv a.txt b.txt	若a.txt存在，b.txt不存在，则将文件改名为b.txt
	若a.txt存在，b.txt存在。询问是否覆盖，输入y则，b.txt文件被删除，将文件a.txt改名为b.txt。
mv 目录1 目录2	目录1存在，目录2不存在。将该目录的名字改为“目录2”
	目录1存在，目录2也存在。将目录1移动到目录2文件夹中

关于 mv a.txt b.txt执行之后的 b.txt之前是那个文件或是否存在。感兴趣的可以看一下：（第一篇中只讲解了文件夹和文件的关系，并没有说明文件夹和文件夹之间的关系。第二篇：着重讲解了inode、文件描述符表、文件表。当然作为初学者记住一些常用的知识并会用就行。但如果自己以后的目标比较远大，可自行了解。）

浅谈linux系统中mv、cp、rm这三种命令的工作原理 | Linux运维部落 (360doc.com)

(8条消息) linux文件管理（inode、文件描述符表、文件表）wwwlyj123321的博客-CSDN博客linux 文件表

对于此问题：

了解完inode表结构之后，我们需要首先了解下cp和rm两个命令：

cp命令是用来拷贝数据，在cp命令执行过程中：分配一个空闲的inode号，在inode表中生成新条目，在目录中创建一个目录项，将名称与inode编号关联，拷贝数据生成新的文件。

rm命令是删除数据的工具，在rm命令执行过程中；数据链接数递减，从而释放inode号,并且inode号可以被重用，把数据块放在空闲列表中，删除目录项，数据实际上不会马上被删除，但当另一个文件使用数据块时将被会被覆盖。

cp命令和rm命令可以看出来在运行这两种工具时，底层数据都发生了改变，下面我们来谈谈mv命令执行时底层发生了什么：

mv命令是经常用来将数据从一个地方挪到另外一个地方的工具，而mv命令在挪动数据的时候底层工作分为两种情况：

第一种是mv命令的目标和源在相同的文件系统，可以理解为同一分区，mv命令在执行过程中用新的文件名创建对应新的目录项，删除旧目录条目对应的旧的文件名，并不影响inode表（除时间戳）或磁盘上的数据位置，也就是说没有数据被移动。

第二种如果目标和源不在一个文件系统，也就是不在一个分区，那么 mv就相当于cp和rm。即改变了inode表的条目，也发生了数据移动。

9. 查看文件内容：cat

命令	含义
cat a.txt	查看当前路径下a.txt文件内容
cat 路径/a.txt	查看指定路径下a.txt文件内容

10. 查看文件部分内容：more

查看部分数据 enter：查看下一行数据空格键：查看下一页数据或Ctrl + F B ：返回上一页或ctrl+B q：退出

11. 复制粘贴：cp

命令	含义
cp a.txt b.txt	当b.txt存在。将a.txt文件中的内容复制并覆盖 b.txt文件的原内容。
	当b.txt不存在。新建b.txt,并则将a.txt文件中的内容复制到b.txt文件中
cp -r test1 test2(7.几版本之后要加-r，之前不用)	当test2存在。将test1 复制到test2。
	当test2不存在。新建文件夹test2，并将test1中的内容复制到test2。
cp a.txt test2	test2存在。复制一份a.txt到test2
	test2不存在。新建test2文件夹，并复制一份a.txt到test2。

cp对文件夹的操作必须添加一个 -r (7.几版本之后要加-r，之前不用)

12. 文本编辑器： vim

命令	含义
vim a.txt	a.txt不存在。创建a.txt文件，并进入a.txt的编辑界面
	a.txt存在。打开a.txt的编辑界面

13. 系统管理命令：ps

process status,进程状态

命令	含义
ps -ef	查看当前正在运行的进程

UID (user id) 表示谁启动了这个进程
PID (process id)进程号
PPID (parent process id)父进程号
C
STIME
TTY
TIME
CMD</span></span>

14. 系统管理命令：kill

命令	含义
kill PID	终止该进程号所对应的进程（有时候不一定终止进程）
kill -9 PID	杀死该进程号所对应的进程（一定杀死进程）
kill -l	查看kill -数字的系列命令（共64个）

15. ifconfig：查看虚拟机的网络配置信息

windows:ipconfig win+r 调出运行窗口输入cmd 进入终端界面，输入 ipconfig 回车

iOS ：ifconfig

16. 清屏命令 clear

快捷键 ctrl+l

clear 只是将显示的界面变得很干净，往上翻可以看到之前操作的信息。

17. 重启命令 reboot

18. 关机命令 shutdown

命令	含义
shutdown -h now	立即关机（断电关机）
halt	立即关机（不断电关机）

19. 查看主机名称：hostname

20. 压缩和解压命令

压缩：是一种通过特定的算法来减小计算机文件大小的机制（百度百科下）。打包：将多个文件放入一个文件中，最终以一个文件的形式存在。

Linux系统中常见的压缩命令有三种：compress , gzip , bzip2 。

compress：这个压缩命令仅存在古老的unix机器上，是一个很古老的压缩方式，被gzip所取代，gzip也可以解压commress的压缩文件。所以我这里不做过多介绍，有需求的朋友可以:http://man.linuxde.net/compress 我这里给一个截图如下：
gzip：这个压缩命令在目前来说算是最常见的，它可以解开compress、zip、gzip等软件所压缩的文件。有9个压缩等级，1最快压缩比最差，9最慢压缩比最好，默认为6。使用zcat命令可以查看读取compress与gzip的压缩文件。对文本的压缩率可达到：60%-70%，可配合tar使用。
bzip：如果说gzip是用来取代compress的，那么bzip就是为了取代gzip而存在的。他的压缩率竟然比gzip还要好，可配合tar使用。

gzip的常用用法：

语法：gzip 参数文件名

参数：

参数	解释
-c	将压缩的数据输出到屏幕上，可通过数据重定向来处理。
-d	解压的参数
-t	可以用来检验一个压缩文件的一致性，看看文件是否有错误。
-v	可以显示出源文件/压缩文件的压缩比信息。
-#	压缩等级，1-9。

常用的语句：压缩：gzip -v filename ，解压：gzip -d filename 。

查看文本压缩文件：zcat 文件名。

bzip2的常用用法：

语法：bzip2 参数文件名

参数	解释
-c	将压缩过程中产生的数据输出到屏幕上
-d	解压缩
-k	保留源文件，而不会删除原始文件
-z	压缩
-v	显示出源文件/压缩文件的压缩比等信息。
-#	与gzip相同，1-9压缩比的参数，1最快，9最佳。

常用的语句：压缩：bzip2 -z filename ，解压：bzip2 -d filename 。查看压缩文本：bzcat filename.bz2

tar打包命令

以上三种压缩解压只能针对单文件执行，那么如果将多个文件合并到一个大文件中，怎么做到呢？那就要用tar这个命令。tar不止这么多，它还支持gzip、bzip2，在打包的同时对文件进行压缩。由于这tar使用过于广泛，就连windows中的WinRAR也支持.tar.gz文件名的解压缩。

语法：打包与压缩：tar [-j|-z] [cv] [-f 新建的文件名] filename 解压缩： tar [-j|-z] [xv] [-f 新建的文件名] [-C 目录]

参数： -c：新建打包文件，可搭配-v来查看过程中被打包的文件名 -t：查看打包文件的内容含有那些文件名，重点在查看文件 -x：解压缩或解打包的功能，可搭配-C在特定目录解开。特别留意的是,-c,-t,-x不可同时出现在一串命令中。 -j：通过bzip2的支持进行压缩或解压。 -z：通过gzip的支持进行压缩或解压。 -v：在压缩或解压的过程中，将正在处理的文件名称显示出来。 -f filename：-f后面要接被处理的文件名。建议-f单独写一个参数。 -C 目录：这个参数在解压时，若要在特定目录解压缩，可以使用这个参数。

.tar.bz2 格式常用的语法

解压： tar jxvf filename.tar.bz2 ，压缩： tar jcvf filename.tar.bz2 要压缩的文件

.tar.gz 格式常用的语法

解压：tar zxvf filename.tar.gz ，压缩： tar zcvf filename.tar.gz 要压缩的文件

21：压缩、打包、解包、解压缩命令：tar

参数	解释
-c	打包
-v	view,显示运行过程中的信息
-f	file,指定文件名
-z	gzip，调用gzip压缩命令进行解压、压缩
-x	解包或者解压缩
-C	解压到指定位置

tar：压缩、打包、解压、解压缩命令

命令	含义
tar -cvf test1.tar test1	打包。将当前目录下的test1文件夹打包成test1.tar,并显示运行过程中的信息
tar -czvf test1.tar.gzip test1	打压缩包。
tar -xvf test1.tar	解包。将该打包文件解压到当前文件夹
tar -xvf test1.tar -C 路径/	解包。将该打包文件解压到指定的文件夹
tar -xzvf test1.tar.gz -C 路径/	解压缩包。将该压缩文件解压到指定的文件夹

为什么打包之前test1文件夹的大小为42，打包之后的大小为10240变大了？
打包之前，test1文件夹是没有格式的，所以占用内存很小。而打包成的.tar文件有固定格式。所以文件变大了。
对于本身文件夹内存占用量就比较大的文件夹来说，打包后的文件夹大小基本是有所减小的。
对于本身文件夹内存占用量就比较大的文件夹来说,不建议、不需要打包。

Linux打包和打压缩包有什么区别。或者文件夹可以被直接打压缩包，那么打包存在的意义是啥？
打包是将1个或多个文件、文件夹放入到1个文件夹中。空间占用量前后不变。
压缩一般是将一个文件夹或一个打包的文件夹进行压缩，空间占用量一般减小。
压缩只能针对单个文件夹、文件。实际基本上，一次压缩都会涉及到一个或多个文件、文件夹。所以，基本上压缩都要和打包配合使用。

注意：参数的个数和顺序可以自由选择，但如果有f那f只能且必须在最后。

22. 全文检索命令：grep

命令	含义
grep 检索词文件名	在该文件中查询是否含有此检索词。有则返回所以包含次检索词的数据。没有。。。
grep -ir 检索词	在此目录下，递归查找包含此检索词的文件。
grep -ir 检索词路径名	在指定目录下，递归查找包含此检索词的文件。

-i:不区分大小写
-r:递归</span></span>

23. 管道：|

管道符：将左边命令的输出当做右边命令的输入。

命令	含义
ps -ef \| grep mysql	在当前正在运行的进程中，查找包含mysql检索词的数据

24. 查看系统命令：witch

which:查看可执行文件的位置。

命令	含义
which mysql	查看 mysql 命令的位置
which pwd	查看 pwd 命令的位置
which ls	查看 ls 命令的位置

25. vi编辑器的介绍

vim是vi的升级版，支持代码补全、编译及显示效果带颜色、等，编程的功能特别丰富。常用。

1、vi编辑器3种模式。

命令模式：vi 文件名/文件路径回车
- 进入到文件或指定路径下的文件的命令模式。
编辑模式：输入 i、o、O、a、s、都可以进入编辑模式。按下 esc键进入命令模式。
- 此模式下进行修改操作。
末行模式：在命令模式下按下 shift+: 进入末行模式。delete键,进入命令模式。
- :wq + 回车，保存退出（常用）
- :q + 回车，直接退出不保存，前提是没有任何修改，否则退出不成功（用q!）。
- :w + 回车，保存
- :q！ + 回车，强制退出不保存（牢记，常用）

2、命令模式下快捷键操作：

补充：
命令模式下：
/hadoop 可查询当前文本中所有包含hadoop关键词的数据。并标出
q 快速定位下一个位置

3、末行模式（底行模式）相关命令：

补充说明：
:%s/关键词1/关键词2:  将全文中的关键词1替换为关键词2，实际开发中不太推荐使用。

26. 用户创建命令：useradd

补充：
root用户对文件的修改没有限制。（目前来看）
su切换用户时，root向普通用户切换不需要密码。普通用户向root用户切换需要输入密码。

27. Linux命令之权限：

角色：
- 创建者：一个文件或文件夹的创建者（拥有者） userid->uid->u
- 用户组：针对一个文件或文件夹而言，默认与创建者同名。gid->g
- 其他用户：创建者之外的用户，就是其他用户 other->o
- 权限。第2-4：创建者对文件或者文件夹的权限。第5-7：用户组的权限。第8-10：其他用户的权限。权限的解读: r：read 读权限， r 4 w：write,写权限， W 2 x：执行权限， X 1

权限操作：chmod

命令	含义
chmod o+w a.txt	对a.txt文件的，其他用户，添加，写权限。
chmod g-wx a.txt	对a.txt文件的，用户组，去掉，写权限和执行权限。
chmod o=rwx a.txt	将a.txt文件的，其他用户，权限设置为可读、可写、可执行
chmod 707 a.txt	将a.txt文件的，创建者用户和其他用户权限设置为可读、可写、可执行。将用户组权限设置为不可读、不可写、不可执行。

chmod 7 a.txt。
a.txt的权限变为：------rwx。因为7默认情况下7等于007
注意：数字和字母不能同时使用

Linux默认情况下，创建者与用户组同名。

第三章MySQL数据库

3-1 mysql和datagrip的介绍

1.安装datagrip、安装mysql

2.MySQL的介绍

DDL数据库定义语言 DML数据库操作语言 DQL数据库查询语言

SQL语句可以单行或多行书写，以分号结尾可使用空格和缩进来增强语句的可读性 MySQL数据库的SQL语句不区分太小写，关键字建议使用大写例如: SELECT * FROM user;Select * from user; 同样可以使用/**/的方式完成注释 -- # MySQL中的我们常使用的数据类型如下

3-2 数据定义语言的使用 DDL

1.创建数据库

create database student;

3-3 数据操作语言的使用

第四章excel的使用

第五章kettle的使用

第六章数据分析及可视化

第七章大数据框架与数仓基础

第八章数仓实战项目

阶段作业Python大数据开发基础 - 第1套试卷

大数据第一阶段学习笔记相关推荐

大数据Hadoop教程-学习笔记01【大数据导论与Linux基础】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程,总时长:14:22:04 教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g,提取码: ...
大数据Hadoop教程-学习笔记02【Apache Hadoop、HDFS】
视频教程:哔哩哔哩网站:黑马大数据Hadoop入门视频教程教程资源:https://pan.baidu.com/s/1WYgyI3KgbzKzFD639lA-_g 提取码: 6666 [P001-P ...
hadoop大数据开发技术学习笔记第三天：（前序）MySQL数据库进阶
hadoop大数据开发技术学习笔记第三天:(前序)MySQL数据库进阶一.回顾知识 1.myschool数据库和数据表的创建 (1)创建数据库 (2)数据库模型图 (3)创建数据表grand (4) ...
嵌入式之uboot源码分析-启动第一阶段学习笔记
注: 以下的内容来自朱老师物联网大讲堂uboot部分课件 Uboot启动第一阶段start.S执行步骤 1.头文件包含 <config.h>(x210的各种宏定义) <version ...
大数据课程体系-学习笔记概要
目录目录大数据课程体系简介学习阶段不定时更新大数据课程体系简介作为一名物联网工程专业的学生,对于大数据有着不同寻常的热情,在有了一定的Android基础和J2EE基础后,希望学习更多的数 ...
大讲台大数据特训学习笔记
什么是大数据技术? 对于一个从事大数据行业人来说,一切数据都是有意义的.因为通过数据采集.数据存储.数据管理.数据分析与挖掘.数据展现等,我们可以发现很多有用的或有意思的规律和结论. 比如,北京公交一 ...
百万大数据架构师学习笔记
什么是大数据技术? 对于一个从事大数据行业人来说,一切数据都是有意义的.因为通过数据采集.数据存储.数据管理.数据分析与挖掘.数据展现等,我们可以发现很多有用的或有意思的规律和结论. 比如,北京公交一 ...
.NET 大数据实时计算--学习笔记
摘要纯 .Net 自研大数据实时计算平台,在中通快递服务数百亿包裹,处理数据万亿计!将分享大数据如何落地以及设计思路,技术重难点. 目录背景介绍计算平台架构项目实战背景介绍计算平台架构分 ...
uboot分析第一阶段学习笔记
############################################## makefile文件 ########################################## ...

大数据第一阶段学习笔记