数据库基础及采集

数据库概述

简介

在管理各项信息工作的过程中产生或需要大量数据，数据库系统更有效存储、和管理日益重要的信息。

各种概念

Data：数据，是数据库中存储的基本对象，是描述事物的符号记录。

Database：数据库，是长期存储在计算机内、有组织的、可共享的大量数据的集合。

DBMS：数据库管理系统，是用户与操作系统之间的一层数据管理软件，主要用于对数据的管理和维护。

DBS：数据库系统，计算机系统引入数据库后的系统。

数据模型：用来抽象、表示、和处理现实世界中的数据和信息的工具，是对现实世界的模拟，是数据库系统的核心和基础。

概念模型：按用户的观点来对数据和信息建模，主要用于数据库设计。

逻辑模型：按计算机系统的观点对数据建模，用于DBMS实现。

物理模型：对数据最底层的抽象，描述数据在系统内部的表示方式和存取方式，在磁盘或磁带上的存储方式和存取方式。

实体和属性：客观存在并可相互区别的事物称为实体。实体所具有的某一特性称为属性。

ER图：实体关系图，描述现实世界的事物及其相互关系。

关系模式：由一组关系组成，每个关系的数据结构是一张规范化的二维表。

型/值：型是对某一类数据的结构和属性的说明，值是型的一个具体赋值，是型的实例。

数据库模式：描述数据库中全体数据的逻辑结构和特征。

数据操作

sql语言的种类

DML：用来插入、修改和删除数据库中的数据（insert into、delete、update）

DDL：用来建立数据库、建立表（create、show、alter table、drop）

DQL：用来对数据库中的数据进行查询（select）

DCL：用来控制数据库组件的存取许可、存取权限

创建索引

概述

索引可以理解为数据的目录，可以大大提高查询速度，改善数据库的性能。

作用

加快数据的检索
加快表与表之间的连接
使用order by和group by时，更大减少查询时间

种类

普通索引
唯一索引
全文索引
多列索引

sql语句

create [约束条件] index indexname on tablename(colname/col1,col2)

数据库数据采集

logstash+mysql

mysql准备

在test数据库中创建表，随意添加数据

logstash配置

在logstash的bin目录下，放入mysql-connector-java-5.1.25.jar包。

在logstash的config目录下创建mysql.conf，并添加配置信息。

启动logstash

在logstash的bin目录下，执行logstash -f …/config/logstash.conf启动logstash。

之后logstash会按照配置的执行频率，执行脚本。

数据采集—数据库基础及采集相关推荐

数据采集：如何自动化采集数据
数据采集:如何自动化采集数据一个数据的走势,是由多个维度影响的,收集到尽可能多的数据维度,同时保证数据的质量,才能得到高质量的数据挖掘结构数据源分四类:开放数据源(政府.企业.高校).爬虫抓取(网 ...
SSH：Oracle数据库基础
2019独角兽企业重金招聘Python工程师标准>>> Oracle数据库基础一:Oracle基础知识 Oracle数据库的主要特点 (1.)支持多用户,大事务量的事务处理 (2. ...
数据库基础笔记（MySQL）1 —— 基础概念
(写算法题目把自己心态搞崩了,休息两天顺便把之前学的数据库手写笔记记录在网上方便查阅,因为只是自己学的时候做的笔记,如果有错误欢迎大家指正,过两天再重回算法的怀抱哈哈) 如何下载配置这个感觉视频讲的 ...
ORACLE系列之SQL从入门到精通(全面把控数据库基础)
2019独角兽企业重金招聘Python工程师标准>>> 学习目标: 1.了解设计数据库的步骤 2.掌握如何绘制数据库的E ...
1 SQL server数据库基础
SQL server数据库基础一数据库简介 1数据库的基本概念 1)数据 ·描述事物的符号记录称为数据(Data),包括数字.文字.图像.声音等.以"记录"的形式按统一格式进行 ...
Oracle数据库基础入门《二》Oracle内存结构
Oracle数据库基础入门<二>Oracle内存结构 Oracle 的内存由系统全局区(System Global Area,简称 SGA)和程序全局区(Program Global Ar ...
oracle 10g 连接语句,Oracle 10g数据库基础之基本查询语句-下-连接子查询
实验18:表的连接查询该实验的目的是掌握基本的联合查询. 表的连接我们要从多张表中要得到信息,就得以一定的条件将表连接在一实验18:表的连接查询该实验的目的是掌握基本的联合查询. 表的连接我 ...
【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )
文章目录安卓直播推流专栏博客总结一. Android 端数据采集涉及到的相关概念二. Camera 预览图像尺寸设置三. 获取摄像头采集的数据格式安卓直播推流专栏博客总结 Android R ...
java学习与总结：MySQL和数据库基础知识
文章目录 MySQL MySQL数据库索引数据结构 B树和B+树的区别 MySQL一条数据是怎么保存到数据库的 WAL : WRITE AHEAD LOG binlog 和 redo log 流程 M ...
php大牛额城战笔记,PHP语言大牛开发笔记（8）——MySQL数据库基础回顾[2]
本文主要向大家介绍了PHP语言大牛开发笔记(8)--MySQL数据库基础回顾[2],通过具体的实例向大家展示,希望对大家学习php语言有所帮助. 一.数据表为了确保数据的完整性和一致性,在创建表时指 ...

数据采集—数据库基础及采集