mysql 1100_mysql数据库选择,有1100个用户,每个用户每月生成一张表,使用中该表内每秒上传一条数据,数据量很大...
mysql数据库,有1100个用户,每个用户每月生成一张表,用户登录在该表内每秒上传一条数据,预计每张表一个月共86W条数据,现在我搭建了mysql-cluster环境2个NDBD节点配置为8核CPU16G内...
mysql数据库,有1100个用户,每个用户每月生成一张表,用户登录在该表内每秒上传一条数据,预计每张表一个月共86W条数据,现在我搭建了mysql-cluster 环境 2个NDBD节点 配置为8核CPU 16G内存,SQL节点有4个,使用磁盘存储这些表,引擎为ndbcluster,但是86W数据的表仍然占用33M的内存,导致NDBD节点的机器需要超级大的内存来支持,【33(M)*1100(用户)*3(3个月的表)÷1024=106GB的内存支持】,使用双备份保证一个节点挂了不影响系统使用,不知道是否配置有问题,一下的配置文件信息,项目上要求:比如总服务器(MGM NDBD)在北京,使用程序服务器(SQL)在山西、河北、广东,山西、河北、广东登录自己的服务器,只查询或使用自己的数据,北京的服务器要可以查看山西、河北、广东3个点的所有数据,如果mysql-cluster不适合,那么我应该使用那种数据库。本人纯白菜鸟,需大神们支持
[TCP DEFAULT]
SendBufferMemory=8M
ReceiveBufferMemory=8M
[NDB_MGMD DEFAULT]
portnumber=1186
datadir=/var/lib/mysql-cluster
[ndb_mgmd]
nodeid=1
hostname=192.168.2.169
datadir=/var/lib/mysql-cluster
[NDBD DEFAULT]
DataMemory=9830M
IndexMemory=2457M
BackupMaxWriteSize=1M
BackupDataBufferSize=16M
BackupLogBufferSize=4M
BackupMemory=20M
BackupReportFrequency=10
MemReportFrequency=30
LogLevelStartup=15
LogLevelShutdown=15
LogLevelCheckpoint=8
LogLevelNodeRestart=15
MaxNoOfTables=1600
MaxNoOfTriggers=3500
NoOfReplicas=2
StringMemory=25
DiskPageBufferMemory=64M
SharedGlobalMemory=384M
LongMessageBuffer=32M
MaxNoOfConcurrentTransactions=16384
BatchSizePerLocalScan=512
FragmentLogFileSize=256M
NoOfFragmentLogFiles=16
RedoBuffer=64M
MaxNoOfExecutionThreads=2
StopOnError=false
LockPagesInMainMemory=1
TimeBetweenEpochsTimeout=32000
TimeBetweenWatchdogCheckInitial=60000
TransactionInactiveTimeout=60000
HeartbeatIntervalDbDb=5000
HeartbeatIntervalDbApi=5000
MaxNoOfAttributes=200000
MaxNoOfOrderedIndexes=40000
NoOfDiskPagesToDiskAfterRestartTUP=20
###disk store
#SharedGlobalMemory=20M
#DiskPageBufferMemory=80M
#-------------------------# NDBD
[ndbd]
nodeid=2
hostname=192.168.2.110
datadir=/usr/local/mysql/data
[ndbd]
nodeid=3
hostname=192.168.2.113
datadir=/usr/local/mysql/data
#--------------------# SQL
[mysqld]
nodeid=4
hostname=192.168.2.115
[mysqld]
nodeid=5
hostname=192.168.2.223
[mysqld]
nodeid=6
hostname=192.168.2.162
[mysqld]
nodeid=7
hostname=192.168.2.164
展开
mysql 1100_mysql数据库选择,有1100个用户,每个用户每月生成一张表,使用中该表内每秒上传一条数据,数据量很大...相关推荐
- php上传查询excel到mysql_PHP上传Excel文件导入数据到MySQL数据库示例
PHP上传Excel文件导入数据到MySQL数据库示例2020-06-20 00:34:11 最近在做Excel文件导入数据到数据库.网站如果想支持批量插入数据,可以制作一个上传Excel文件,导入里 ...
- 解决mysql导入数据量很大导致失败及查找my.ini 位置(my.ini)在哪
数据库数据量很大的数据库导入到本地时,会等很久,然而等很久之后还是显示失败: 这是就要看看自己本地的没mysql是否设置了超时等待,如果报相关time_out这些,可以把mysql.ini尾部添加ma ...
- mysql my.ini位置错误_解决mysql导入数据量很大导致失败及查找my.ini 位置(my.ini)在哪...
数据库数据量很大的数据库导入到本地时,会等很久,然而等很久之后还是显示失败: 这是就要看看自己本地的没mysql是否设置了超时等待,如果报相关time_out这些,可以把mysql.ini尾部添加ma ...
- laravel-admin / Dcat admin 上传Excel并导入数据到数据库
准备工作 安装maatwebsite/excel composer require maatwebsite/excel laravel-admin 效果图 创建按钮 $grid->tools(f ...
- NCBI数据库—上传16S rRNA测序数据
NCBI上传16S rRNA测序数据 1.登陆NCBI官网 NCBI官网链接 2.选择上传序列类型 上传16S rRNA测序数据,直接选16S rRNA就可以,然后弹出上传数据集的类型,选择SRA 3 ...
- php 上传excel到mysql_PHP上传Excel文件导入数据到MySQL数据库示例
最近在做Excel文件导入数据到数据库.网站如果想支持批量插入数据,可以制作一个上传Excel文件,导入里面的数据内容到MySQL数据库的小程序. 要用到的工具: ThinkPHP:轻量级国产PHP开 ...
- asp.net C# 实现上传Excel文件导入数据到SQL Server 数据库
前台代码,有点简单: <html xmlns="http://www.w3.org/1999/xhtml"> <head runat="server&q ...
- mysql临时表如何分页查询慢_数据量很大,分页查询很慢,怎么优化?
作者:悠悠i,来源: http://uee.me/aVSnD 当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明显,这时需要使用分页查询.对于数据库分 ...
- MySQL优化:数据量很大,分页查询很慢,有什么优化方案?
准备工作 一般分页查询 使用子查询优化 使用 id 限定优化 使用临时表优化 关于数据表的id说明 当需要从数据库查询的表有上万条记录的时候,一次性查询所有结果会变得很慢,特别是随着数据量的增加特别明 ...
最新文章
- 性能测试学习过程中遇到的问题与解答1
- LeetCode: 38. Count and Say
- 祝博客园里的所有朋友 新年快乐!
- php unlike,PHP结合jQuery实现的评论顶、踩功能
- 2018年东北农业大学春季校赛 F wyh的集合【思维】
- 如何用PPT编制方案 (5)PPT中的文字设计
- 搭建CentOS7.6容器镜像
- MyBatis Criteria使用 OffsetLimitInterceptor.java分页报错
- fseek linux 大文件_上传大文件
- Lambda演算与科里化(Currying)
- 将AD原理图文件和PCB文件转换为KiCad格式的方法
- 阳光牧场助手 阳光牧场外挂
- 用户旅程图进阶:实操与模板
- mysql 查询开始时间和结束时间是一个月的数据sql
- 《Towards Conversational Recommendation over Multi-Type Dialogs》解读,融合多个对话类型的对话式推荐
- el-tree修改前面箭头图标
- SQL 存储过程 超市小票打印
- java git_Java 实战开发之git环境安装(三)
- IDEA使用Git远程推送出现push to origin/master was rejected错误解决方案
- 基于51单片机8音键电子琴仿真设计原理图