前面写了flume 将数据存入mysql，但是有个问题，就是配置文件中暴露了我的mysql 的地址和帐号密码。这个是很危险的事情。所以这里就对mysql 的配置信息进行简单加密处理。

加密我才用 base64 进行了加密处理，因为我怕麻烦所以就随便搞搞就好了。

正常内容加密的话，用aes＋base64，解密用md5验证内容完整性，就可以。需要的小伙伴可以试一下。

阅读本文请参照

flume 读取数据存入mysql（一）

本文目录：

1.加密测试类，生成密钥；
2.将密钥配置在flume的conf 中
3.修改mysql Sink的代码进行解密

加密测试类

 public static void main (String [] args){String pass="admin";pass=Base64.getEncoder().encodeToString((pass+",Unistacks").getBytes());String Dpass=new String(Base64.getDecoder().decode(pass));Dpass=Dpass.substring(0,Dpass.indexOf(","));System.out.println(pass+"---------"+Dpass);}

2.将密钥配置在flume的conf 中

agent1.sources = source1
agent1.sinks = mysqlSink
agent1.channels = channel1# Describe/configure source1
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -F /opt/apps/logs/tail.log
agent1.sources.source1.channels = channel1# Describe mysqlSink
agent1.sinks.mysqlSink.type =com.us.flume.MysqlSink
agent1.sinks.mysqlSink.hostname=localhost
agent1.sinks.mysqlSink.port=3306
agent1.sinks.mysqlSink.databaseName=sinktest
agent1.sinks.mysqlSink.tableName=mysqltest
agent1.sinks.mysqlSink.user=root
agent1.sinks.mysqlSink.password=YWRtaW4sVW5pc3RhY2tz
agent1.sinks.mysqlSink.channel = channel1# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 1000
agent1.channels.channel1.transactionCapactiy = 100

3.修改mysql Sink的代码进行解密

修改MysqlSink.java 类的52行为下面内容

password=new String(Base64.getDecoder().decode(context.getString("password")));password=password.substring(0,password.indexOf(","));

flume 数据存入mysql（二）对敏感信息加密相关推荐

python读取串口数据保存到mysql数据库_Python3读取Excel数据存入MySQL的方法
Python是数据分析的强大利器. 利用Python做数据分析,第一步就是学习如何读取日常工作中产生各种excel报表并存入数据中,方便后续数据处理. 这里向大家分享python3如何使用xlrd读取 ...
如何将数据存入mysql_怎样将数据存入mysql数据库
怎样将数据存入mysql数据库 mip版关注:231 答案:2 悬赏:80 解决时间 2021-01-18 14:57 已解决 2021-01-17 20:37 怎样将数据存入mysql数据库 ...
scrapy爬虫数据存入mysql数据库
上篇博客使用scrapy框架爬取豆瓣电影top250信息将各种信息通过json存在文件中,不过对数据的进一步使用显然放在数据库中更加方便,这里将数据存入mysql数据库以便以后利用. 运行环境: 1. ...
scrapy框架爬取Boss直聘，数据存入mysql
自从上次用了scrapy爬取豆瓣电影后,发现scrapy除了入门相对request较难外,各方面都挺好的,速度很快,还有各个功能模块,以及django类似的各种中间件组成一个完善的系统框架,需要一点一 ...
Python爬取股票数据存入mysql数据库，获取股票（最新、最高、今开、成交量、成交额、量比、换手率、涨幅等）支持多线程+数据库连接池
项目简介 (Python)爬虫 + MySQL + Redis项目. 爬取下来的数据可用于后续的数据分析(我计划将其用于我的毕业设计). 未来会将数据分析的可视化部署到服务器上, 并添加股票降价通知的 ...
scrapy mysql数据库_Python3学习系列（十三）：Scrapy将数据存入Mysql数据库
前言: 下面给大家介绍将下载的数据存入到Mysql数据库的用法,数据来源是Mooc的课程. 代码实现: items.py from scrapy import Item,Field class Moo ...
python将数据存入mysql数据库中_python3 两种方法将数据存入mysql数据库
方法一:(数据量小的时候推荐使用这种) 第一步:pip install mysqlclient 这里我没有报错也许你可能会报错Read timed out 此时不要慌,这是因为你的网络问题,你使 ...
web项目数据存入mysql数据库中文乱码问题
刚开始怀疑是项目中编码设置问题,发现在web.xml中已经有过设置:后来dubug显示数据在传输的过程中一切正常,怀疑是数据库编码问题,然后查看mysql编码: show variables like ...
python将数据存入数据库_python3 两种方法将数据存入mysql数据库
原博文 2017-09-22 18:25 − 方法一:(数据量小的时候推荐使用这种) 第一步:pip install mysqlclient 这里我没有报错也许你可能会报错Read timed ou ...

flume 数据存入mysql（二）对敏感信息加密

阅读本文请参照

加密测试类

2.将密钥配置在flume的conf 中

3.修改mysql Sink的代码进行解密

flume 数据存入mysql（二）对敏感信息加密相关推荐

最新文章

热门文章