【flume】flume读取web应用某个文件夹下日志到hdfs

简介

这里主要是做这个实验遇到的问题以及解决方法
问题：java.lang.OutOfMemoryError: GC overhead limit exceeded

###1.准备工作
我本来想用已经写过的一个项目，那个项目是springboot写的，里面有log4j轮转日志，把日志写到一个文件夹里，我想的是flume把这些日志读取到hdfs上和hbase中，但是部署错误，因此我想个方法，本地建立一个文件夹，手动往里面放一些有格式的数据文件。
文件内容如下

字段| hotel  |         |         || h_id   | id  |
|        | h_region  | 旅馆行政区划  |
|        | h_hname  | 旅馆名称    |
|        | h_address  | 旅馆地址    |
|        | h_uname  | 姓名      |
|        | h_code  | 证件号码    |
|        | h_start  | 开房时间    |
|        | h_end  | 退房时间    |
|        | h_start  | 开房时间时间戳    |
|        | h_end  | 退房时间时间戳    |
|        | h_homecode | 入住房号    |数据样式1,2,宾馆642,杭州市下城

【flume】flume读取web应用某个文件夹下日志到hdfs相关推荐

Android读取asserts和raw文件夹下的文件
Android读取asserts和raw文件夹下的文件经常需要用到读取"/res/raw"和"/asserts"文件夹下的文件,索性写成工具类方便以后使用. ...
linux web放在哪个文件夹下,Linux中的Web应用程序应该放在哪里？
以下是Linux发行版的文件结构示例: https://www.centos.org/docs/5/html/Deployment_Guide-en-US/s1-filesystem-fhs.html ...
java读取文件夹下的所有txt文件,java读取文件夹下文件及txt内容
public class PositionController { // 读取txt内容 public static String txt2String(File file) { StringBuil ...
scp 保留文件属组_scp 对拷文件夹和文件夹下的所有文件对拷文件并重命名
对拷文件夹 (包括文件夹本身) scp -r /home/wwwroot/www/charts/util root@192.168.1.65:/home/wwwroot/limesurvey_ba ...
Excel记录指定文件夹下的所有文件名；批量解压压缩包，处理压缩包套压缩包问题；
10.20 发现一个问题: 当压缩包过大,文件条目超过1048576时,rarfile库中的代码已经不能解决这个压缩包了,需要加装unrar库(from unrar import rarfile)和u ...
Flume使用Spooling Directory Source采集文件夹数据到hdfs
一.需求说明 flume监控linux上一个目录(/home/flume_data)下进入的文件,并写入hdfs的相应目录下(hdfs://master:9000/flume/spool/%Y%m%d ...
Python读取文件夹下的所有文件，并获得文件中的2-10行的信息
参考博客链接: python 获取当前文件夹下所有文件名 - StrongYaYa - 博客园 https://www.cnblogs.com/strongYaYa/p/7200357.html im ...
Java循环读取文件夹下文件
import java.io.FileNotFoundException; import java.io.IOException; import java.io.File; public class ...
关于idea中新建web项目 webapp文件夹没有小蓝点，启动服务，访问不到解决方案
关于idea中新建web项目 webapp文件夹没有小蓝点 ,启动服务,访问不到解决方案参考文章: (1)关于idea中新建web项目 webapp文件夹没有小蓝点 ,启动服务,访问不到解决方案 ( ...

【flume】flume读取web应用某个文件夹下日志到hdfs

简介

【flume】flume读取web应用某个文件夹下日志到hdfs相关推荐

最新文章

热门文章