JSP访问Hadoop 图片存储服务

使用hadoop的hdfs来存放图片文件.以下是整个架构思路:

使用hadoop作为分布式文件系统，hadoop是一个实现了HDFS文件系统和MapReduce的开源项目，我们这里只是

使用了它的hdfs.首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中，hadoop可以设定备份

数，这样在hadoop系统中某个datanode死掉并不会造成图片不可能，系统会从其他datanode上拿到数据。以下我们编写的一个hadoop的java的访问封装类:

import java.io.File;
import java.io.IOException;
import java.io.InputStream;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.Logger;

public class HadoopFileUtil {
static Logger logger = Logger.getLogger(HadoopFileUtil.class);
/**
* @param args
*/
public static void main(String[] args) {

   String src=args[0];
   String dst=args[1];
   String tag=args[2];
   HadoopFileUtil util=new HadoopFileUtil();
   if(tag!=null&&tag.equals("1")){
    System.out.println(util.createFile(src, dst));
   }
   else{
    util.deleteFile(dst);
   }

}

/**
* 拷贝一个本地文件到hadoop里面
* @param localFile 本地文件和路径名
* @param hadoopFile hadoop文件和路径名
* @return
*/
public boolean createFile(String localFile,String hadoopFile){
  try {
   Configuration conf=new Configuration();
   FileSystem src=FileSystem.getLocal(conf);
   FileSystem dst= FileSystem.get(conf);
   Path srcpath = new Path(localFile);
   Path dstpath = new Path(hadoopFile);
   FileUtil.copy(src, srcpath, dst, dstpath,false,conf);
  } catch (Exception e) {
   e.printStackTrace();
   return false;
  }

return true;
}

/**将一个流作为输入，生成一个hadoop里面的文件
* @param inStream 输入流
* @param hadoopFile hadoop路径及文件名字
* @return
*/
public boolean createFileByInputStream(InputStream inStream,String hadoopFile){
  try {
   Configuration conf=new Configuration();
   FileSystem dst= FileSystem.get(conf);
   Path dstpath = new Path(hadoopFile);
   FSDataOutputStream oStream=dst.create(dstpath);
   byte[] buffer = new byte[400];
   int length = 0;
   while((length = inStream.read(buffer))>0){
    oStream.write(buffer,0,length);
   }
   oStream.flush();
   oStream.close();
   inStream.close();
  } catch (Exception e) {
   e.printStackTrace();
   return false;
  }
  return true;
}
/**
* 删除hadoop里面的一个文件
* @param hadoopFile
* @return
*/
public boolean deleteFile(String hadoopFile){
  try {
   Configuration conf=new Configuration();
   FileSystem dst= FileSystem.get(conf);
   FileUtil.fullyDelete(dst,new Path(hadoopFile));
  } catch (Exception e) {
   e.printStackTrace();
   return false;
  }

  return true;
}
/**
* 从hadoop中读取一个文件流
* @param hadoopFile
* @return
*/
public FSDataInputStream getInputStream(String hadoopFile){
  FSDataInputStream iStream=null;
  try {
   Configuration conf=new Configuration();
   FileSystem dst= FileSystem.get(conf);
   Path p=new Path(hadoopFile);
   iStream=dst.open(p);
  } catch (Exception e) {
   e.printStackTrace();
   logger.error("getInputStream error:", e);
  }
  return iStream;
}

}
通过调用这个类可以将图片存入hadoop 系统.

当需要访问某个图片时，先访问jsp服务器(如:tomcat)的一个servlet，这个servlet从hadoop里面读出图片，并

返回给浏览器.以下是我们的servlet:
import java.io.IOException;
import java.io.OutputStream;
import java.io.PrintWriter;

import javax.servlet.ServletException;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.io.IOUtils;
import org.apache.log4j.Logger;

import com.tixa.dfs.hadoop.util.HadoopFileUtil;

public class HadoopServlet extends javax.servlet.http.HttpServlet implements javax.servlet.Servlet {
static Logger logger = Logger.getLogger(HadoopServlet.class);

public void doGet(HttpServletRequest req, HttpServletResponse res) throws ServletException, IOException{

PrintWriter out=res.getWriter();
  res.setContentType("image/jpeg");
  java.util.Date date = new java.util.Date();
  res.setDateHeader("Expires",date.getTime()+1000*60*60*24);
  String path=req.getPathInfo();
  path=path.substring(1,path.length());
  HadoopFileUtil hUtil=new HadoopFileUtil();
  FSDataInputStream inputStream=hUtil.getInputStream(path);
  OutputStream os = res.getOutputStream();

  byte[] buffer = new byte[400];
  int length = 0;
  while((length = inputStream.read(buffer))>0){
     os.write(buffer,0,length);
  }
  os.flush();
  os.close();
  inputStream.close();
}

}
另外，为了避免对hadoop的频繁读取，可以再jsp服务器前放一个squid进行对图片的缓存。

这就是我们图片服务器的架构.

JSP访问Hadoop 图片存储服务相关推荐

Amazon EMR（Elastic MapReduce）：亚马逊Hadoop托管服务运行架构Hadoop云服务之战：微软vs.亚马逊...
http://s3tools.org/s3cmd Amazon Elastic MapReduce (Amazon EMR)简介 Amazon Elastic MapReduce (Amazon EM ...
JSP访问数据库，Session对象和九大内置对象
文章目录 JSP访问数据库 Session对象 JSP九大内置对象 JSP访问数据库 JSP就是在HTML中嵌套的java代码,因此java代码可以卸载JSP中(<% - %>) 导包操作 ...
互联网公司高并发图片存储服务架构设计一
非常感谢http://blog.csdn.net/lizhitao/article/details/9323137 高并发图片存储服务架构技术学习 https://www.itkc8.com 互联网公 ...
使用 HDFS 协议访问对象存储服务
背景介绍原生对象存储服务的索引是扁平化的组织形式,在传统文件语义下的 List 和 Rename 操作性能表现上存在短板.腾讯云对象存储服务 COS 通过元数据加速功能,为上层计算业务提供了等效于 ...
《工具箱-内网穿透》FRP内网穿透(实现外网访问内网服务)
FRP内网穿透一.环境: 内网服务器 Centos 外网服务器 Centos 模拟场景:使用虚拟机安装Centos系统模拟内网服务器,外网服务器是正常使用云服务器适用于:Company内部有自己的 ...
mac for docker访问宿主机服务
pod访问mac主机网络 Docker For Mac的Docker Daemon是运行于虚拟机(xhyve)中的, 而不是像Linux上那样作为进程运行于宿主机,因此Docker For Mac没有 ...
Istio如何使用相同的端口访问网格外服务
1.1.背景写这篇文章的目的是为了说明以下问题:如何使用TCP协议相同的端口访问网格外多个服务? 这是最近直播的时候有一个同学提出的,当时我没有完全明白,"访问多集群" 的意思. ...
SAP UI5 初学者教程之二十五 - 使用代理服务器解决 SAP UI5 应用访问远端 OData 服务的跨域问题试读版
一套适合 SAP UI5 初学者循序渐进的学习教程教程目录 SAP UI5 本地开发环境的搭建 SAP UI5 初学者教程之一:Hello World SAP UI5 初学者教程之二:SAP UI5 ...
如何在jsp页面中连接mysql数据库_如何使用JSP访问MySQL数据库
如何使用JSP访问MySQL数据库更新时间:2006年10月13日 00:00:00 作者: import ="java.util.*" import ="java ...

JSP访问Hadoop 图片存储服务

JSP访问Hadoop 图片存储服务相关推荐

最新文章

热门文章