goudp文件传输服务器,golang实现ftp实时传输文件的案例
一、项目简介
本项目主要实现的功能是ftp客户端不断地将xml文件和jpg文件实时地上传到服务器,当然也可以是其他格式的文件。每当ftp客户端取到一个文件之后,将文件上传到服务器后,然后将其删除。
项目实现可配置,如果开发者有类似的需求,只需要修改配置文件就可以使用本项目去完成上传文件的功能。
本项目打日志是按照当天时间来生成日志文件,每天每一种类型的日志只打一个文件。
二、项目结构图片
三、项目代码
config配置中的代码
config.ini
[path]
xml_path = D:\\dian\\out\\ # xml文件所在的路径
img_path = D:\\dian\\out\\wave\\ # 图片文件所在路径
[ftp]
ftpfile_path = D:\\Itudou # 在服务器上的文件存储路径
ftp_server_ip = 192.168.56.1 # ftp服务器的IP
ftp_server_port = 21 # ftp服务器的端口
ftp_server_name = 20123762 # ftp服务器的用户名
ftp_server_pwd = 123456 # ftp服务器的密码
local_ip = 192.168.56.1 # 本地主机的IP
local_port = 80 #本地主机端口
comm_way = udp #ftp的通信方式
[file]
file_img =.jpg #文件后缀为img
file_xml =.xml #文件后缀为xml
log_print = ture #是否打日志,生产环境上不打日志,在调式程序的时候使用
读配置文件的代码
daos_config.go
package daosconfig
import (
"bufio"
"io"
"os"
"strings"
)
type Config struct {
Mymap map[string]string
strcet string
}
func (c *Config) InitConfig(path string) {
c.Mymap = make(map[string]string)
f, err := os.Open(path)
if err != nil {
panic(err)
}
defer f.Close()
r := bufio.NewReader(f)
for {
b, _, err := r.ReadLine()
if err != nil {
if err == io.EOF {
break
}
panic(err)
}
s := strings.TrimSpace(string(b))
if strings.Index(s, "#") == 0 {
continue
}
n1 := strings.Index(s, "[")
n2 := strings.LastIndex(s, "]")
if n1 > -1 && n2 > -1 && n2 > n1+1 {
c.strcet = strings.TrimSpace(s[n1+1 : n2])
continue
}
if len(c.strcet) == 0 {
continue
}
index := strings.Index(s, "=")
if index < 0 {
continue
}
frist := strings.TrimSpace(s[:index])
if len(frist) == 0 {
continue
}
second := strings.TrimSpace(s[index+1:])
pos := strings.Index(second, "\t#")
if pos > -1 {
second = second[0:pos]
}
pos = strings.Index(second, " #")
if pos > -1 {
second = second[0:pos]
}
pos = strings.Index(second, "\t//")
if pos > -1 {
second = second[0:pos]
}
pos = strings.Index(second, " //")
if pos > -1 {
second = second[0:pos]
}
if len(second) == 0 {
continue
}
key := c.strcet + "=" + frist
c.Mymap[key] = strings.TrimSpace(second)
}
}
func (c Config) Read(node, key string) string {
key = node + "=" + key
v, found := c.Mymap[key]
if !found {
return ""
}
return v
}
ftp上传文件核心代码
daos_ftp.go
package daosftp
import (
"fmt"
"net"
"os"
"strings"
ftp "github.com/ftp"
"io/ioutil"
"regexp"
"path/filepath"
cfg "bjdaos_tool/pkg/daosconfig"
"bjdaos_tool/pkg/env"
"bjdaos_tool/pkg/daoslog"
)
func getListDir(dirPth string) (files []string,files1 []string, err error) {
dir, err := ioutil.ReadDir(dirPth)
if err != nil {
return nil,nil, err
}
PthSep := string(os.PathSeparator)
for _, fi := range dir {
if fi.IsDir() {
files1 = append(files1, dirPth+PthSep+fi.Name())
getListDir(dirPth + PthSep + fi.Name())
}else{
files = append(files, dirPth+PthSep+fi.Name())
}
}
return files,files1, nil
}
func GetAllFileName(path string, str string) (int, []string ) {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
files, _, err := getListDir(path)
if err != nil {
daoslog.WriteLog(logPrint, "System","get file path err")
}
fileLen := len(files)
fileSlice := make([]string,0, fileLen)
suffix1 := ftpConfig.Read("file", "file_img")
suffix2 := ftpConfig.Read("file", "file_xml")
reg_front := regexp.MustCompile("\\d{8}")
reg_end := regexp.MustCompile("\\d{14}")
if str == suffix1{
for i := 0; i < fileLen; i++{
data_front := reg_front.FindString(files[i])
date_end := reg_end.FindString(files[i])
imgName := data_front + "_" + date_end + str
fileSlice = append(fileSlice, imgName)
}
}else if str == suffix2 {
for i := 0; i < fileLen; i++{
data_front := reg_front.FindString(files[i])
date_end := reg_end.FindString(files[i])
imgName := data_front + "_" + date_end + str
fileSlice = append(fileSlice, imgName)
}
}
return fileLen, fileSlice
}
func getLocalIpAddr() string {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
network := ftpConfig.Read("ftp", "comm_way")
ip := ftpConfig.Read("ftp", "local_ip")
port := ftpConfig.Read("ftp", "local_port")
address := ip + ":" + port
conn, err := net.Dial(network, address)
if err != nil {
daoslog.WriteLog(logPrint, "System", "get local ip address err")
return "127.0.0.1"
}
defer conn.Close()
return strings.Split(conn.LocalAddr().String(), ":")[0]
}
func ftpUploadFile(ftpserver, ftpuser, pw, localFile, remoteSavePath, saveName string) {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
ftpfile_path := ftpConfig.Read("ftp", "ftpfile_path")
ftp, err := ftp.Connect(ftpserver)
if err != nil {
daoslog.WriteLog(logPrint, "System", "connect err")
}
err = ftp.Login(ftpuser, pw)
if err != nil {
daoslog.WriteLog(logPrint, "System", "Login err")
}
ftp.ChangeDir(ftpfile_path)
dir, err := ftp.CurrentDir()
ftp.MakeDir(remoteSavePath)
ftp.ChangeDir(remoteSavePath)
dir, _ = ftp.CurrentDir()
daoslog.WriteLog(logPrint, "System", dir)
file, err := os.Open(localFile)
if err != nil {
daoslog.WriteLog(logPrint, "System", "Open err")
}
defer file.Close()
err = ftp.Stor(saveName, file)
if err != nil {
daoslog.WriteLog(logPrint, "System", "Stor err")
}
ftp.Logout()
ftp.Quit()
logcotent := fmt.Sprintf("%s:%s","success upload file",localFile)
daoslog.WriteLog(logPrint, "System", logcotent)
}
func RemoveFile(filePath string, fileName string){
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
err := os.Remove(filePath + fileName)
if err != nil {
daoslog.WriteLog("false", "System", "file remove err!")
} else {
logcotent := fmt.Sprintf("%s:%s","file remove OK!",fileName)
daoslog.WriteLog(logPrint, "System", logcotent)
}
}
func SendXmlFileToFtpServer(filePath string, fileType string) {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
flen, fileName := GetAllFileName(filePath, fileType)
serverIp := getLocalIpAddr()
ftpserverip := ftpConfig.Read("ftp", "ftp_server_ip")
ftpPort := ftpConfig.Read("ftp", "ftp_server_port")
ftpuser := ftpConfig.Read("ftp", "ftp_server_name")
pw := ftpConfig.Read("ftp", "ftp_server_pwd")
ftpserver := ftpserverip + ":" + ftpPort
filepath.Walk(filePath, func(path string, f os.FileInfo, err error) error {
if f == nil {
return err
}
if f.IsDir() {
return nil
}
for i := 0; i < flen; i++{
if f.Name() == fileName[i] {
logcotent := fmt.Sprintf("path=",path)
daoslog.WriteLog(logPrint, "System", logcotent)
pathFields := strings.Split(path, "\\")
var domainName string
if len(pathFields) > 3 {
domainName = pathFields[len(pathFields)-3]
}
ftpUploadFile(ftpserver, ftpuser, pw, path, domainName, serverIp+"_"+fileName[i])
RemoveFile(filePath, fileName[i])
}
}
return nil
})
}
func SendJpgFileToFtpServer(filePath string, fileType string) {
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
logPrint := ftpConfig.Read("file", "log_print")
flen, fileName := GetAllFileName(filePath, fileType)
serverIp := getLocalIpAddr()
ftpserverip := ftpConfig.Read("ftp", "ftp_server_ip")
ftpPort := ftpConfig.Read("ftp", "ftp_server_port")
ftpuser := ftpConfig.Read("ftp", "ftp_server_name")
pw := ftpConfig.Read("ftp", "ftp_server_pwd")
ftpserver := ftpserverip + ":" + ftpPort
filepath.Walk(filePath, func(path string, f os.FileInfo, err error) error {
if f == nil {
return err
}
if f.IsDir() {
return nil
}
for i := 0; i < flen; i++{
if f.Name() == fileName[i] {
logcotent := fmt.Sprintf("path=",path)
daoslog.WriteLog(logPrint, "System", logcotent)
pathFields := strings.Split(path, "\\")
var domainName string
if len(pathFields) > 3 {
domainName = pathFields[len(pathFields)-3]
}
ftpUploadFile(ftpserver, ftpuser, pw, path, domainName, serverIp+"_"+fileName[i])
RemoveFile(filePath, fileName[i])
}
}
return nil
})
}
打日志的代码
daos_log.go
package daoslog
import (
"fmt"
"log"
"os"
"github.com/golang/glog"
"time"
"bjdaos_tool/pkg/env"
)
func WriteLog(islog, logtype , errcontent string) {
if islog == "false" {
return
}
if logtype != "Info" && logtype!= "Debug" && logtype!= "Error" && logtype != "System" {
glog.Error("this is not a logtype ")
return
}
data := time.Now().Format("20060102")
logPath := env.GetConLogPath()
logFilea := logPath + "\\" + data+"_"+ logtype+".log"
errcontent = "[" +errcontent + "]"
logFile, err := os.OpenFile(logFilea, os.O_RDWR | os.O_CREATE, 0777)
if err != nil {
fmt.Printf("open file error=%s\r\n", err.Error())
os.Exit(-1)
}
logger := log.New(logFile, "{"+logtype+"} ", log.Ldate | log.Ltime | log.Lshortfile)
logger.Println(errcontent)
}
路径处理代码
daos-evn.go
package env
import (
"os"
"runtime"
)
var ostype = runtime.GOOS
func GetProjectPath() string{
var projectPath string
projectPath, _ = os.Getwd()
return projectPath
}
func GetConfigPath() string{
path := GetProjectPath()
if ostype == "windows"{
path = path + "\\" + "config\\"
}else if ostype == "linux"{
path = path +"/" + "config/"
}
return path
}
func GetConLogPath() string{
path := GetProjectPath()
if ostype == "windows"{
path = path + "\\log\\"
}else if ostype == "linux"{
path = path + "/log/"
}
return path
}
四、总结
主函数:
main.go
package main
import (
"bjdaos_tool/pkg/daosftp"
"bjdaos_tool/pkg/env"
cfg "bjdaos_tool/pkg/daosconfig"
)
func main(){
configPath := env.GetConfigPath()
ftpConfig := new(cfg.Config)
ftpConfig.InitConfig(configPath + "\\config.ini")
xml_path := ftpConfig.Read("path", "xml_path")
img_path := ftpConfig.Read("path", "img_path")
file_img := ftpConfig.Read("file", "file_img")
file_xml := ftpConfig.Read("file", "file_xml")
for{
daosftp.SendXmlFileToFtpServer(xml_path, file_xml)
daosftp.SendJpgFileToFtpServer(img_path, file_img)
}
}
本项目依赖包:
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。
goudp文件传输服务器,golang实现ftp实时传输文件的案例相关推荐
- golang实现ftp实时传输文件
一.项目简介 本项目主要实现的功能是ftp客户端不断地将xml文件和jpg文件实时地上传到服务器,当然也可以是其他格式的文件.每当ftp客户端取到一个文件之后,将文件上传到服务器后,然后将其删除.项目 ...
- java ftp 上传文件到服务器,java实现ftp上传文件到服务器
java实现ftp上传文件到服务器 内容精选 换一换 怎样上传文件到Windows操作系统云服务器?安装传输工具在本地主机和Windows云服务器上分别安装数据传输工具,将文件上传到云服务器.例如QQ ...
- 上传文件到服务器的命令,ftp上传文件到服务器命令
ftp上传文件到服务器命令 内容精选 换一换 本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务,将文件从本地上传到云服务器中.已在待上传文件的云服务器中搭建 FTP 服务.如果您的云服务 ...
- ios如何上传文件到服务器,ios通过ftp上传文件到服务器
ios通过ftp上传文件到服务器 内容精选 换一换 华为云帮助中心,为用户提供产品简介.价格说明.购买指南.用户指南.API参考.最佳实践.常见问题.视频帮助等技术文档,帮助您快速上手使用华为云服务. ...
- 实时传输文件到服务器,如何将数据实时上传到云服务器
如何将数据实时上传到云服务器 内容精选 换一换 华为云帮助中心,为用户提供产品简介.价格说明.购买指南.用户指南.API参考.最佳实践.常见问题.视频帮助等技术文档,帮助您快速上手使用华为云服务. 华 ...
- java通过ftp上传文件到服务器_java-通过FTP将文件传输到服务器,但结果以零...
我正在尝试使用FTPClient将文件上传到数据库服务器.它显示文件已成功传输,但是文件为空(大小为0字节). 以下是我用来构建的源代码.谁能解决这个问题? package Examples; imp ...
- 服务器拒绝发送文件怎么办,服务器拒绝了您发送离线文件
服务器拒绝了您发送离线文件 内容精选 换一换 夜晚或光线暗区域拍摄的图像存在人眼或机器"看不清"暗光区域的情况.针对此类场景,低光照增强可以将图像的暗光区域增强,使得原来人眼不可见 ...
- 游戏服务器为空请检查列表文件,游戏服务器为空请检查列表文件
游戏服务器为空请检查列表文件 内容精选 换一换 如果请求因错误导致未被处理,则会返回一条错误响应.错误响应中包括错误码和具体错误描述.表1列出了错误响应中的常见错误码. 为了对源端服务器进行迁移可行性 ...
- 文件在服务器中存储,如何发送音频文件在服务器中存储
我写这段代码发送一个文件到服务器: 路径=到文件要发送的绝对路径.其余的参数似乎不言自明. public static String sendFileToServer(String path, Str ...
最新文章
- bzoj1688[Usaco2005 Open]Disease Manangement 疾病管理*
- easy connect 获取服务端配置信息失败_安装配置mysql
- oracle0raD,在Radhat 5 上安装Oracle 10g(转)
- Java中集合(一)Collection 、ListE 、ArrayListE
- JAVA mysql存数组_JAVA数组怎么存放数据库的元素
- IOS多线程任务(综述篇)
- makefile从无到有
- 如何在 MacBook Pro 上调整显示设置?
- DM8达梦数据库:sql查询达梦数据库实例的详情
- 几何光学学习笔记(35)- 7.6 CIE标准色度学系统
- anchor译中文_anchor是什么意思中文翻译
- 速率法和终点法的区别_两点法、终点法、速率法
- 选择题汇总3(括号里填的答案都是对的,不用管下面那个答案正确与错误,因为作者懒得删了)
- Fiddler 和 Wireshark抓包教程合集
- 做为中层管理者的你,应该扮演什么角色
- Win11怎么共享文件夹?Win11创建共享文件夹的方法
- 什么是传递函数模型?
- 布隆过滤器 布谷鸟过滤器 Redis 安装布隆过滤器
- 移动端H5页面生成图片解决方案 1
- 记一次JVM故障排除