一、什么是报表自动化

日常业务部门在出报告的过程中经常会涉及到大量的手工操作，为了减少工作量，把一些重复性的工作交给程序处理，将这部分人工操作的工作通过工具或者代码替代的过程成为报表自动化。

二、报表自动化的适合条件

并不是所有内容都适合用报表自动化，在数据化运营实践中，日报，周报，这种频率性很强的东西，就需要自动化；而那些不同活动的效果数据，每次都不一样，这样的做自动化就没有太大意义。

三、如何实现报表自动化

我们以实际业务场景来举例，比如销售大区长想要知道他所管辖内每天新车、二手车销量中，每款车型、车系、车型的日销量以及累计销量是多少时，业务运营人员就需要每天通过去系统取数、整理、并进行透视计算才能完成所需数据的规整，而其实通过工具或者程序，就可以比较快速的实现报表自动化，并通过邮件的方式将销量日报发送到大区长邮箱中，本篇我们将通过Kettle、Python等工具来具体介绍该简单例子的实现方式。无论是Kettle 还是 python实现报表自动化的思路大致如下：

第一步：梳理工作流程，从数据获取开始，到最后将报告交付出去，包括数据源获取、整合源数据，制作成所需的报表；将报表通过邮件发送出去。

第二步：报表自动化可以分成两个模块：模块一：报表制作模块，负责整合源数据，生成最终的报告数据；模块二：邮件发送模块，负责将报表通过邮件发送出去。模块三：定时触发模块，负责定时开启工具或运行脚本程序，实现前两个模块自动

第三步：通过工具或程序进行自动化过程实现，将第二步的三个模块集成到代码或工具作业中，代替业务人员的手工操作。

四、Kettle报表自动化

简单介绍下kettle，Kettle是一款国外开源的ETL工具，Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。那如何通过kettle实现邮件发送销量日报呢，包括三个部分：

1、转换：准备统计数据输入与报表输出

2、作业：发送邮件

3、计划任务：定时执行作业

流程详解：

1、转换：准备统计数据输入与报表输出

(1)表输入-执行数据库查询结果输入

(2)Microsoft Excel输出 将查询结果输出到指定路径

2、作业：发送邮件

(1)收发邮件、服务器、附件配置

(2)搭建作业(Job)

3、计划任务：定时执行作业

至此,流程说明完毕.结果如下：

四、Python报表自动化

同样，我们使用Python也可以实现以上操作，那如何通过Python实现邮件发送销量日报呢，也包括三个部分：

1、数据获取与报表输出

2、发送邮件

3、计划任务：定时执行脚本程序

流程详解：

1、数据获取与报表输出

#导入包

import pymysql

import pandas as pd

import numpy as np

# 连接数据库

conn = pymysql.connect(

host="rm-wz9bop3ly3b9nh2l1jo.mysql.rds.aliyuncs.com", user="xxdata", passwd="data*****",

db="ads", port=3306,charset="utf8")

print("连接成功")

# 创建游标对象

cursor = conn.cursor()

# 梳理业务数据逻辑

sql ="SELECT DATE(NOW()) AS '统计日期' ,t4.*,t5.累计销量 FROM (SELECT FClassify AS '车辆分类',FBrand AS'品牌',series AS '品名',FModel AS '车型',FCarGuidPrice AS '指导价',count(FContract) AS '销量' FROM (SELECT * FROM (SELECT FContract,FClassify,FBrand,series,SUBSTR(FModel,1,IF(LOCATE('、',FModel)=0,100,LOCATE('、',FModel))-1) AS FModel FROM ads_car_return WHERE LEFT(FContractTime,10)=date_add(curdate(), interval -1 day)) t1 LEFT JOIN (SELECT FContract, SUBSTR(car_model,1,IF(LOCATE('、',car_model)=0,100,LOCATE('、',car_model))-1) car_model,FCarGuidPrice FROM ads_finance_lease_big_screen_detail2)t2 USING(FContract))t3 GROUP BY FClassify,series,SUBSTR(FModel,1,IF(LOCATE('、',FModel)=0,100,LOCATE('、',FModel))-1) )t4 LEFT JOIN(SELECT FClassify AS '车辆分类',series AS '品名',SUBSTR(FModel,1,IF(LOCATE('、',FModel)=0,100,LOCATE('、',FModel))-1) AS '车型',count(FContract) AS '累计销量' FROM ads_car_return WHERE FContractTime > '2020-11-25' GROUP BY FClassify,series,SUBSTR(FModel,1,IF(LOCATE('、',FModel)=0,100,LOCATE('、',FModel))-1) )t5 ON t4.车辆分类=t5.车辆分类 AND t4.品名=t5.品名 AND t4.车型 = t5.车型 ORDER BY 车辆分类 DESC,销量 DESC;"

# 使用execute()方法执行SQL代码

cursor.execute(sql)

results=cursor.fetchall()

cols = cursor.description

# 解决mysql直接导出结果无列明的问题，先创建一个空列表以存放列名

col = []

for v in cols:

col.append(v[0])

dfsql = pd.DataFrame(list(results),columns=col)

if dfsql.empty:

print('empty set')

else:

display(dfsql)

# 将数据保存至本地

dfsql.to_excel(r'C:\Users\86186\Desktop\data-integration\文件转换\结果数据\每日销量数据.xlsx')

# 关闭数据库连接

cur.close()

2、发送邮件

# 通过企业阿里邮箱发件

import smtplib

from email.mime.multipart import MIMEMultipart

from email.mime.text import MIMEText

from email.header import Header

from email.mime.application import MIMEApplication

smtpserver = 'xx@xxfqc.com' #发件人邮箱地址

username = 'xx@xxfqc.com' #发件人邮箱地址

password ='****************' #发件人邮箱密码

sender ='xx@xxfqc.com' #发件人邮箱地址

receiver = 'xx@qq.com'

#设置邮件主题

subject = 'Python自动化邮件测试'

msg = MIMEMultipart('mixed')

msg['Subject'] = subject

msg['From'] = ''

msg['To'] = ";".join(receiver)

#添加邮件正文

text = "Dears:\n附件请查收，有问题联系，谢谢！\n\nName"

text_plain = MIMEText(text,'plain', 'utf-8')

msg.attach(text_plain)

#添加邮件正文

text = "Dears:\n附件请查收，有问题联系，谢谢！\n\nNAME"

text_plain = MIMEText(text,'plain', 'utf-8')

msg.attach(text_plain)

#添加附件

excelFile = r'C:\Users\86186\Desktop\data-integration\文件转换\结果数据\融租每日销量数据.xlsx' #附件所在位置

excelApart = MIMEApplication(open(excelFile, 'rb').read(), _subtype='base64',_charset='utf-8')

excelApart.add_header('Content-Disposition', 'attachment', filename='mothsales') #filename用附件名称代替

msg.attach(excelApart)

#发送邮件

smtp = smtplib.SMTP()

smtp.connect('smtp.xxfqc.com')#替换成自己的邮件服务器

print('链接成功')

smtp.login(username, password)

print('登录成功')

smtp.sendmail(sender, receiver, msg.as_string())

print('邮件发送成功')

smtp.quit()

3、计划任务：定时执行脚本程序

与上述操作步骤3类似，不过多介绍，结果如下：