python解析mdf或mf4文件利器---asammdf

安装

pip install asammdf

解析

1.读取文件，获取信号

from asammdf import MDFf = r"xxx.mdf"
mdf = MDF(f)
signal = mdf.get('信号名')
data = signal.samples
timestamps = signal.timestamps

如果对mdf的格式不熟悉，可以百度下资料，本文主要介绍asammdf的使用。

2. 获取所有信号名及其索引

chn_db = mdf.channels_db

3. mdf转成dataframe

#代码接上
df = mdf.to_dataframe()

这个方法有个坑，canape采集数据允许不同信号不同频率，也就是说数据对不齐，这种情况下调这个方法会导致爆内存，所以使用时应该注意一下，如果转换时间过长，或者报错，多数是信号采集频率不同，如果事先就已经知道频率不同，只能用get方法获取单个信号，然后分析，或者用后面讲到的方法先进行数据对齐（重采样），然后在进行转换。

4.获取channelgroup和chnannel

mdf文件一般是用channel和channel group组织的，一个文件可能包含多个chnannel group，一个channel group也可以包含多个channel，channel和signal一一对应，channel保存了一些描述信息，数据和时间戳保存在signal里，asammdf里提供了几个方法来获取信息，下面是一段从源码里摘取的一段

for group_index, (virtual_group_index, virtual_group) in enumerate(mdf_ins.virtual_groups.items()):if virtual_group.cycles_nr == 0 and empty_channels == "skip":continuechannels = [(None, gp_index, ch_index)for gp_index, channel_indexes in mdf_ins.included_channels(virtual_group_index)[virtual_group_index].items()for ch_index in channel_indexesif ch_index != mdf_ins.masters_db.get(gp_index, None)]

从中可以看出，我们可以通过mdf.virtual_groups获取到全部的channel group，virtual_groups是一个字典，所以可以通过items方法遍历，然后通过mdf.included_channels(virtual_group_index)方法获取到当前channel group下包含的channels，这里我们注意到，他获取的channels是一个元组列表，第一个都是None,第二个和第三个分别是channel group的index和channel的index，再看mdf.get()方法的参数其实有很多，前三个是signal name，group index，channel index，其实就是列表元组的三个，因为channel group、channel是一个二维结构，所以，其实可以不用信号名来获取信号，也可以通过group index，和channel index，然后第一个参数传None，同时，不同通道组中的通道名字可能相同，所以这时，如果仅仅传信号名，代码会报错，因为它不知道你取得哪个组里的信号，所以这时候就需要传group index和channel index，但是如果一开始就用索引就不会，因为这两个索引会唯一确定一个信号。

5.获取一部分信号数据

基于上段的通道列表，我们就可以用mdf.select方法筛选出我们需要的信号，信号和通道是一一对应关系，我们可以把这两个东西当成一个东西理解，只不过两种数据结构存的数据不一样，所以这里大家不要混淆或者蒙圈。上面获取的其实是全部的信号，其实也可以是部分。

            old_signals = [signalfor signal in mdf_ins.select(channels, raw=True, copy_master=False, validate=False)]

mdf.select返回的是信号列表，而不是包含这些信号的mdf实列，mdf.filter()返回的是mdf实列，这里需要注意下，还有那个raw参数，虽然它这里用的True，但是，一般我们要设置为False，特别是自己处理数据的时候，因为设置成True会导致读出的数据错误，它之所以有这个参数，我怀疑是为了兼容一些数据格式，而不是为了数据准确性。

6. 数据合并

MDF类里有个静态方法concatenate，用于多个文件的合并。

from asammdf import MDF
mdf1 = MDF(r"f1.mf4")
mdf2 = MDF(r"f2.mf4")mdf = MDF.concatenate([mdf1,mdf2])

concatenate是一个静态方法，可以用类直接调用，这个方法用于两个group和channel都一样的文件进行连接，即纵向连接。不支持包含不同信号的数据进行横向拼接。

7. 数据过滤

mdf.filter(channels)，这个上文已经提到，它返回的是包含指定信号的mdf实例，而不是信号列表。

8. 数据导出

asammdf支持把mdf转成其它格式，比如csv，hdf5，mat，parquet。

mdf.export(format,filename)

9. 数据绘图

asammdf支持用信号数据绘图，下面是官方示例

# map signals
xs = np.linspace(-1, 1, 50)
ys = np.linspace(-1, 1, 50)
X, Y = np.meshgrid(xs, ys)
vals = np.linspace(0, 180.0 / np.pi, 100)
phi = np.ones((len(vals), 50, 50), dtype=np.float64)
for i, val in enumerate(vals):phi[i] *= val
R = 1 - np.sqrt(X**2 + Y**2)
samples = np.cos(2 * np.pi * X + phi) * Rtimestamps = np.arange(0, 2, 0.02)s_map = Signal(samples=samples, timestamps=timestamps, name="Variable Map Signal", unit="dB"
)
s_map.plot()

我们看到plot方法是挂在Signal上的，所以，我们用mdf.get('signame')获取到一个信号，也可以直接绘图，值得注意的是，信号是支持直接计算的，再看一个官方的例子

import numpy as npfrom asammdf import Signal# create 3 Signal objects with different time stamps# unit8 with 100ms time raster
timestamps = np.array([0.1 * t for t in range(5)], dtype=np.float32)
s_uint8 = Signal(samples=np.array([t for t in range(5)], dtype=np.uint8),timestamps=timestamps,name="Uint8_Signal",unit="u1",
)# int32 with 50ms time raster
timestamps = np.array([0.05 * t for t in range(10)], dtype=np.float32)
s_int32 = Signal(samples=np.array(list(range(-500, 500, 100)), dtype=np.int32),timestamps=timestamps,name="Int32_Signal",unit="i4",
)# float64 with 300ms time raster
timestamps = np.array([0.3 * t for t in range(3)], dtype=np.float32)
s_float64 = Signal(samples=np.array(list(range(2000, -1000, -1000)), dtype=np.int32),timestamps=timestamps,name="Float64_Signal",unit="f8",
)prod = s_float64 * s_uint8
prod.name = "Uint8_Signal * Float64_Signal"
prod.unit = "*"
prod.plot()pow2 = s_uint8**2
pow2.name = "Uint8_Signal ^ 2"
pow2.unit = "u1^2"
pow2.plot()allsum = s_uint8 + s_int32 + s_float64
allsum.name = "Uint8_Signal + Int32_Signal + Float64_Signal"
allsum.unit = "+"
allsum.plot()# inplace operations
pow2 *= -1
pow2.name = "- Uint8_Signal ^ 2"
pow2.plot()# cut signal
s_int32.plot()
cut_signal = s_int32.cut(start=0.2, stop=0.35)
cut_signal.plot()

我们可以看到，信号是可以相乘，相加，平方操作的，操作返回应该还是信号类型，因为后面我们看到它调用了plot方法，这个方法是挂在Signal上面的。

10.数据重采样

canape支持不同信号的采集频率不同，如果不同信号数据量不同，也就是说数据不对齐，这样在转成dataframe的时候就会爆内存，再比如频率如果过高的话，数据量必然特别大，这样的话也不利于分析，这时就需要我们对数据进行重新采样。asammdf有个resample方法。下面是个例子

from asammdf import MDF
from utils import get_lines_from_txt
f = r"C:\Users\c-master1\Desktop\下载\AnalysisTools\YIQI_2022-08-06_14-37-50.mf4"
f1 = r"C:\Users\c-master1\Downloads\2022-11-21_16-59-29.mf4"
f2 = r"C:\Users\c-master1\Downloads\Recorder_2022-11-17_14-55-00.MDF"
clist_f = r"C:\Users\c-master1\Downloads\数据分析用信号列表(2)(2).txt"channel_list = ['ABV_Ki_Out','ACsurge_Flag_b','csABPV_posVlv_perc']
channel_list = get_lines_from_txt(clist_f)
mdf = MDF(f2)
mdf = mdf.filter(channel_list)
signals = mdf.select(channel_list)
max = 0
name = ""
for sig in signals:if len(sig.samples) > max:max = len(sig.samples)name = sig.name
mdf1 = mdf.resample(raster=name)
df1 = mdf1.to_dataframe()
df1

resample方法支持按某个信号进行重采样，即所有其它信号按这个信号对齐，也支持手动写个频率，比如0.1就是0.1秒一个数据，还支持传一个数组，采集指定时间点的数据，进行重采样后数据就对齐了，这时就可以转成dataframe了，对于升采样，有个需要注意的问题，一般mf4保存的是数字，当然也可以是字符串，对于数值型数据，主要分两种，也就是整数和小数，也叫整型和浮点型，在asammdf中，对于整数和小数的默认重采样策略是不同的，整数的话默认是重复之前的值，而对于浮点型也就是小数的话，默认是线性插值，所以，有的时候你会发现重采样后数据好像被改了，其实就是线性插值导致的，如果想改变默认行为，可以用

mdf.configure(float_interpolation=0,integer_interpolation=0)

来改变，其中mdf是MDF的实例，针对浮点型，asammdf支持两种重采样策略，一种是重复之前的值，一种就是线性插值，对于整型，提供了三种策略，前面两种和浮点型一样，还有一种混合策略，就是结合重复前值和线性插值的特点，具体没有试过。还有一个坑需要注意，就是表面上我们看到数据里存的是整数，但是它的类型是Double的，这种asammdf也会把它当浮点型处理，因为它只按数据类型处理，不管你存的具体数据到底是整数还是小数。

mdf/mf4文件创建

1. mdf支持从零创建mdf/mf4文件，下面是官方示例

# -*- coding: utf-8 -*-
"""
*asammdf* MDF usage example
"""
import numpy as npfrom asammdf import MDF, Signal# create 3 Signal objectstimestamps = np.array([0.1, 0.2, 0.3, 0.4, 0.5], dtype=np.float32)# unit8
s_uint8 = Signal(samples=np.array([0, 1, 2, 3, 4], dtype=np.uint8),timestamps=timestamps,name="Uint8_Signal",unit="u1",
)
# int32
s_int32 = Signal(samples=np.array([-20, -10, 0, 10, 20], dtype=np.int32),timestamps=timestamps,name="Int32_Signal",unit="i4",
)# float64
s_float64 = Signal(samples=np.array([-20, -10, 0, 10, 20], dtype=np.float64),timestamps=timestamps,name="Float64_Signal",unit="f8",
)# create empty MDf version 4.00 file
with MDF(version="4.10") as mdf4:# append the 3 signals to the new filesignals = [s_uint8, s_int32, s_float64]mdf4.append(signals, comment="Created by Python")# save new filemdf4.save("my_new_file.mf4", overwrite=True)# convert new file to mdf version 3.10mdf3 = mdf4.convert(version="3.10")print(mdf3.version)# get the float signalsig = mdf3.get("Float64_Signal")print(sig)# cut measurement from 0.3s to end of measurementmdf4_cut = mdf4.cut(start=0.3)mdf4_cut.get("Float64_Signal").plot()# cut measurement from start of measurement to 0.4smdf4_cut = mdf4.cut(stop=0.45)mdf4_cut.get("Float64_Signal").plot()# filter some signals from the filemdf4 = mdf4.filter(["Int32_Signal", "Uint8_Signal"])# save using zipped transpose deflate blocksmdf4.save("out.mf4", compression=2, overwrite=True)

当然，从官方的示例中还可以获得一些其它信息，比如，文件的裁剪，mdf.cut(**args)方法.

2. 也支持从dataframe创建

import pandas as pd
import numpy as npdf = pd.DataFrame({'a': np.arrange(10),'b': np.arrange(10),'c': np.arrange(10),
})
mdf_f = MDF()
mdf_f.append(df)
mdf_f.save("xx.mf4",overwrite=True)

最后

asammdf其实还有一个gui工具，用pip install asammdf[gui]命令即可安装，图形界面实现了一些canape的功能，感觉还是很强大的，感兴趣的可以用下试试。

python解析mdf或mf4文件利器---asammdf相关推荐

python 读取文件读出来是什么格式-深入学习python解析并读取PDF文件内容的方法...
这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...
python中读取文件内容-深入学习python解析并读取PDF文件内容的方法
这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...
python读取pdf文件_深入学习python解析并读取PDF文件内容的方法
这篇文章主要学习了python解析并读取PDF文件内容的方法,包括对学习库的应用,python2.7和python3.6中python解析PDF文件内容库的更新,包括对pdfminer库的详细解释和应 ...
python解析佳明fit文件
使用 fitparse 解析佳明 fit 文件以下示例测试环境为: python 3.8 fitparse 1.2 fitparse 安装 pip3 install fitparse 使用方式 i ...
python解析并读取PDF文件：函数总结
目录 1.PyPDF2 2. pdfminer & pdfminer3k 3. pdfplumber 4. Camelot 虽然PDF文件对文本布局非常好,容易打印并阅读,但软件要将它们解析为 ...
Python解析DBLP的xml文件
DBLP是一个应用广泛的科研论文数据集,发布形式为xml格式.地址为http://dblp.org/xml/. 使用Python语言编程提取数据集中的如下信息: Author,Title,Journa ...
xml文件拆分 python_使用Python解析大型拆分XML文件
我有一个非常大的XML日志文件,它以固定大小(约200MB)自动拆分.可能有很多部分(通常少于10个).当它拆分时,它不会在记录的末尾或者甚至在当前行的末尾进行拆分.它只要达到目标尺寸就会裂开.在基 ...
Python解析VOC数据标签文件
导读在目标检测数据集中我们经常会使用到VOC格式的数据,这篇文章就向大家介绍一下如何来解析xml标签文件的数据 xml数据 <annotation><folder>/root ...
python解析通达信day文件，生成csv文件，期货历史回测
import os import struct import datetime# 读取通达信.day文件,并生成对应名称的csv文件 def stock_csv(filepath, name, tar ...

python解析mdf或mf4文件利器---asammdf

安装

解析

mdf/mf4文件创建

最后

python解析mdf或mf4文件利器---asammdf相关推荐

最新文章

热门文章