嵌入式系统一次EMMC测试的体会及错误分析过程

环境配置

由于本次需要测试EMMC和内存，所以编写脚本如下：

#!/bin/sh
for i in {1..100}
doj=`expr $[i] % 10`if test $[j] -eq 0thenecho "-----------------emmc $i round of testing----------------------------"iozone -a -n 512m -g 4g -i 0 -i 1 -i 5 -f /mnt/iozone -Rb ./iozone${i}.xlssyncsleep 2s echo "-----------------emmc $i round of testing end---------------------------"sleep 300sfiecho "********`date +%T  ` memtester test " |tee -a  ./mem.logsleep 20smemtester 300M 1if [ $? -eq 0 ]thenecho "memtest sucsessed" | tee -a  ./mem.logelseecho "memtest failed" | tee -a  ./mem.logfiecho -e "`date +%T` ********************************\n" | tee -a ./mem.logsleep 20s
done

脚本说明

脚本的功能分成2个部分，一个是iozone，分别对EMMC进行write/rewrite、read/re-read、stride-read测试，读写的文件依次从512m到4G，以2倍的形式增长（我的板子的EMMC是8G的），结果放到iozone*.xls文件中，
文件大概内容如下：

第二部分是进行内存压力测试，我的开发板的内存是512M的，压力测试使用300M

流程是每执行10次内存压力测试，执行一次EMMC读写操作，一直循环执行到测试结束为止；

## 实验结果
执行了一段时间发现有错误```bash
[2022-3-18 21:39:34] Out of memory: Kill process 5364 (memtester) score 137 or sacrifice child
[2022-3-18 21:39:34] Killed process 5364 (memtester) total-vm:360100kB, anon-rss:69384kB, file-rss:20kB
[2022-3-18 21:39:34] 11:39:24  current temperature= -16945 runtime = 24834.14 47.30
[2022-3-18 21:39:34] ./mem.sh: line 16:  5364 Killed                  memtester 350M 1
[2022-3-18 21:39:34] 11:39:24  current freq=  792000
[2022-3-18 21:39:34] memtest failed

结束后，又执行了一次，发现还是有这个现象，这个时候观察，内存是够的，刚开始怀疑是操作太频繁了，将脚本修改sleep的延时增大，还是不行；
从网上查找资料，发现这个和linux核心的机制有关系；
Linux有一个特性：OOM Killer，一个保护机制，用于避免在内存不足的时候不至于出现严重问题，把一些无关的进程优先杀掉，即在内存严重不足时，系统为了继续运转，内核会挑选一个进程，将其杀掉，以释放内存，缓解内存不足情况，不过这种保护是有限的，不能完全的保护进程的运行。

在很多情况下，经常会看到还有剩余内存时，oom-killer依旧把进程杀死了，现象是在/var/log/messages日志文件中有如下信息：
Out of Memory: Killed process [PID] [process name].
该问题是low memory耗尽，因为内核使用low memory来跟踪所有的内存分配。
当low memory耗尽，不管high memory剩多少，oom-killer都会杀死进程，以保持系统的正常运行。

LowMem 区 (也叫 NORMAL ZONE ) ，而且不能改变(除非用 hugemem 内核)。对于高负载的系统，就可能因为 LowMem 利用不好而引发 OOM Killer 。一个可能原因是 LowFree 太少了，另外一个原因是 LowMem 里都是碎片，请求不到连续的内存区域
查看内存，这里不能使用默认的free
egrep ‘High|Low’ /proc/meminfo
会列出不同的内存数据；

虽然现在还是没有完全弄明白如何解决，因为我这里也不能直接修改linux系统的内存部分，为了验证实验现象使用另外一种方式来验证，每执行一次iozone然后系统重新启动一次，另外内存压力测试执行的时候，要保证iozone没有执行，这样执行下来，发现都正常，也能侧面反正这个问题。
这个算是对EMMc测试的一个教训吧。