作者：牛小宝 1. Java内存管理 1.1 Java运行时的内存区域 Java的内存区域包括线程私有区域和线程共享区域两种，其中线程私有区域有：程序计数器，虚拟机栈和本地方法栈，这些内存区域是每个线程独立拥有，并与线程具有同样的生命周期。线程共享区包括：堆区和方法区，线程共享区会在JVM初始运行时就分配好。 1)程序计数器： 可以看成当前线程所执行字节码的行号指示器。java的多线程是通

Spark调优 由于大部分Spark计算都是在内存中完成的，所以Spark程序的瓶颈可能由集群中任意一种资源导致，如：CPU、网络带宽、或者内存等。最常见的情况是，数据能装进内存，而瓶颈是网络带宽；当然，有时候我们也需要做一些优化调整来减少内存占用，例如将RDD以序列化格式保存(storing RDDs in serialized form)。本文将主要涵盖两个主题：1.数据序列化(这对于优化网络

Java语言的编译期其实是一段“不确定 ”的过程，因为可能是一个前端编译器把*.java文件转变为.class文件的过程；也可能是指JVM的后端运行期编译器(JIT编译器)把字节码转变为机器码的过程；还可能是指使用静态提前编译器(AOT编译器)直接把*.java文件编译成本地机器码的过程。但是在这里我们说的是第一类。也是符合我们大众对编译认知的。编译在这个时间段经历了哪些过程呢？ 词法、语法分

作者：李哲 前段时间偶然接触到Mybatis Generator这个代码生成工具，尝试着使用了一下，觉得还是挺方便，如果数据库中表字段比较多，确实很大程度提高了后台开发的效率。经过一段时间的使用，并简单地了解了一下它的源码。下面将简单地介绍Mybatis Generator工具如何使用及其源码浅析。 一、Mybatis Generator介绍与使用 1.  Mybatis Generat

此文已由作者姚太行授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 前文连接 案例的介绍已在前文中给出，本文中对相关部分将不再叙述。为更好地阅读本文，需要简单了解背景，建议可以大致浏览下前文： 代码在线编译器(上)- 编辑及编译 安全检测 在线编译器中的安全检测，目的是确定用户代码是否能够安全的运行，且不对运行环境产生危害。仍以一般场景和特殊场景(前文有说明)举例区分： 一

FlatBuffers编码数组 编码数组的过程如下： [图片] 先执行 startVector()，这个方法会记录数组的长度，处理元素的对齐，准备足够的空间，并设置nested，用于指示记录的开始。 然后逐个添加元素。 最后 执行 endVector()，将nested复位，并记录数组的长度。 public void startVector(int elem_size, int num_elems

FlatBuffers编码数组 编码数组的过程如下： [图片] 先执行 startVector()，这个方法会记录数组的长度，处理元素的对齐，准备足够的空间，并设置nested，用于指示记录的开始。 然后逐个添加元素。 最后 执行 endVector()，将nested复位，并记录数组的长度。 public void startVector(int elem_size, int num_elems

存储桶策略 桶存储策略作为JSON文档存储在 NOS 中，作为基于资源的策略，附加到桶上。 存储桶策略简介 包含一下元素： - Version - 用来标识当前policy都可以支持什么操作，目前的版本为2018-06-25 - Id - 可以填写有意义的标识，不填也可以 - Sid - Statement的id - Effect- 策略允许还是拒绝访问 - Action - 策略允许或拒绝的操

网上有很多关于Java内存模型的文章，在《深入理解Java虚拟机》和《Java并发编程的艺术》等书中也都有关于这个知识点的介绍。但是，很多人读完之后还是搞不清楚，甚至有的人说自己更懵了。本文，就来整体的介绍一下Java内存模型，目的很简单，让你读完本文以后，就知道到底Java内存模型是什么，为什么要有Java内存模型，Java内存模型解决了什么问题等。 本文中，有很多定义和说法，都是笔者自己理

布式并行操作。RDD通常是通过，HDFS(或者其他Hadoop支持的文件系统)上的文件，或者驱动器中的Scala集合对象，来创建或转换得到；其次，用户也可以请求Spark将RDD持久化到内存里，以便在不同