在 Linux 和 FireWire 上创建自己的 RAC 集群
http://www.dbonline.cn/source/oracle/20040718/STR_building%20your%20RAC%20in%20Linux%20and%20FireWire(1).htm
在 Linux 和 FireWire 上创建自己的 RAC 集群(一）
作者： Jeffrey Hunter
了解如何安装和配置低于 1500 美元的 Oracle 真正应用集群（只用于开发和测试）
概述
熟悉 Oracle 真正应用集群 (RAC) 技术的最高效方法之一是进入实际的 Oracle RAC 集群。在学习这种新技术时，您会很快开始了解到 Oracle RAC 一定能提供的利益，如容错、新的安全级别、负载均衡以及升级功能的便利性。但是，挑战在于典型的产品级 RAC 配置所需硬件的价格。例如，小型的两节点集群可能成本从 $10,000 美元到超过 20,000 美元不等。该成本甚至不包括共享存储器 — 这是产品级 RAC 环境的核心。
对于那些只是希望熟悉 Oracle RAC 的人来说，本文提供了一种低成本的变通方法，使用商品级的现成组件和可下载的软件来配置 Oracle9 i RAC 系统。这种配置的估计成本可能是 1000 美元到 1500 美元。系统包含一个双节点集群，两个节点利用基于 IEEE1394 ( FireWire ) 驱动器技术的共享磁盘阵列，运行 Linux （在本示例中为 Red Hat Linux Fedora Core 1 ）。
请注意，这并不是创建低成本 Oracle9 i RAC 系统的唯一方法。我曾见过其他的解决方案，这些解决方案利用了基于 SCSI 的实施而不是基于共享存储器的 FireWire 。在大多数情况下， SCSI 比我们的 FireWire 解决方案的成本高，因为典型 SCSI 卡的价格在 70 美元左右，而 80GB 的外部 SCSI 驱动器将需要 700 到 1000 美元。切记有些主板可能已经包含了内建的 SCSI 控制器。
注意，这种配置 决不 能在生产环境中运行，这很重要。在生产环境中，应选择光纤通道技术，因为它是高速串行传输接口，能够在点到点或交换式拓扑结构中连接系统与存储设备。 FireWire is able to offer a low-cost alternative to fiber channel for testing and development, but it is not ready for production.
注意 ：在撰写本文时，我尚未验证这些说明是否适用于 Oracle 数据库 10 g 。在以后的几个月时间内，我将撰写另外一篇文章，说明如何使用 10 g 执行类似的安装。
Oracle9 i 真正应用集群 (RAC) 简介
Oracle 真正应用集群 (RAC) 是 Oracle 并行服务器 (OPS) 的后继版本。 RAC 允许多个实例同时访问同一数据库（存储器）。 RAC 通过允许系统进行扩展，提供了容错、负载均衡和性能效益，同时，由于所有节点访问同一数据库，一个实例的故障不会导致无法访问数据库。
Oracle RAC 的核心部分是共享磁盘子系统。集群中的所有节点必须能够访问集群中所有节点的所有数据、重做日志文件、控制文件和参数文件。数据磁盘必须在全局范围内可用，以便允许所有节点访问数据库。每个节点都有自己的重做日志和控制文件，但其他节点必须能够访问这些文件，以便在系统故障时恢复该节点。
并非所有集群解决方案都使用共享存储。有些厂商使用一种称为联合集群的方法，在这种方法中，数据在数台机器中分布，而不是由所有机器共享。但是，在使用 Oracle RAC 时，多个节点使用相同的磁盘集合来存储数据。使用 Oracle RAC 时，数据、重做日志、控制和归档日志文件均存在于原始磁盘设备或集群文件系统上的共享存储器上。 Oracle 的集群方法利用集群中的所有节点的整体处理能力，同时可提供故障切换安全。
虽然这不是绝对必要的，但 Oracle 建议您安装 Oracle 集群文件系统 (OCFS) 。 OCFS 通过在所有节点上创建相同的文件系统，使您的磁盘管理工作变得容易得多。 x 这并非是必需的，但是如果没有 OCFS ，您必须手动完成所有的分区。 ( 注意： 本文没有详细介绍安装和使用 OCFS 的情况，而是使用所有手动方法来创建分区并将 原始设备 绑定到这些分区。）
我不使用针对 Red Hat Linuxe 的 Oracle 集群文件系统的主要原因之一是 OCFS 是 RPM 形式的。所有的 RPM 模块以及预编译模块都绑定到 Red Hat Enterprise Linux AS （ 1200 美元）内核命名标准，并且不会加载到所提供的 2.4.20 链接内核中。
Oracle RAC 与 OPS 之间的最大区别在于增加了高速缓存合并。使用 OPS 时，从一个节点到另一个节点的数据请求需要首先将数据写到磁盘，然后请求节点才能读取该数据。使用高速缓存合并时，数据与锁一起被传递。
Dell 、 IBM 和 HP 等厂商提供了预先配置的 Oracle9 i RAC 解决方案，用于生产环境。但是，本文集中讨论将您自己的 Oracle9 i RAC 环境组合在一起用于开发和测试，其方法是使用 Linux 服务器和一种低成本的共享磁盘解决方案： FireWire 。
RAC 需要什么软件？它有没有需要定购的单独安装 CD ？
RAC 包含在 Oracle9 i 数据库企业版中。（ Oracle 最近宣布在 Oracle 数据库 10 g 标准版中也提供 RAC 。）如果您在一个集群中安装 Oracle9 i 企业版，并且 Oracle Universal Installer (OUI) 识别该集群，则为您提供安装 RAC 的选项。大部分 UNIX 平台需要为必要的集群件安装 OSD 。对于 Intel 平台（ Linux 和 Windows ）， Oracle 在 Oracle9 i 企业版中提供 OSD 软件。
共享存储器概述
现在，光纤通道是最流行的共享存储器解决方案之一。前面曾提到，光纤通道是一种高速串行传输接口，用于在点到点或交换式拓扑结构中连接系统与存储设备。光纤通道所支持的协议包括 SCSI 和 IP 。光纤通道配置可以支持多达 127 个节点，其每秒的吞吐量可以高达 2.12 千兆位。但是，光纤通道的价格很昂贵。单是光纤通道交换机就可能需要 1000 美元。这还不包括光纤通道存储阵列和高端驱动器，一个 36GB 驱动器的价格可高达约 300 美元。典型的光纤通道安装包括用于服务器的光纤通道卡，基本安装大约要 5000 美元，这并不包括构成集群的服务器的成本。
光纤通道的一种较为便宜的替代方法是 SCSI 。 SCSI 技术为共享存储器提供了可以接受的性能，但对于那些习惯了基于 GPL 的 Linux 价格的管理员和开发人员来说，即使是 SCSI 也可能超出预算，一个双节点集群的价格在 1000 美元到 2000 美元左右。
另一种流行的解决方案是 Sun NFS （网络文件系统）。只有在您使用网络设备或类似的设备时，它才可以用于共享存储器。需要特别指出的是，您需要能够保证通过 NFS 进行直接 I/O 的服务器。
FireWire 技术
FireWire 是由 Apple Computer 和 Texas Instruments 所开发的，它是一种高速串行数据总线的跨平台实施方案。利用其高带宽、长距离（长度多达 100 米 ）和高能量的总线， FireWire 现在用于数字视频 (DV) 、专业音响、硬盘驱动器、高端数字照相机和家庭娱乐设备等应用中。现在， FireWire 以高达每秒 800 兆位的传输速率工作，而下一代的 FireWire 要求理论上的位速率达到 1600 Mbps ，然后达到令人吃惊的 3200 Mbps 。那是每秒 3.2 千兆位。这种速度将使 FireWire 成为传输大量数据文件甚至要求最苛刻的视频应用所必不可少的技术，如处理未压缩的高清晰 (HD) 视频或者多个标准清晰度 (SD) 的视频流。
以下图表显示了多种类型磁盘接口的速度对比。对于每种接口，我提供了每秒千位 (kb) 、千字节 (KB) 、兆位 (Mb) 和兆字节 (MB) 的最大传输速率。您可以看到， IEEE1394 的功能显然超过其他可用的磁盘接口技术。
|
磁盘接口 |
速度 |
|
串行 |
115 kb/s - (.115 Mb/s) |
|
并行（标准） |
115 KB/s - (.115 MB/s) |
|
USB 1.1 |
12 Mb/s - (1.5 MB/s) |
|
并行 (ECP/EPP) |
3.0 MB/s |
|
IDE |
3.3 - 16.7 MB/s |
|
ATA |
3.3 - 66.6 MB/sec |
|
SCSI-1 |
5 MB/s |
|
SCSI-2 （快速 SCSI / 快速窄带 SCSI ） |
10 MB/s |
|
快速宽带 SCSI （宽带 SCSI ） |
20 MB/s |
|
Ultra SCSI （ SCSI-3 / Fast-20 / Ultra 窄带） |
20 MB/s |
|
Ultra IDE |
33 MB/s |
|
宽带 Ultra SCSI （快速宽带 20 ） |
40 MB/s |
|
Ultra2 SCSI |
40 MB/s |
|
IEEE1394(b) |
100 - 400Mb/s - (12.5 - 50 MB/s) |
|
USB 2.x |
480 Mb/s - (60 MB/s) |
|
宽带 Ultra2 SCSI |
80 MB/s |
|
Ultra3 SCSI |
80 MB/s |
|
宽带 Ultra3 SCSI |
160 MB/s |
|
FC-AL 光纤通道 |
100 - 400 MB/s |
硬件及成本
用于创建我们的示例 Oracle9 i RAC 环境的硬件包括两个 Linux 服务器以及在任何本地计算机商店或通过互联网都可以购买的组件。
|
服务器 1 (linux1) |
|||
|
Dell Dimension XPS D266 计算机 |
$400 |
||
|
2— 以太网 LAN 卡 |
$20 |
||
|
1—FireWire 卡
|
$30 |
||
|
服务器 2 (linux2) |
|||
|
Pentium IV 计算机 |
$600 |
||
|
2— 以太网 LAN 卡 |
$20 |
||
|
1—FireWire 卡
|
$40 |
||
|
其他组件 |
|||
|
FireWire 硬盘驱动器
|
$270 |
||
|
1 — 额外的 FireWire 电缆 |
$15 |
||
|
1 — 以太网集线器或交换机 |
$40 |
||
|
4— 网络电缆 |
$5 |
||
|
合计 |
$1,495 |
||
简短的过程说明
在对创建 Oracle9 i RAC 系统进行详细说明之前，我认为对创建环境所涉及的步骤进行简短的过程说明会很有益。（参见图 1 。）
我们的实施方案描述了一个双节点集群（每个节点具有单处理器），每台服务器都运行 Red Hat Linux Fedora Core 1 。注意，本文档中的大部分任务都需要在两台服务器上执行。我将在每个部分的开始处提示是否在两个节点上都要执行该任务。
1. 安装 Red Hat Linux / Fedora Core 1 （在两个节点上执行）
对于本示例配置，您将要在构成 RAC 集群的两个节点上都安装 Red Hat Linux (Fedora Core 1) 。
2. 配置网络设置（在两个节点上执行）
在两个节点上安装 Red Hat Linux 软件后，您需要在两个节点上配置网络。这包括配置公共网络以及配置集群的互联。您还应该为互联调整默认的和最大发送缓冲区大小设置，以便当您在实例间使用高速缓存合并缓冲区传输时获得更好的性能。这些设置将会写入到您的 /etc/sysctl.conf 文件中。
3. 获取和安装适当的 Linux 内核（在两个节点上执行）
在本部分中，我们将下载和安装一个新的 Linux 内核 — 它支持对 Fire Wire 存储设备的多次登录。该内核可以从 Oracle 的 Linux 项目开发组 — http://oss.oracle.com 处下载。在安装新内核以后，有几个配置步骤用于加载 FireWire 堆栈。
4. 创建 UNIX oracle 用户帐号（ dba 组）（在两个节点上执行）
然后我们将在 RAC 集群的所有节点上创建一个 Oracle UNIX 用户 id 。本部分还提供一个示例登录脚本 ( .bash_profile ) ，可用于设置 oracle 用户需要的所有环境变量。
5. 在共享的 FireWire 存储设备上创建分区（只需从单个节点运行一次）
在本步骤中，我们使用逻辑卷管理器 (LVM) 创建物理卷和逻辑卷。我将说明如何从 FireWire 驱动器上删除所有分区并使用 LVM 创建所有逻辑分区。
6. 创建 RAW 绑定（在两个节点上执行）
在创建逻辑分区后，我们需要配置 FireWire 共享存储器上的原始设备，以便将其用于所有的物理 Oracle 数据库文件。
7. 创建来自 RAW 卷的符号链接（在两个节点上执行）
将来自 RAW 卷的符号链接创建为易读的名称是很有益的，以便更易于识别文件。虽然此步骤是可选项，但强烈建议执行该步骤。
8. 配置 Linux 服务器（在两个节点上执行）
本部分将详细介绍配置两台 Linux 机器所涉及的步骤，将它们准备好，以便安装 Oracle9 i RAC 。
9. 配置 hangcheck-timer 内核模块（在两个节点上执行）
Oracle9 i RAC 使用一个称为 hangcheck-timer 的模块来监视集群的运行情况，并在出现故障时重新启动 RAC 模式。本部分说明了配置 hangcheck-timer 内核模块所需的步骤。虽然 hangcheck-timer 模块不是 Oracle Cluster Manager 操作所必须的模块，但 Oracle 强烈建议使用此模块。
10. 为远程访问配置 RAC 节点（在两个节点上执行）
在安装 Oracle9 i RAC 时， Oracle Installer 将使用 rsh 命令，把 Oracle 软件复制到 RAC 集群中的所有其他节点。本部分所包括的说明用于配置您的 RAC 集群中的所有节点，以便在一个 RAC 节点上不需要口令而根据其他 RAC 节点来运行 r* 命令，如 rsh 、 rcp 和 rlogin 。
11. 配置机器启动脚本（在两个节点上执行）
到此为止，我们已经非常详细地讨论了在我们的 Oracle9 i RAC 配置的两个节点上需要配置的参数和资源。本部分将暂作休整并扼要重述那些参数和命令（在本文前面的章节中），它们在机器循环运行时需要在每个节点上执行。虽然有好几种方法可以完成此工作，但我只是提供了一个可以放在启动脚本（即 /etc/rc.local ）中的命令清单，在每次机器启动时，这些命令建立所有所需的资源（磁盘、内存等）。本部分还包含其他的启动脚本，以便检查当集群中每台机器启动时，您是否已经更新了所有所需的脚本。
12. 更新 Red Hat Linux 系统（在两个节点上执行）
在准备 Oracle 安装时，需要将几个 RPM 应用到 RAC 集群中的所有节点。所有的 RPM 都包含在 Fedora Core 1 的 CD 中，此外我还在本文中提供了与这些文件的链接。在应用了所有的 RPM 之后，您还需要应用 Oracle/Linux 补丁 3006854 。在应用了所有所需补丁之后，您应该重新启动 RAC 集群中的所有节点。
13. 下载 / 解开 Oracle9 i 安装文件（从单个节点执行）
本部分包括了下载和解开 Oracle9 i 软件发布版本的步骤。该软件可以从 http://otn.oracle.com/global/cn/ 下载。
14. 安装 Oracle9 i Cluster Manager （从单个节点执行）
安装 Oracle9 i RAC 的过程分为两步： (1) 安装 Oracle9 i Cluster Manager 以及 (2) 安装 Oracle9 i RDBMS 软件。在本部分中，我们将逐步说明安装、配置和启动 Oracle Cluster Manager 软件的步骤。
切记， Oracle Cluster Manager 的安装只需在某一个节点上执行（安装过程将利用 rsh 命令将文件复制到集群中所包含的所有其他节点），但 Cluster Manager 的配置和启动需要在两个节点上执行。
15. 安装 Oracle9 i RAC （只需从单个节点执行）
在安装 Oracle Cluster Manager 之后，就该安装 RAC 软件了。本部分提供了安装该软件所涉及的很多任务，并提供了在创建 Oracle 集群数据库之前应该执行的很多安装后续任务。
16. 创建 Oracle 数据库（从单个节点执行）
在安装了所有软件后，我们现在将要使用 Oracle 数据库配置助手 (DBCA) 在共享存储器 (FireWire) 设备上创建我们的集群数据库。
17. 创建 TNS 联网文件（在两个节点上执行）
本部分仅仅提供了我的 listener.ora 和 tnsnames.ora 文件的示例清单。需要为 RAC 集群中的每个节点配置这些文件。 Oracle Installer 和 Oracle 数据库配置助手在保持这些文件的更新方面做得很好。但是，我确实喜欢对 tnsnames.ora 文件做一些修改。
18. 验证 RAC 集群 / 数据库配置（在两个节点上执行）
在 Oracle 数据库配置助手完成了集群数据库的创建之后，您应该拥有了正在运行的全功能 Oracle9 i RAC 集群。本部分提供了一些命令 SQL 查询，可用于验证您的 Oracle9 i RAC 配置。
19. 启动和停止集群（从单个节点执行）
本部分将提供如何启动和停止集群的示例。这包括如何完整地启动或停止整个集群，以及如何启动和关闭集群中单个实例的示例。
20. 透明应用程序故障切换 (TAF) （在一个或两个节点上执行）
既然我们已经启动并运行了集群，本部分提供了一个如何测试 Oracle9 i RAC 的透明应用程序故障切换特性的示例。我将演示会话故障如何发生作用以及如何设置您的 TNS 配置，以便利用 TAF 。
安装 Red Hat Linux (Fedora Core 1)
在获得所需的硬件之后，就可以开始配置过程了。过程的第一步是在两台服务器上都安装 Red Hat Linux Fedora Core 1 软件。
注意： 本文没有提供关于安装 Red Hat Linux Fedora Core 1 的详细说明。根据本文的目的，我选择执行自定义安装，当提示安装哪些产品时，选择 “Install Everything” 。安装 Red Hat Linux 的文档可见于 http://www.redhat.com/docs/manuals/ 。
配置网络设置
配置公共网络和专用网络
让我们通过确认正确的网络配置，开始配置我们的 Oracle RAC Linux 。在我们的两节点示例中，我们需要在两个节点上配置网络。
在 RedHat Linux 中配置网络设置的最简单方法是通过网络配置程序。此应用程序可以从命令行利用 “root” 用户 id 启动，如下所示：
# su - # /usr/bin/redhat-config-network &
注意： 不要使用 DHCP 命名，因为互联需要固定 IP 地址！
使用网络配置应用程序，您需要配置两个 NIC 设备以及 /etc/hosts 文件。可以使用网络配置 GUI 完成这两个任务。注意，两个节点的 /etc/hosts 设置相同。
我们的示例配置将使用以下的设置：
|
服务器 1 (linux1) |
|||
|
设备 |
IP 地址 |
子网 |
用途 |
|
eth0 |
192.168.1.100 |
255.255.255.0 |
连接 linux1 与公共网络 |
|
eth1 |
192.168.2.100 |
255.255.255.0 |
连接 linux1 （互联）与 linux2 (int-linux2) |
|
/etc/hosts |
|||
|
127.0.0.1 localhost loopback 192.168.1.100 linux1 192.168.2.100 int-linux1 192.168.1.101 linux2 192.168.2.101 int-linux2 |
|||
|
服务器 2 (linux2) |
|||
|
设备 |
IP 地址 |
子网 |
用途 |
|
eth0 |
192.168.1.101 |
255.255.255.0 |
连接 linux2 与公共网络 |
|
eth1 |
192.168.2.101 |
255.255.255.0 |
连接 linux2 （互联）与 linux1 (int-linux1) |
|
/etc/hosts |
|||
|
127.0.0.1 localhost loopback 192.168.1.100 linux1 192.168.2.100 int-linux1 192.168.1.101 linux2 192.168.2.101 int-linux2 |
|||
在以下的屏幕照片中，只显示了节点 1 (linux1) 。请确保对两个节点进行了所有适当的网络设置。
图 1：网络配置屏幕，节点 1 (linux1)
图 2：以太网设备屏幕，eth0 (linux1)
图 3：以太网设备屏幕，eth1 (linux1)
图 4：Network Configuration 屏幕，/etc/hosts (linux1)
调整网络设置
在 Oracle 9.2.0 .1 以及更高的版本中， Oracle 在 Linux 上使用 UDP 作为默认协议进行过程间通信 (IPC) ，如在 RAC 集群中的实例间进行 高速缓存合并 缓冲区传输。
Oracle 强烈建议将默认的和最大的发送缓冲区大小（ SO_SNDBUF 套接字选项）调整为 256KB ，并将默认的和最大的接收缓冲区大小（ SO_RCVBUF 套接字选项）调整为 256KB 。
接收缓冲区由 TCP 和 UDP 用于保留所接收的数据，直到应用程序读出这些数据为止。接收缓冲区不能溢出，因为不允许对等端发送超过缓冲区大小窗口的数据。这意味着如果数据包不适合于套接字接收缓冲区，它们将会被废弃。这种情况可能导致发送方发送量远远超过接收方的接收能力。
注意： 可以不必重新启动而在 /proc 文件系统中更改默认的和最大的窗口大小：
su - root
# Default setting in bytes of the socket receive buffer
sysctl -w net.core.rmem_default=262144
# Default setting in bytes of the socket send buffer
sysctl -w net.core.wmem_default=262144
# Maximum socket receive buffer size which may be set by using
# the SO_RCVBUF socket option
sysctl -w net.core.rmem_max=262144
# Maximum socket send buffer size which may be set by using
# the SO_SNDBUF socket option
sysctl -w net.core.wmem_max=262144
您应该通过将以下各行添加到 RAC 集群中每个节点的 /etc/sysctl.conf 文件中，使以上的更改永久有效：
net.core.rmem_default=262144
net.core.wmem_default=262144
net.core.rmem_max=262144
net.core.wmem_max=262144
在 Linux 和 FireWire 上创建自己的 RAC 集群相关推荐
- 如何在Ubuntu 18.04上创建多节点MySQL集群
翻译转载:https://www.digitalocean.com/community/tutorials/how-to-create-a-multi-node-mysql-cluster-on-ub ...
- 如何在Ubuntu 16.04上创建多节点MySQL集群(MySQL-Cluster)
翻译转载:https://www.digitalocean.com/community/tutorials/how-to-create-a-multi-node-mysql-cluster-on-ub ...
- 在阿里云 ACK 上部署 EMQX MQTT 服务器集群
云进入以「应用为中心」的云原生阶段,Operator 模式的出现,则为 Kubernetes 中的自动化任务创建配置与管理提供了一套行之有效的标准规范.通过将运维知识固化成高级语言 Go/Java 代 ...
- 在华为云 CCE 上部署 EMQX MQTT 服务器集群
云进入以「应用为中心」的云原生阶段,Operator 模式的出现,则为 Kubernetes 中的自动化任务创建配置与管理提供了一套行之有效的标准规范.通过将运维知识固化成高级语言 Go/Java 代 ...
- 在 Oracle Enterprise Linux 和 iSCSI 上构建您自己的 Oracle RAC 集群（续）
DBA:Linux 下载 Oracle 数据库 11g 标签 linux, rac, clustering, 全部 在 Oracle Enterprise Linux 和 iSCSI 上 ...
- Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo
随笔 - 70 文章 - 0 评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞,想到 ...
- 使用LVS（Linux Virtual Server）在Linux上搭建负载均衡的集群服务
使用LVS(Linux Virtual Server)在Linux上搭建负载均衡的集群服务 一.基于于NAT的LVS的安装与配置. 1. 硬件需求和网络拓扑 ...
- 在Linux上使用Nginx为Solr集群做负载均衡
在Linux上使用Nginx为Solr集群做负载均衡 在Linux上搭建solr集群时需要用到负载均衡,但测试环境下没有F5 Big-IP负载均衡交换机可以用,于是先后试了weblogic的proxy ...
- aix7.1.4上安装12.1.0.2版本RAC集群时遇到的bug无法创建mgmt库
1.具体故障表现: 在AIX 7100-04-03-1642版本操作系统上安装ORACLE 12.1.0.2版本GRID集群软件时,运行root.sh脚本正常构建集群: 之后图形界面脚本之后的操作,在 ...
最新文章
- 7 成中国职场人厌班，我们为什么会陷入职业倦怠？
- 操作系统——存储管理：分区、分页、分段、请求式分页和虚拟内存
- Spring之高级装配(二)
- hadoop的关键进程
- Cloud for Customer UI里点了超链接后的跳转处理
- c语言主调函数和被调函数,在C语言中，何为主调函数和被调函数，他们之 – 手机爱问...
- 【Python基础入门系列】第01天：环境搭建
- Android 呼吸灯流程分析
- 编程函数c语言,C语言编程（练习1：函数 ）
- VS2015配置Opencv
- sysbench测试
- jsoup爬虫工具超简单使用(记录)
- C语言——机器平台对强制类型转换的影响
- python获取灰度图边界
- originos系统会基于鸿蒙开发吗,originos系统是安卓吗 originos系统什么时候更新[多图]...
- Caml 多表关联查询
- 程序员的奋斗史（三十一）——人在囧途之应聘篇（一）
- 四叶草的python代码_python绘图四叶草
- 范数(Norm)和谱半径(Spectral Radii)
- C#实现SqlServer连接查询