https://segmentfault.com/a/1190000009082089

Table of Contents

TTY历史

支持多任务的计算机出现之前

支持多任务的计算机出现之后

内核TTY子系统

TTY设备

程序如何和TTY打交道

TTY是如何被创建的

键盘显示器直连(终端)

SSH远程访问

键盘显示器直连(图形界面)

SSH + Screen/Tmux

TTY和PTS的区别

常见的TTY配置

TTY相关信号

结束语

参考


当我们在键盘上敲下一个字母的时候,到底是怎么发送到相应的进程的呢?我们通过ps、who等命令看到的类似tty1、pts/0这样的输出,它们的作用和区别是什么呢?

TTY历史

支持多任务的计算机出现之前

在计算机出来以前,人们就已经在使用一种叫teletype的设备,用来相互之间传递信息,看起来像下面这样:

+----------+     Physical Line     +----------+
| teletype |<--------------------->| teletype |
+----------+                       +----------+

两个teletype之间用线连接起来,线两端可能也有类似于调制解调器之类的设备(这里将它们忽略),在一端的teletype上敲键盘时,相应的数据会发送到另一端的teletype,具体功能是干什么的,我也不太了解。(我脑袋里面想到画面是在一端敲字,另一端打印出来)

这些都是老古董了,完全没接触过,所以只能简单的推测。

支持多任务的计算机出现之后

等到计算机支持多任务后,人们想到把这些teletype连到计算机上,作为计算机的终端,从而可以操作计算机。

使用teletype的主要原因有两个(个人见解):

  • 现实中已经存在了大量不同厂商的teletype,可以充分利用现有资源

  • teletype的相关网络已经比较成熟,连起来方便

于是连接就发展成这样:

                                                                      +----------+
+----------+   +-------+     Physical Line     +-------+   +------+   |          |
| Terminal |<->| Modem |<--------------------->| Modem |<->| UART |<->| Computer |
+----------+   +-------+                       +-------+   +------+   |          |+----------+
  • 左边的Terminal就是各种各样的teletype

  • 物理线路两边用上了Modem,就是我们常说的“猫”,那是因为后来网络已经慢慢的变发达了,大家可以共享连接了。(大概推测,可能不对)

  • UART可以理解为将teletype的信号转换成计算机能识别的信号的设备

内核TTY子系统

计算机为了支持这些teletype,于是设计了名字叫做TTY的子系统,内部结构如下:

    +-----------------------------------------------+|                    Kernel                     ||                                 +--------+    ||   +--------+   +------------+   |        |    |       +----------------+|   |  UART  |   |    Line    |   |  TTY   |<---------->| User process A |
<------>|        |<->|            |<->|        |    |       +----------------+|   | driver |   | discipline |   | driver |<---------->| User process B ||   +--------+   +------------+   |        |    |       +----------------+|                                 +--------+    ||                                               |+-----------------------------------------------+
  • UART driver对接外面的UART设备

  • Line discipline主要是对输入和输出做一些处理,可以理解它是TTY driver的一部分

  • TTY driver用来处理各种终端设备

  • 用户空间的进程通过TTY driver来和终端打交道

为了简单起见,后面的介绍中不再单独列出UART driver和Line discipline,可以认为它们是TTY driver的一部分

TTY设备

对于每一个终端,TTY driver都会创建一个TTY设备与它对应,如果有多个终端连接过来,那么看起来就是这个样子的:

                      +----------------+|   TTY Driver   ||                ||   +-------+    |       +----------------++------------+       |   |       |<---------->| User process A || Terminal A |<--------->| ttyS0 |    |       +----------------++------------+       |   |       |<---------->| User process B ||   +-------+    |       +----------------+|                ||   +-------+    |       +----------------++------------+       |   |       |<---------->| User process C || Terminal B |<--------->| ttyS1 |    |       +----------------++------------+       |   |       |<---------->| User process D ||   +-------+    |       +----------------+|                |+----------------+

当驱动收到一个终端的连接时,就会根据终端的型号和参数创建相应的tty设备(上图中设备名称叫ttyS0是因为大部分终端的连接都是串行连接),由于每个终端可能都不一样,有自己的特殊命令和使用习惯,于是每个tty设备的配置可能都不一样。比如按delete键的时候,有些可能是要删前面的字符,而有些可能是删后面的,如果没配置对,就会导致某些按键不是自己想要的行为,这也是我们在使用模拟终端时,如果默认的配置跟我们的习惯不符,需要做一些个性化配置的原因。

后来随着计算机的不断发展,teletype这些设备逐渐消失,我们不再需要专门的终端设备了,每个机器都有自己的键盘和显示器,每台机器都可以是其它机器的终端,远程的操作通过ssh来实现,但是内核TTY驱动这一架构没有发生变化,我们想要和系统中的进程进行I/O交互,还是需要通过TTY设备,于是出现了各种终端模拟软件,并且模拟的也是常见的几种终端,如VT100、VT220、XTerm等。

  1. 可以通过命令toe -a列出系统支持的所有终端类型

  2. 可以通过命令infocmp来比较两个终端的区别,比如infocmp vt100 vt220将会输出vt100和vt220的区别。

程序如何和TTY打交道

在讨论TTY设备是如何被创建及配置之前,我们先来看看TTY是如何被进程使用的:

#先用tty命令看看当前bash关联到了哪个tty
dev@debian:~$ tty
/dev/pts/1#看tty都被哪些进程打开了
dev@debian:~$ lsof /dev/pts/1
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
bash     907  dev    0u   CHR  136,1      0t0    4 /dev/pts/1
bash     907  dev    1u   CHR  136,1      0t0    4 /dev/pts/1
bash     907  dev    2u   CHR  136,1      0t0    4 /dev/pts/1
bash     907  dev  255u   CHR  136,1      0t0    4 /dev/pts/1
lsof    1118  dev    0u   CHR  136,1      0t0    4 /dev/pts/1
lsof    1118  dev    1u   CHR  136,1      0t0    4 /dev/pts/1
lsof    1118  dev    2u   CHR  136,1      0t0    4 /dev/pts/1#往tty里面直接写数据跟写标准输出是一样的效果
dev@dev:~$ echo aaa > /dev/pts/2
aaa

pts也是tty设备,它们的关系后面会介绍到

通过上面的lsof可以看出,当前运行的bash和lsof进程的stdin(0u)、stdout(1u)、stderr(2u)都绑定到了这个TTY上。

下面是tty和进程以及I/O设备交互的结构图:

   Input    +--------------------------+    R/W     +------+
----------->|                          |<---------->| bash ||          pts/1           |            +------+
<-----------|                          |<---------->| lsof |Output   | Foreground process group |    R/W     +------++--------------------------+                               
  • 可以把tty理解成一个管道(pipe),在一端写的内容可以从另一端读取出来,反之亦然。

  • 这里input和output可以简单的理解为键盘和显示器,后面会介绍在各种情况下input/ouput都连接的什么东西。

  • tty里面有一个很重要的属性,叫Foreground process group,记录了当前前端的进程组是哪一个。process group的概念会在下一篇文章中介绍,这里可以简单的认为process group里面只有一个进程。

  • 当pts/1收到input的输入后,会检查当前前端进程组是哪一个,然后将输入放到进程组的leader的输入缓存中,这样相应的leader进程就可以通过read函数得到用户的输入

  • 当前端进程组里面的进程往tty设备上写数据时,tty就会将数据输出到output设备上

  • 当在shell中执行不同的命令时,前端进程组在不断的变化,而这种变化会由shell负责更新到tty设备中

从上面可以看出,进程和tty打交道很简单,只要保证后台进程不要读写tty就可以了,即写后台程序时,要将stdin/stdout/stderr重定向到其它地方(当然deamon程序还需要做很多其它处理)。

先抛出两个问题(后面有答案):

  • 当非前端进程组里面的进程(后台进程)往tty设备上写数据时,会发生什么?会输出到outpu上吗?

  • 当非前端进程组里面的进程(后台进程)从tty设备上读数据时,会发生什么?进程会阻塞吗?

TTY是如何被创建的

下面介绍几种常见的情况下tty设备是如何创建的,以及input和output设备都是啥。

键盘显示器直连(终端)

先看图再说话:

                   +-----------------------------------------+|          Kernel                         ||                           +--------+    |       +----------------+ +----------+      |   +-------------------+   |  tty1  |<---------->| User processes || Keyboard |--------->|                   |   +--------+    |       +----------------++----------+      |   | Terminal Emulator |<->|  tty2  |<---------->| User processes || Monitor  |<---------|                   |   +--------+    |       +----------------++----------+      |   +-------------------+   |  tty3  |<---------->| User processes ||                           +--------+    |       +----------------+|                                         |+-----------------------------------------+

键盘、显示器都和内核中的终端模拟器相连,由模拟器决定创建多少tty,比如你在键盘上输入ctrl+alt+F1时,模拟器首先捕获到该输入,然后激活tty1,这样键盘的输入会转发到tty1,而tty1的输出会转发到显示器,同理用输入ctrl+alt+F2,就会切换到tty2。

当模拟器激活tty时如果发现没有进程与之关联,意味着这是第一次打开该tty,于是会启动配置好的进程并和该tty绑定,一般该进程就是负责login的进程。

当切换到tty2后,tty1里面的输出会输出到哪里呢?tty1的输出还是会输出给模拟器,模拟器里会有每个tty的缓存,不过由于模拟器的缓存空间有限,所以下次切回tty1的时候,只能看到最新的输出,以前的输出已经不在了。

不确定这里的终端模拟器对应内核中具体的哪个模块,但肯定有这么个东西存在

SSH远程访问

 +----------+       +------------+| Keyboard |------>|            |+----------+       |  Terminal  || Monitor  |<------|            |+----------+       +------------+||  ssh protocol|↓+------------+|            || ssh server |--------------------------+|            |           fork           |+------------+                          ||   ↑                               ||   |                               |write |   | read                          ||   |                               |+-----|---|-------------------+           ||     |   |                   |           ↓|     ↓   |      +-------+    |       +-------+|   +--------+   | pts/0 |<---------->| shell ||   |        |   +-------+    |       +-------+|   |  ptmx  |<->| pts/1 |<---------->| shell ||   |        |   +-------+    |       +-------+|   +--------+   | pts/2 |<---------->| shell ||                +-------+    |       +-------+|    Kernel                   |+-----------------------------+

这里的Terminal可能是任何地方的程序,比如windows上的putty,所以不讨论客户端的Terminal程序是怎么和键盘、显示器交互的。由于Terminal要和ssh服务器打交道,所以肯定要实现ssh的客户端功能。

这里将建立连接和收发数据分两条线路解释,为了描述简洁,这里以sshd代替ssh服务器程序:

建立连接

  • 1.Terminal请求和sshd建立连接

  • 2.如果验证通过,sshd将创建一个新的session

  • 3.调用API(posix_openpt())请求ptmx创建一个pts,创建成功后,sshd将得到和ptmx关联的fd,并将该fd和session关联起来。

#pty(pseudo terminal device)由两部分构成,ptmx是master端,pts是slave端,
#进程可以通过调用API请求ptmx创建一个pts,然后将会得到连接到ptmx的读写fd和一个新创建的pts,
#ptmx在内部会维护该fd和pts的对应关系,随后往这个fd的读写会被ptmx转发到对应的pts。#这里可以看到sshd已经打开了/dev/ptmx
dev@debian:~$ sudo lsof /dev/ptmx
COMMAND  PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
sshd    1191  dev    8u   CHR    5,2      0t0 6531 /dev/ptmx
sshd    1191  dev   10u   CHR    5,2      0t0 6531 /dev/ptmx
sshd    1191  dev   11u   CHR    5,2      0t0 6531 /dev/ptmx
  • 4.同时sshd创建shell进程,将新创建的pts和shell绑定

收发消息

  • 1.Terminal收到键盘的输入,Terminal通过ssh协议将数据发往sshd

  • 2.sshd收到客户端的数据后,根据它自己管理的session,找到该客户端对应的关联到ptmx上的fd

  • 3.往找到的fd上写入客户端发过来的数据

  • 4.ptmx收到数据后,根据fd找到对应的pts(该对应关系由ptmx自动维护),将数据包转发给对应的pts

  • 5.pts收到数据包后,检查绑定到自己上面的当前前端进程组,将数据包发给该进程组的leader

  • 6.由于pts上只有shell,所以shell的read函数就收到了该数据包

  • 7.shell对收到的数据包进行处理,然后输出处理结果(也可能没有输出)

  • 8.shell通过write函数将结果写入pts

  • 9.pts将结果转发给ptmx

  • 10.ptmx根据pts找到对应的fd,往该fd写入结果

  • 11.sshd收到该fd的结果后,找到对应的session,然后将结果发给对应的客户端

键盘显示器直连(图形界面)

 +----------+       +------------+| Keyboard |------>|            |+----------+       |  Terminal  |--------------------------+| Monitor  |<------|            |           fork           |+----------+       +------------+                          ||   ↑                               ||   |                               |write |   | read                          ||   |                               |+-----|---|-------------------+           ||     |   |                   |           ↓|     ↓   |      +-------+    |       +-------+|   +--------+   | pts/0 |<---------->| shell ||   |        |   +-------+    |       +-------+|   |  ptmx  |<->| pts/1 |<---------->| shell ||   |        |   +-------+    |       +-------+|   +--------+   | pts/2 |<---------->| shell ||                +-------+    |       +-------+|    Kernel                   |+-----------------------------+

为了简化起见,本篇不讨论Linux下图形界面里Terminal程序是怎么和键盘、显示器交互的。

这里和上面的不同点就是,这里的Terminal不需要实现ssh客户端,但需要把ssh服务器要干的活也干了(当然ssh通信相关的除外)。

SSH + Screen/Tmux

常用Linux的同学应该对screen和tmux不陌生,通过它们启动的进程,就算网络断开了,也不会受到影响继续执行,下次连上去时还能看到进程的所有输出,还能继续接着干活。

这里以tmux为例介绍其原理:

 +----------+       +------------+| Keyboard |------>|            |+----------+       |  Terminal  || Monitor  |<------|            |+----------+       +------------+||  ssh protocol|↓+------------+|            || ssh server |--------------------------+|            |           fork           |+------------+                          ||   ↑                               ||   |                               |write |   | read                          ||   |                               |+-----|---|-------------------+           ||     ↓   |                   |           ↓|   +--------+   +-------+    |       +-------+  fork   +-------------+|   |  ptmx  |<->| pts/0 |<---------->| shell |-------->| tmux client ||   +--------+   +-------+    |       +-------+         +-------------+|   |        |                |                               ↑|   +--------+   +-------+    |       +-------+               ||   |  ptmx  |<->| pts/2 |<---------->| shell |               ||   +--------+   +-------+    |       +-------+               ||     ↑   |  Kernel           |           ↑                   |+-----|---|-------------------+           |                   ||   |                               |                   ||w/r|   +---------------------------+                   ||   |   |            fork                               ||   ↓   |                                               |+-------------+                                             ||             |                                             || tmux server |<--------------------------------------------+|             |+-------------+

系统中的ptmx只有一个,上图中画出来了两个,目的是为了表明tmux服务器和sshd都用ptmx,但它们之间又互不干涉。

这种情况要稍微复杂一点,不过原理都是一样的,前半部分和普通ssh的方式是一样的,只是pts/0关联的前端进程不是shell了,而是变成了tmux客户端,所以ssh客户端发过来的数据包都会被tmux客户端收到,然后由tmux客户端转发给tmux服务器,而tmux服务器干的活和ssh的类似,也是维护一堆的session,为每个session创建一个pts,然后将tmux客户端发过来的数据转发给相应的pts。

由于tmux服务器只和tmux客户端打交道,和sshd没有关系,当终端和sshd的连接断开时,虽然pts/0会被关闭,和它相关的shell和tmux客户端也将被kill掉,但不会影响tmux服务器,当下次再用tmux客户端连上tmux服务器时,看到的还是上次的内容。

TTY和PTS的区别

从上面的流程中应该可以看出来了,对用户空间的程序来说,他们没有区别,都是一样的;从内核里面来看,pts的另一端连接的是ptmx,而tty的另一端连接的是内核的终端模拟器,ptmx和终端模拟器都只是负责维护会话和转发数据包;再看看ptmx和内核终端模拟器的另一端,ptmx的另一端连接的是用户空间的应用程序,如sshd、tmux等,而内核终端模拟器的另一端连接的是具体的硬件,如键盘和显示器。

常见的TTY配置

先先来看看当前tty的所有配置:

dev@dev:~$ stty -a
speed 38400 baud; rows 51; columns 204; line = 0;
intr = ^C; quit = ^\; erase = ^?; kill = ^U; eof = ^D; eol = M-^?; eol2 = M-^?; swtch = <undef>; start = ^Q; stop = ^S; susp = ^Z; rprnt = ^R; werase = ^W; lnext = ^V; discard = ^O; min = 1; time = 0;
-parenb -parodd -cmspar cs8 -hupcl -cstopb cread -clocal -crtscts
-ignbrk -brkint -ignpar -parmrk -inpck -istrip -inlcr -igncr icrnl ixon -ixoff -iuclc ixany imaxbel -iutf8
opost -olcuc -ocrnl onlcr -onocr -onlret -ofill -ofdel nl0 cr0 tab0 bs0 vt0 ff0
isig icanon iexten echo echoe echok -echonl -noflsh -xcase -tostop -echoprt echoctl echoke -flusho -extproc

stty还可以用来修改tty的参数,用法请参考man stty

只要是有权限的程序,都可以通过Linux提供的API来修改TTY的配置,下面介绍一些常见的的配置项。

rows 51; columns 204;

这个配置一般由终端控制,当终端的窗口大小发生变化时,需要通过一定的手段修改该配置,比如ssh协议里面就有修改窗口大小的参数,sshd收到客户端的请求后,会通过API修改tty的这个参数,然后由tty通过信号SIGWINCH通知前端程序(比如shell或者vim),前端程序收到信号后,再去读tty的这个参数,然后就知道如何调整自己的输出排版了。

intr = ^C

tty除了在终端和前端进程之间转发数据之外,还支持很多控制命令,比如终端输入了CTRL+C,那么tty不会将该输入串转发给前端进程,而是将它转换成信号SIGINT发送给前端进程。这个就是用来配置控制命令对应的输入组合的,比如我们可以配置“intr = ^E”表示用CTRL+E代替CTRL+C。

start = ^Q; stop = ^S;

这是两个特殊的控制命令,估计经常有人会碰到,在键盘上不小心输入CTRL+S后,终端没反应了,即没输出,也不响应任何输入。这是因为这个命令会告诉TTY暂停,阻塞所有读写操作,即不转发任何数据,只有按了CTRL+Q后,才会继续。这个功能应该是历史遗留,以前终端和服务器之间没有流量控制功能,所以有可能服务器发送数据过快,导致终端处理不过来,于是需要这样一个命令告诉服务器不要再发了,等终端处理完了后在通知服务器继续。

该命令现在比较常用的一个场景就是用tail -f命令监控日志文件的内容时,可以随时按CTRL+S让屏幕停止刷新,看完后再按CTRL+Q让它继续刷,如果不这样的话,需要先CTRL+C退出,看完后在重新运行tail -f命令。

echo

在终端输入字符的时候,之所以我们能及时看到我们输入的字符,那是因为TTY在收到终端发过去的字符后,会先将字符原路返回一份,然后才交给前端进程处理,这样终端就能及时的显示输入的字符。echo就是用来控制该功能的配置项,如果是-echo的话表示disable echo功能。

-tostop

如果你在shell中运行程序的时候,后面添加了&,比如./myapp &,这样myapp这个进程就会在后台运行,但如果这个进程继续往tty上写数据呢?这个参数就用来控制是否将输出转发给终端,也即结果会不会在终端显示,这里“-tostop”表示会输出到终端,如果配置为“tostop”的话,将不输出到终端,并且tty会发送信号SIGTTOU给myapp,该信号的默认行为是将暂停myapp的执行。

TTY相关信号

除了上面介绍配置时提到的SIGINT,SIGTTOU,SIGWINCHU外,还有这么几个跟TTY相关的信号

SIGTTIN

当后台进程读tty时,tty将发送该信号给相应的进程组,默认行为是暂停进程组中进程的执行。暂停的进程如何继续执行呢?请参考下一篇文章中的SIGCONT。

SIGHUP

当tty的另一端挂掉的时候,比如ssh的session断开了,于是sshd关闭了和ptmx关联的fd,内核将会给和该tty相关的所有进程发送SIGHUP信号,进程收到该信号后的默认行为是退出进程。

SIGTSTP

终端输入CTRL+Z时,tty收到后就会发送SIGTSTP给前端进程组,其默认行为是将前端进程组放到后端,并且暂停进程组里所有进程的执行。

跟tty相关的信号都是可以捕获的,可以修改它的默认行为

结束语

本文介绍了常见的tty功能和特点,下一篇中将详细介绍和tty密切相关的进程session id,进程组,job,后台程序等,敬请期待。

参考

  • The TTY demystified

Linux TTY/PTS概述相关推荐

  1. 一文彻底讲清Linux tty子系统架构及编程实例

    [摘要]本文详细解读了linux系统下的tty子系统的深层次原理和架构,并参考了LDD3中的代码实例讲述了无硬件下实现一个简单的tty设备驱动模块的编写.对了解tty子系统及下部串口驱动模块的学习有较 ...

  2. linux TTY子系统(3) - tty driver

    了解linux tty driver 1.TTY device   kernel从设备模型和字符设备两个角度对它进行了抽象: 设备模型的角度   为每个"数据通道"注册了一个stu ...

  3. Linux TTY子系统(1) - 了解TTY

    了解linux tty 1.TTY概述   TTY 是 Teletype 或 Teletypewriter 的缩写,原来是指电传打字机,后来这种设备逐渐键盘和显示器取代.不管是电传打字机还是键盘显示器 ...

  4. linux tty设备驱动,18.1. 一个小 TTY 驱动

    ## 18.1. 一个小 TTY 驱动 为解释 tty 核心如何工作, 我们创建一个小 tty 驱动, 可以被加载, 以及写入读出, 并且卸载. 任何一个 tty 驱动的主要数据结构是 struct ...

  5. 2.9 Linux tty终端

    Linux在内核启动完成以后,需要启动用户态的各种应用服务,让linux可以提供给用户使用.通常用户程序的执行过程如图所示. 其执行顺序是/sbin/init --–>/sbin/mingett ...

  6. 自动驾驶QNX,Linux,Autosar概述

    自动驾驶QNX,Linux,Autosar概述 QNX是一个分布式.嵌入式.可规模扩展的实时操作系统.遵循POSIX.1 (程序接口)和POSIX.2 (Shell和工具).部分遵循POSIX.1b( ...

  7. Linux下进程间通信概述

    1. Linux下进程间通信概述 P83-P84 将第一页和第二页合并起来讲了 引言:前面我们学习了一下进程,我们知道多,进程间的地址空间相对独立.进程与进程间不能像线程间通过全局变量通信. 如果想进 ...

  8. Linux系统安全概述-sudo授权-pam认证机制-对称加密-非对称加密-md5-数字证书

    内容: 17.1 Linux系统安全概述-su-sudo授权 17.2 pam认证机制概述 17.3 对称加密-非对称加密方法 17.4 md5-sha1-哈希算法使用方法 17.5 CA证书的作用 ...

  9. linux 使用了哪个存储阵列卡,Linux中RAID概述及配置实验

    Linux中RAID概述及配置实验 一.RAID磁盘阵列概述 RAID 0 (条带化存储) RAID 1(镜像存储) RAID 5 RAID 6 RAID 1+0(先做镜象,再做条带) RAID 0+ ...

最新文章

  1. c++ string c_str() 和data()区别
  2. 逆向学习技术!拆解驱动器,学习布局走线技术
  3. mysql 范围优化_如何优化mysql的范围查询
  4. 让NUnit轻松支持.NET 2.0
  5. 前端:CSS/10/伪类选择器,CSS列表属性,CSS边框属性,CSS内边距属性,CSS背景属性
  6. 方向盘左右能摇动_金澳小贴士——通过方向盘,竟能看出这些汽车故障!
  7. python中脚本是指什么_【学习猿地】初识python脚本 #千万别看,我怕你控制不住...
  8. Python的__init__和self是做什么的?
  9. 一段实现分页的存储过程
  10. Android8.1 swap空间不够编译失败:ckati failed with: signal: interrupt
  11. 『动态规划』最大子段和
  12. swf游戏保存进度_关于flash游戏swf文件的修改
  13. nexus3的目录介绍
  14. php版本高无法删除栏目,phpcms不能删除栏目怎么办
  15. 【OptiX】第6个示例 折射,玻璃材质
  16. OpenCV联合Image Watch使用中关于RGB和HSV转换相关知识点
  17. snails1.0扫描器测试版
  18. Python3:好玩游戏的物品清单 和 列表到字典的函数
  19. android 监测属性值变化,Android 的系统属性(SystemProperties)分析 | Bob's Blo...
  20. Lightroom Classic 9.0安装教程

热门文章

  1. leetcode题解200-岛屿数量
  2. Linux命令之diff
  3. Java作业-多线程
  4. Selenium:利用select模块处理下拉框
  5. 查找一:C++静态查找
  6. 如何正确选择MySQL数据列类型
  7. Android代码混淆
  8. 使用mysql++写入BLOB数据
  9. css圆角box(宽度自适应)(百度知道挖出)
  10. 一种简单实用的 AjaxPro 调试/错误处理方式