go学习笔记 http2.0使用【SAN 和双向认证】以及dotnetcore5.0的调用

简单说一下我的环境 win7+go1.15.6，GO1.15 X509 不能用了，需要用到SAN证书，

证书

需要用到SAN证书，下面就介绍一下SAN证书生成。首先需要下载 OpenSSL http://slproweb.com/products/Win32OpenSSL.html

第1步：生成 CA 根证书

openssl genrsa -out ca.key 2048
openssl req -new -x509 -days 3650 -key ca.key -out ca.pem

You are about to be asked to enter information that will be incorporated
into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank
For some fields there will be a default value,
If you enter '.', the field will be left blank.
-----
Country Name (2 letter code) [AU]:cn
State or Province Name (full name) [Some-State]:shanghai
Locality Name (eg, city) []:shanghai
Organization Name (eg, company) [Internet Widgits Pty Ltd]:custer
Organizational Unit Name (eg, section) []:custer
Common Name (e.g. server FQDN or YOUR name) []:localhost
Email Address []:

第2步：用 openssl 生成 ca 和双方 SAN 证书。

准备默认 OpenSSL 配置文件于当前目录

linux系统在 : /etc/pki/tls/openssl.cnf

Mac系统在: /System/Library/OpenSSL/openssl.cnf

Windows：安装目录下 openssl.cfg 比如 D:\Program Files\OpenSSL-Win64\bin\openssl.cfg

1：拷贝配置文件到项目然后修改

2：找到 [ CA_default ],打开 copy_extensions = copy

3：找到[ req ],打开 req_extensions = v3_req # The extensions to add to a certificate request

4：找到[ v3_req ],添加 subjectAltName = @alt_names

5：添加新的标签 [ alt_names ] , 和标签字段

[ alt_names ]
DNS.1 = localhost
DNS.2 = *.custer.fun

这里填入需要加入到 Subject Alternative Names 段落中的域名名称，可以写入多个。

第3步：生成服务端证书

 openssl genpkey -algorithm RSA -out server.keyopenssl req -new -nodes -key server.key -out server.csr -days 3650 -subj "/C=cn/OU=custer/O=custer/CN=localhost" -config ./openssl.cfg -extensions v3_reqopenssl x509 -req -days 3650 -in server.csr -out server.pem -CA ca.pem -CAkey ca.key -CAcreateserial -extfile ./openssl.cfg -extensions v3_req

server.csr是上面生成的证书请求文件。ca.pem/ca.key是CA证书文件和key，用来对server.csr进行签名认证。这两个文件在之前生成的。

第4步：生成客户端证书

openssl genpkey -algorithm RSA -out client.keyopenssl req -new -nodes -key client.key -out client.csr -days 3650 -subj "/C=cn/OU=custer/O=custer/CN=localhost" -config ./openssl.cfg -extensions v3_reqopenssl x509 -req -days 3650 -in client.csr -out client.pem -CA ca.pem -CAkey ca.key -CAcreateserial -extfile ./openssl.cfg -extensions v3_req

现在 Go 1.15 以上版本的 GRPC 通信，这样就完成了使用自签CA、Server、Client证书和双向认证

Http2.0

Go的标准库HTTP服务器默认支持HTTP/2，支持标准库的标准HTTP的全双工通信，双向认证，即：服务器认证客户端，客户端也认证服务器。额外增加了服务端对客户端的认证（红色部分）。

我demo 喜欢把Server和Client放在一起，代码如下：

package mainimport ("crypto/tls""crypto/x509""fmt""io/ioutil""log""net/http""time""golang.org/x/net/http2"
)func main() {go HttpServer()time.Sleep(1000)go HttpClient()var s stringfmt.Scan(&s)}func HttpServer() {/*简单方式*//*server := &http.Server{Addr:         ":8080",ReadTimeout:  5 * time.Minute, // 5 min to allow for delays when 'curl' on OSx prompts for username/passwordWriteTimeout: 10 * time.Second,TLSConfig:    &tls.Config{ServerName: "localhost"},}*//*高级方式 使用ca.pem*/server := &http.Server{Addr:         ":8080",ReadTimeout:  5 * time.Minute, // 5 min to allow for delays when 'curl' on OSx prompts for username/passwordWriteTimeout: 10 * time.Second,TLSConfig:    getTLSConfig("localhost", "ca.pem", tls.ClientAuthType(tls.RequireAndVerifyClientCert)),}http.HandleFunc("/", handle)http2.ConfigureServer(server, &http2.Server{})if err := server.ListenAndServeTLS("server.pem", "server.key"); err != nil {log.Fatal(err)}}
func handle(w http.ResponseWriter, r *http.Request) {fmt.Printf("Server Got connection: %s\r\n", r.Proto)if r.URL.Path == "/2nd" {fmt.Println("Handling 2nd")w.Write([]byte("Hello Again!"))return}fmt.Println("Handling 1st")pusher, ok := w.(http.Pusher)if !ok {log.Println("Can't push to client")} else {err := pusher.Push("/2nd", nil)if err != nil {log.Printf("Failed push: %v", err)}}w.Write([]byte("Hello"))
}
func HttpClient() {clientCertFile := "client.pem"clientKeyFile := "client.key"caCertFile := "ca.pem"var cert tls.Certificatevar err errorif clientCertFile != "" && clientKeyFile != "" {cert, err = tls.LoadX509KeyPair(clientCertFile, clientKeyFile)if err != nil {log.Fatalf("Error creating x509 keypair from client cert file %s and client key file %s", clientCertFile, clientKeyFile)}}caCert, err := ioutil.ReadFile(caCertFile)if err != nil {fmt.Printf("Error opening cert file %s, Error: %s", caCertFile, err)}caCertPool := x509.NewCertPool()caCertPool.AppendCertsFromPEM(caCert)/*http 1.1t := &http.Transport{TLSClientConfig: &tls.Config{Certificates: []tls.Certificate{cert},RootCAs:      caCertPool,},}*/t := &http2.Transport{TLSClientConfig: &tls.Config{Certificates: []tls.Certificate{cert},RootCAs:      caCertPool,},}client := http.Client{Transport: t, Timeout: 15 * time.Second}resp, err := client.Get("https://localhost:8080/")if err != nil {fmt.Printf("Failed get: %s\r\n", err)}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Printf("Failed reading response body: %s\r\n", err)}fmt.Printf("Client Got response %d: %s %s\r\n", resp.StatusCode, resp.Proto, string(body))
}func getTLSConfig(host, caCertFile string, certOpt tls.ClientAuthType) *tls.Config {var caCert []bytevar err errorvar caCertPool *x509.CertPoolif certOpt > tls.RequestClientCert {caCert, err = ioutil.ReadFile(caCertFile)if err != nil {fmt.Printf("Error opening cert file %s error: %v", caCertFile, err)}caCertPool = x509.NewCertPool()caCertPool.AppendCertsFromPEM(caCert)}return &tls.Config{ServerName: host,ClientAuth: certOpt,ClientCAs:  caCertPool,MinVersion: tls.VersionTLS12, // TLS versions below 1.2 are considered insecure - see https://www.rfc-editor.org/rfc/rfc7525.txt for details}
}

运行结果如下：

D:\GoProject\src\main>go run main.go
Server Got connection: HTTP/2.0
Handling 1st
2020/12/30 20:07:01 Failed push: feature not supported
Client Got response 200: HTTP/2.0 Hello

DotnetCore5.0

首先我们需要转换证书格式

openssl x509 -outform der -in ca.pem -out ca.crt  //计算机上需要安装
openssl pkcs12 -export -in client.pem -inkey client.key -out client.pfx //dotnetcore 需要的格式

新建ConsoleApp程序，把cert文件夹拷贝到项目下面，修改项目文件CsharpApp.csproj 添加：

 <ItemGroup><None Update="cert\client.pfx"><CopyToOutputDirectory>Always</CopyToOutputDirectory></None></ItemGroup>

最后修改Program.cs

using System.IO;
using System;
using System.Net;
using System.Net.Http;
using System.Net.Security;
using System.Reflection;
using System.Security.Authentication;
using System.Security.Cryptography.X509Certificates;
using System.Threading.Tasks;
namespace CsharpApp
{class Program{static  async Task Main(string[] args){var handler = new HttpClientHandler(){SslProtocols = SslProtocols.Tls12,ClientCertificateOptions = ClientCertificateOption.Manual,ServerCertificateCustomValidationCallback = (message, cer, chain, errors) =>{return chain.Build(cer);}};var path =AppDomain.CurrentDomain.BaseDirectory + "cert\\client.pfx";var crt = new X509Certificate2(path, "123456789");handler.ClientCertificates.Add(crt);var client = new HttpClient(handler){DefaultRequestVersion = new Version(2, 0)}; ;var url = "https://localhost:8080/";var response = await client.GetAsync(url);var back = await response.Content.ReadAsStringAsync();Console.WriteLine(back);}}
}

运行结果

Http2

这个网上很多，我就copy一下了

1、HTTP1.0和HTTP1.1的一些区别

HTTP1.0最早在网页中使用是在1996年，那个时候只是使用一些较为简单的网页上和网络请求上，而HTTP1.1则在1999年才开始广泛应用于现在的各大浏览器网络请求中，同时HTTP1.1也是当前使用最为广泛的HTTP协议。主要区别主要体现在：

缓存处理，在HTTP1.0中主要使用header里的If-Modified-Since,Expires来做为缓存判断的标准，HTTP1.1则引入了更多的缓存控制策略例如Entity tag，If-Unmodified-Since, If-Match, If-None-Match等更多可供选择的缓存头来控制缓存策略。
带宽优化及网络连接的使用，HTTP1.0中，存在一些浪费带宽的现象，例如客户端只是需要某个对象的一部分，而服务器却将整个对象送过来了，并且不支持断点续传功能，HTTP1.1则在请求头引入了range头域，它允许只请求资源的某个部分，即返回码是206（Partial Content），这样就方便了开发者自由的选择以便于充分利用带宽和连接。
错误通知的管理，在HTTP1.1中新增了24个错误状态响应码，如409（Conflict）表示请求的资源与资源的当前状态发生冲突；410（Gone）表示服务器上的某个资源被永久性的删除。
Host头处理，在HTTP1.0中认为每台服务器都绑定一个唯一的IP地址，因此，请求消息中的URL并没有传递主机名（hostname）。但随着虚拟主机技术的发展，在一台物理服务器上可以存在多个虚拟主机（Multi-homed Web Servers），并且它们共享一个IP地址。HTTP1.1的请求消息和响应消息都应支持Host头域，且请求消息中如果没有Host头域会报告一个错误（400 Bad Request）。
长连接，HTTP 1.1支持长连接（PersistentConnection）和请求的流水线（Pipelining）处理，在一个TCP连接上可以传送多个HTTP请求和响应，减少了建立和关闭连接的消耗和延迟，在HTTP1.1中默认开启Connection： keep-alive，一定程度上弥补了HTTP1.0每次请求都要创建连接的缺点。

2、HTTPS与HTTP的一些区别

HTTPS协议需要到CA申请证书，一般免费证书很少，需要交费。
HTTP协议运行在TCP之上，所有传输的内容都是明文，HTTPS运行在SSL/TLS之上，SSL/TLS运行在TCP之上，所有传输的内容都经过加密的。
HTTP和HTTPS使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。
HTTPS可以有效的防止运营商劫持，解决了防劫持的一个大问题。

3、SPDY：HTTP1.x的优化

2012年google如一声惊雷提出了SPDY的方案，优化了HTTP1.X的请求延迟，解决了HTTP1.X的安全性，具体如下：

降低延迟，针对HTTP高延迟的问题，SPDY优雅的采取了多路复用（multiplexing）。多路复用通过多个请求stream共享一个tcp连接的方式，解决了HOL blocking的问题，降低了延迟同时提高了带宽的利用率。
请求优先级（request prioritization）。多路复用带来一个新的问题是，在连接共享的基础之上有可能会导致关键请求被阻塞。SPDY允许给每个request设置优先级，这样重要的请求就会优先得到响应。比如浏览器加载首页，首页的html内容应该优先展示，之后才是各种静态资源文件，脚本文件等加载，这样可以保证用户能第一时间看到网页内容。
header压缩。前面提到HTTP1.x的header很多时候都是重复多余的。选择合适的压缩算法可以减小包的大小和数量。
基于HTTPS的加密协议传输，大大提高了传输数据的可靠性。
服务端推送（server push），采用了SPDY的网页，例如我的网页有一个sytle.css的请求，在客户端收到sytle.css数据的同时，服务端会将sytle.js的文件推送给客户端，当客户端再次尝试获取sytle.js时就可以直接从缓存中获取到，不用再发请求了。SPDY构成图：

SPDY位于HTTP之下，TCP和SSL之上，这样可以轻松兼容老版本的HTTP协议(将HTTP1.x的内容封装成一种新的frame格式)，同时可以使用已有的SSL功能。

4、HTTP2.0：SPDY的升级版

HTTP2.0可以说是SPDY的升级版（其实原本也是基于SPDY设计的），但是，HTTP2.0 跟 SPDY 仍有不同的地方，如下：
HTTP2.0和SPDY的区别：

HTTP2.0 支持明文 HTTP 传输，而 SPDY 强制使用 HTTPS
HTTP2.0 消息头的压缩算法采用 HPACK http://http2.github.io/http2-spec/compression.html，而非 SPDY 采用的 DEFLATE http://zh.wikipedia.org/wiki/DEFLATE

5、HTTP2.0和HTTP1.X相比的新特性

新的二进制格式（Binary Format），HTTP1.x的解析是基于文本。基于文本协议的格式解析存在天然缺陷，文本的表现形式有多样性，要做到健壮性考虑的场景必然很多，二进制则不同，只认0和1的组合。基于这种考虑HTTP2.0的协议解析决定采用二进制格式，实现方便且健壮。
多路复用（MultiPlexing），即连接共享，即每一个request都是是用作连接共享机制的。一个request对应一个id，这样一个连接上可以有多个request，每个连接的request可以随机的混杂在一起，接收方可以根据request的 id将request再归属到各自不同的服务端请求里面。
header压缩，如上文中所言，对前面提到过HTTP1.x的header带有大量信息，而且每次都要重复发送，HTTP2.0使用encoder来减少需要传输的header大小，通讯双方各自cache一份header fields表，既避免了重复header的传输，又减小了需要传输的大小。
服务端推送（server push），同SPDY一样，HTTP2.0也具有server push功能。

6、HTTP2.0的升级改造

前文说了HTTP2.0其实可以支持非HTTPS的，但是现在主流的浏览器像chrome，firefox表示还是只支持基于 TLS 部署的HTTP2.0协议，所以要想升级成HTTP2.0还是先升级HTTPS为好。
当你的网站已经升级HTTPS之后，那么升级HTTP2.0就简单很多，如果你使用NGINX，只要在配置文件中启动相应的协议就可以了，可以参考NGINX白皮书，NGINX配置HTTP2.0官方指南 https://www.nginx.com/blog/nginx-1-9-5/。
使用了HTTP2.0那么，原本的HTTP1.x怎么办，这个问题其实不用担心，HTTP2.0完全兼容HTTP1.x的语义，对于不支持HTTP2.0的浏览器，NGINX会自动向下兼容的。

7、HTTP2.0的多路复用和HTTP1.X中的长连接复用有什么区别？

HTTP/1.* 一次请求-响应，建立一个连接，用完关闭；每一个请求都要建立一个连接；
HTTP/1.1 Pipeling解决方式为，若干个请求排队串行化单线程处理，后面的请求等待前面请求的返回才能获得执行机会，一旦有某请求超时等，后续请求只能被阻塞，毫无办法，也就是人们常说的线头阻塞；
HTTP/2多个请求可同时在一个连接上并行执行。某个请求任务耗时严重，不会影响到其它连接的正常执行；
具体如图：

服务器推送到底是什么？
服务端推送能把客户端所需要的资源伴随着index.html一起发送到客户端，省去了客户端重复请求的步骤。正因为没有发起请求，建立连接等操作，所以静态资源通过服务端推送的方式可以极大地提升速度。具体如下：

普通的客户端请求过程：

服务端推送的过程：

为什么需要头部压缩？
假定一个页面有100个资源需要加载（这个数量对于今天的Web而言还是挺保守的）, 而每一次请求都有1kb的消息头（这同样也并不少见，因为Cookie和引用等东西的存在）, 则至少需要多消耗100kb来获取这些消息头。HTTP2.0可以维护一个字典，差量更新HTTP头部，大大降低因头部传输产生的流量。具体参考：HTTP/2 头部压缩技术介绍

HTTP2.0多路复用有多好？
HTTP 性能优化的关键并不在于高带宽，而是低延迟。TCP 连接会随着时间进行自我「调谐」，起初会限制连接的最大速度，如果数据成功传输，会随着时间的推移提高传输的速度。这种调谐则被称为 TCP 慢启动。由于这种原因，让原本就具有突发性和短时性的 HTTP 连接变的十分低效。
HTTP/2 通过让所有数据流共用同一个连接，可以更有效地使用 TCP 连接，让高带宽也能真正的服务于 HTTP 的性能提升。

下载 https://github.com/dz45693/gohttpcert.git

参考

https://youngkin.github.io/post/gohttpsclientserver/

https://www.cnblogs.com/pzblog/p/9088286.html

https://blog.csdn.net/Jmilk/article/details/107571540