.NetCore中IdentityServer使用nginx-proxy的一次排错经历

前言

最近在看 Duende.IdentityServer.Admin，本地使用IIS Express跑了一下源码，也看了一遍的代码，决定使用他们的模板创建一个Demo，部署在本地的Docker环境中，也算是踩一下坑吧。以下不会详细介绍项目的部署，只会介绍部署时遇到的问题。

创建 Duende.IdentityServer.Admin

首选安装模板，此时最新版本 1.1.0，具体可以参考官方

dotnet new -i Skoruba.Duende.IdentityServer.Admin.Templates::1.1.0

然后可以就可以使用VS去创建了，当然也可以使用命令行创建，具体在GitHub上已有说明，这里不做详细赘述。

Docker部署

创建完项目之后，使用IIS Express运行项目，几乎没有任何问题，接下来就是使用docker-compose去部署项目。docker-compose.yml代码如下：

version: '3.4'services:sqldata:image: mcr.microsoft.com/mssql/server:2017-latestcontainer_name: youthsoft-identityserver-dbidentity-sts:image: ${REGISTRY:-youthsoftdapr}/identity.sts:${TAG:-latest}build:context: .dockerfile: src/Services/Identity/YouthSoft.IdentityServer.STS.Identity/Dockerfilecontainer_name: youthsoft-identity-stsidentity-admin:image: ${REGISTRY:-youthsoftdapr}/identity.admin:${TAG:-latest}build:context: .dockerfile: src/Services/Identity/YouthSoft.IdentityServer.Admin/Dockerfilecontainer_name: "youthsoft-identity-admin"

这里没有配置具体的信息，具体信息配置在了docker-compose.override.yml文件中，如下：

version: '3.4'services:sqldata:environment:- SA_PASSWORD="${DB_PASSWORD:-Pass@word}"- ACCEPT_EULA="Y"ports:- "6433:1433"volumes:- youthsoft-sqldata:/var/opt/mssqlidentity-sts:environment:- ASPNETCORE_ENVIRONMENT=Development- AdminConfiguration__IdentityAdminBaseUrl=http://localhost:6101- ConnectionStrings__ConfigurationDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__PersistedGrantDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__IdentityDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__DataProtectionDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=trueports:- "6101:6101"depends_on:- sqldatavolumes:- './shared/serilog.json:/app/serilog.json'identity-admin:environment:- VIRTUAL_HOST=admin.youthsoft.local- ASPNETCORE_ENVIRONMENT=Development- 'AdminConfiguration__IdentityAdminBaseUrl=http://localhost:6102'- AdminConfiguration__IdentityAdminRedirectUri=http://localhost:6102/signin-oidc- AdminConfiguration__IdentityServerBaseUrl=http://localhost:6101- ConnectionStrings__ConfigurationDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__PersistedGrantDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__IdentityDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__AdminLogDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__AdminAuditLogDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__DataProtectionDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=truedepends_on:- identity-sts- sqldatavolumes:youthsoft-sqldata:external: falsenetworks:proxy:driver: bridgeidentityserverui:driver: bridge

遇到的问题

问题1：IDX20804

说明：docker-compose 中 sts 设置的端口是 6101，访问地址是 http://localhost:6101，admin设置的端口是6102，访问地址是http://localhost:6102。理想状态下打开http://localhost:6101 会打开sts，点击 IdentityServer Admin 按钮时会跳转到admin，也就是http://localhost:6102，但是每次当点击跳转的时候就会出现上边的错误，起初不是很理解，最后在GitHub的issue得到了启发。

第一次打开http://localhost:6101时会打开sts，此时正常跳转。但是当点击 IdentityServer Admin 时，此时的http://localhost:6102就不是宿主机的地址了，而是sts容器中的地址，容器中没有6102端口所以就无法打开。

解决方法

仔细查看了Duende.IdentityServer.Admin中的配置，发现要使用docker的话，就不能使用localhost，而是要使用域名，那本地如何设置域名呢？答案就是在windows的host文件中配置，在host文件中添加 127.0.0.1 admin.youthsoft.local sts.youthsoft.local，这样这两个域名就会运行在本地，就可以实现localhost的功能。

同时还需要借助nginx将不同的域名代理到不同的容器中，这里使用了nginx-proxy，他可以根据docker-compose上的配置自动生成ngxin的配置，也就是docker容器的自动反向代理，详细的使用可参考官方，使用起来也比较简单，就是在环境变量中添加一个 VIRTUAL_HOST配置，并指向前边配置的本地域名，然后nginx-proxy在创建容器的时候就会自动创建该容器的反向代理。

如下就是自动生成的反向代理：

修改docker-compose.override.yml

version: '3.4'services:nginx-proxy:image: jwilder/nginx-proxycontainer_name: nginx002ports:- '80:80'volumes:- './shared/nginx/conf.d:/etc/nginx/conf.d'- '/var/run/docker.sock:/tmp/docker.sock:ro'networks:proxy: nullidentityserverui:aliases:- sts.youthsoft.local- admin.youthsoft.localrestart: alwayssqldata:environment:- SA_PASSWORD="${DB_PASSWORD:-Pass@word}"- ACCEPT_EULA="Y"ports:- "6433:1433"volumes:- youthsoft-sqldata:/var/opt/mssqlnetworks:identityserverui: nullidentity-sts:environment:- VIRTUAL_HOST=sts.youthsoft.local- ASPNETCORE_ENVIRONMENT=Development- AdminConfiguration__IdentityAdminBaseUrl=http://admin.youthsoft.local- 'IdentityServerOptions__IssuerUri=http://sts.youthsoft.local'- ConnectionStrings__ConfigurationDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__PersistedGrantDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__IdentityDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__DataProtectionDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=truedepends_on:- sqldatavolumes:- './shared/serilog.json:/app/serilog.json'- './shared/nginx/certs/cacerts.crt:/usr/local/share/ca-certificates/cacerts.crt'networks:identityserverui:aliases:- sts.youthsoft.localidentity-admin:environment:- VIRTUAL_HOST=admin.youthsoft.local- ASPNETCORE_ENVIRONMENT=Development- 'AdminConfiguration__IdentityAdminBaseUrl=http://admin.youthsoft.local'- AdminConfiguration__IdentityAdminRedirectUri=http://admin.youthsoft.local/signin-oidc- AdminConfiguration__IdentityServerBaseUrl=http://sts.youthsoft.local- 'IdentityServerData__Clients__0__ClientUri=http://admin.youthsoft.local'- 'IdentityServerData__Clients__0__RedirectUris__0=http://admin.youthsoft.local/signin-oidc'- 'IdentityServerData__Clients__0__FrontChannelLogoutUri=http://admin.youthsoft.local/signin-oidc'- 'IdentityServerData__Clients__0__PostLogoutRedirectUris__0=http://admin.youthsoft.local/signout-callback-oidc'- 'IdentityServerData__Clients__0__AllowedCorsOrigins__0=http://admin.youthsoft.local'- 'IdentityServerData__Clients__1__RedirectUris__0=http://admin-api.youthsoft.local/swagger/oauth2-redirect.html'- ConnectionStrings__ConfigurationDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__PersistedGrantDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__IdentityDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__AdminLogDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__AdminAuditLogDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=true- ConnectionStrings__DataProtectionDbConnection=Server=sqldata;Database=YouthSoftIdentityServerAdmin;User Id=sa;Password=${DB_PASSWORD:-Pass@word};TrustServerCertificate=truedepends_on:- identity-sts- sqldatanetworks:identityserverui: nullvolumes:youthsoft-sqldata:external: falsenetworks:proxy:driver: bridgeidentityserverui:driver: bridge

注意：本次修改的配置文件中，修改了数据库初始化文件(identityserverdata.json)中种子数据中的地址。这就要先把之前迁移生成的数据库先删掉，或者把数据库中的地址改成和配置文件中的地址一样，建议还是先删掉再重新执行一次迁移。

问题2：找不到任何可成功连接的IP (sts.youthsoft.local:80)

大部分人可能都不会遇到这个问题，但是这个问题困扰了我好久，错误也捕捉不到，原因就是我的80端口被占用了，CMD执行 netstat -aon|findstr "80"命令，发现除了docker占用了80端口，还有其它程序也占用了80端口，一看原来是我开着FastGithub.UI这个程序，这个程序主要就是加速GitHub的访问，平时访问github时不能出来的图片，在打开它后也可以出来，经常逛GitHub的朋友可以用一下。如果有类似的问题，可以排查一下80端口是否被占用。

解决方法：

关闭掉程序就可以打开了。

问题3：跳转 IdentityServer Admin 时，nginx报502错误

上边一切就绪，但是在跳转到IdentityServer Admin时，出现了nginx 502错误，在查看了nginx容器的日志后，找到了问题。

upstream sent too big header while reading response header from upstream

解决方法

解决方法就是在nginx配置的http段添加以下配置

proxy_buffer_size          128k;
proxy_buffers              4 256k;
proxy_busy_buffers_size    256k;

但是nginx的配置是自动生成的啊，怎么办？我们可以把 nginx的 conf.d 文件夹挂载到本地，并在文件夹中创建一个 .conf 结尾的文件，比如：proxy.conf，内容就存放上边的配置即可。因为在 nginx.conf 的http段有一个配置，默认会包含 conf.d 文件夹下的所有配置文件。include /etc/nginx/conf.d/*.conf;

重新运行docker-compose 发现就可以

写在最后

排错是痛苦的，但是也是成长最快的方法，因为在经历一番折腾后得出的知识印象也最深刻。