동시성 테스트가 통과했다. 근데 아무것도 증명하지 못한 테스트였다. 다시 짜서 돌려 보니 롤백이 16번 중 5번 실패했고, 고치기 전 코드였다면 그 5번을 전부 "성공"으로 기록했을 거다.

인터넷이 완전히 막힌 Windows 서버에서 git push 하나로 배포하는 도구(봉화)를 만들면서 겪은 일이다. 오픈소스 개발자대회에 냈는데 상은 못 받았다.

시작은 폐쇄망에서 LLM을 구축해 보려던 거였다. 라이브러리랑 버전 맞추는 게 너무 힘들었고, git으로 받는 설치는 결국 밖으로 나가는 연결이 필요했다. 폐쇄망에선 그게 막혀 있다. 그래서 봉화는 처음부터 새로 들고 들어갈 게 0개인 걸 목표로 잡았다. 이미 안에 있는 것만 쓴다.

뭘 만들었나

outbound 443까지 막힌 Windows Server + IIS 환경. GitHub Actions self-hosted runner는 github.com에 나가야 해서 못 쓴다. 그래서 이미 들어와 있는 Git for Windows, Gitea, MSBuild만으로 배포를 돌렸다.

git push → Gitea post-receive hook → MSBuild → 릴리즈 폴더 → IIS junction 스위칭 → 이력 기록 롤백 = 이전 릴리즈 폴더로 junction 다시 연결 

junction은 폴더 바로가기 같은 거다. IIS는 늘 같은 경로를 보고, 그 경로가 가리키는 릴리즈 폴더만 바꿔 끼운다.

Windows 서버가 없어서 GitHub Actions의 Windows 러너에서 이 사이클 전체를 돌려 검증했다.

통과한 테스트가 증명한 게 없었다

push 배포와 수동 롤백이 동시에 돌면 어떻게 되는지 보고 싶었다. 처음엔 300ms 늦게 롤백을 띄워서 겹치길 기대했다. 테스트는 통과했다.

근데 로그를 보니 한 번도 안 겹쳤다. push 쪽이 git credential manager의 호스팅 자동 판별(원격이 GitHub인지 GitLab인지 같은 걸 알아내는 단계) 때문에 매번 4초쯤 늦게 출발해서, 롤백이 다 끝난 뒤에야 배포가 돌았다. "겹쳐도 안전하다"가 아니라 "이번엔 안 겹쳤다"였다.

코드를 읽다가 의심 가는 데도 있었다. deploy.ps1은 mklink 다음에 $LASTEXITCODE를 확인하는데 rollback.ps1은 그게 빠져 있었다. mklink가 실패해도 [rollback] DONE을 찍고 이력엔 롤백 성공으로 남는다. junction은 그대로인데. 그래서 이것부터 고쳤다.

그리고 타이밍에 기대는 걸 버렸다. 실제 rollback.ps1을 병렬 잡 4개에서 3초 동안 반복 실행해서 같은 junction을 억지로 경합시켰다. 다 합쳐 16번 호출됐다.

그중 5번 mklink가 실제로 실패했다. 같은 junction을 동시에 지우고 다시 만들다가 부딪힌 거다. 고치기 전 코드였으면 이 5번이 전부 조용한 "성공"이었다.

고친 코드(scripts/rollback.ps1):

& cmd /c mklink /J "$($C.LiveJunction)" "$Release" | Out-Null if ($LASTEXITCODE -ne 0) { throw "junction switch failed (mklink exit $LASTEXITCODE)" } # ... catch { "$(Get-Date -Format o)|ROLLBACK_FAIL|-|$_" | Add-Content $C.HistoryFile 

고친 코드는 이 5번을 전부 ROLLBACK_FAIL로 남겼다. 경합 뒤에도 junction은 항상 유효한 폴더를 가리켰다.

에러를 다 가린 함수 이름

이력 남기는 함수 이름을 History로 지었다. PowerShell엔 history라는 기본 별칭(Get-History)이 있고, 이름이 같으면 함수보다 별칭이 먼저 잡힌다. 내 함수 대신 Get-History가 불려서 실패할 때마다 진짜 에러 대신 Cannot bind parameter 'Count'만 나왔다. 실패 경로 전부가 이 에러 하나로 덮여 있었다.

Write-BonghwaHistory로 바꾸고 나서야 진짜 에러가 보였다.

진짜 격리망에서 도는지

"격리망에서도 된다"는 말은 실제로 막아 놓고 돌려 봐야 한다. 러너에서 방화벽으로 나가는 연결을 전부 막았다.

netsh advfirewall firewall add rule name="BonghwaBlockOutbound" dir=out action=block protocol=any 

github.com:443 접속이 막히는 걸 먼저 확인하고, 그 상태로 배포 → 재배포 → 빌드 실패(기존 버전 그대로 유지) → 롤백을 돌렸다. 전부 통과했다. 배포 경로가 localhost(Gitea, IIS)만 쓴다는 걸 이걸로 확인했다.

확인해 볼 것

  • 동시성 테스트가 통과했을 때, 실제로 겹쳤다는 로그가 있나?
  • mklink 같은 외부 명령 다음에 종료 코드를 확인하나?
  • PowerShell 함수 이름이 기본 별칭이랑 겹치지 않나? Get-Alias <이름>으로 확인된다
  • "격리망 지원"을 실제로 막아 놓고 돌려 봤나?

코드: github.com/JustJinoIT/bonghwa (MIT)