루지

[Docker] Gitlab CE 업그레이드 후 500 에러 (웹훅, OpenSSL:Cipher::CipherError())

루우지 — Wed, 21 Aug 2024 14:01:34 +0900

이전 포스트에서 정상적으로 업그레이드된 줄 알았으나 Git 관리자 페이지의 특정 기능들을 사용하려면 500 에러가 발생했다.

>> sudo docker logs gitlab -f

로그를 확인해보면 아래와 같은 OpenSSL 에러가 발생된걸 확인 할 수 있다.

OpenSSL::Cipher::CipherError ():

lib/gitlab/crypto_helper.rb:27:in `aes256_gcm_decrypt'
app/models/concerns/token_authenticatable_strategies/encrypted.rb:55:in `get_token'
app/models/concerns/token_authenticatable_strategies/base.rb:27:in `ensure_token'
app/models/concerns/token_authenticatable_strategies/encrypted.rb:42:in `ensure_token'
app/models/concerns/token_authenticatable.rb:38:in `block in add_authentication_token_field'
app/services/application_settings/update_service.rb:18:in `execute'
app/controllers/admin/application_settings_controller.rb:40:in `update'
lib/gitlab/i18n.rb:55:in `with_locale'
lib/gitlab/i18n.rb:61:in `with_user_locale'
app/controllers/application_controller.rb:420:in `set_locale'
lib/gitlab/middleware/multipart.rb:103:in `call'
lib/gitlab/request_profiler/middleware.rb:16:in `call'
...
...

찾아보니 마이그레이션, 혹은 백업 복구시 기존 SSL 관련된것들이 처리가 제대로 안된듯한 이슈로 보인다.

정확한것은 Gitlab 컨테이너의 상태 체크를 해보는것이 필요하다.

우선 Docker Container로 접속한다.

>> docker exec -it <gitlab-container-id> /bin/bash

아래의 명령어를 사용하여 secrets 인증 관련된 상태를 체크 한다.

>> gitlab-rake gitlab:doctor:secrets VERBOSE=1

벌써부터 보이는 빨간색 에러 항목들.

순차적으로 처리해보며 원하는 기능이 동작하는지 확인해봤다.

otp_secret Error

https://gitlab.com/gitlab-org/gitlab-foss/-/issues/1960

Hi, I have a production CE instance running 7.11.4. Some users have 2FA enabled. When I take a backup of the system it completes without errors,...

gitlab.com

위의 해결방법을 참고하여 수정했다.

우선 gitlab-rails 명령어를 사용하여 모든 사용자들의 OTP 인증 기능을 OFF 했다. (어차피 내부망에서 사용하지 않는 기능)

>> gitlab-rails runner User.update_all(otp_required_for_login: false, encrypted_otp_secret: nil, encrypted_otp_secret_iv: nil, encrypted_otp_secret_salt: nil, otp_backup_codes: nil)

정상 수행 되면 아래의 명령어로 gitlab 재설정을 진행한다.

>> gitlab-ctl reconfigure

ApplicationSetting[1] : ci_jwt_signing_key, error_tracking_access_token

위의 에러는 Gitlab이 사용하는 PostgreSQL의 테이블들에 기록된 Token 값들을 삭제해주면 된다.

아래의 명령어를 사용하여 PostgreSQL 콘솔에 접속한다.

>> gitlab-psql

이제 특정 테이블의 runners_token 컬럼을 null 처리 해주는 작업을 진행한다.

Update projects Set runners_token = null, runners_token_encrypted = null;

Update namespaces Set runners_token = null, runners_token_encrypted = null;
Update application_settings Set runners_registration_token_encrypted = null;

Update ci_runners Set token = null, token_encrypted = null;

중간에 오타로 실패한 쿼리는 넘어가주세요 ㅎㅎ,,

필자는 이 단계 까지 진행한뒤 관리자 페이지에서 문제가 되었던 WebHook 기능을 설정하려고 하니 정상 동작하였다.

[Docker] Gitlab CE 업그레이드 하기 (14 ver later) 2탄

루우지 — Tue, 20 Aug 2024 14:35:14 +0900

1편에서 13버전의 Last까지 업그레이드는 성공했다.

14버전도 동일하게 진행하려고 하였으나 14버전에서 부터는 Background Migration이 적용됬다.

https://docs.gitlab.com/ee/update/background_migrations.html

Background migrations and upgrades | GitLab

GitLab product documentation.

docs.gitlab.com

14버전의 초입까지는 쉽게 마이그레이션이 되었으나 그 다음 버전부터 이미지 교체 후 실행하면 컨테이너가 정상 작동하지 않는 현상이 발생됬다.

https://docs.gitlab.com/ee/update/background_migrations.html#batched-background-migrations

Background migrations and upgrades | GitLab

GitLab product documentation.

docs.gitlab.com

로그를 뜯어보면

Expected batched background migration for the given configuration to be marked as 'finished', but it is 'active':

라는 메세지를 찾을 수 있다.

말 그대로 Background Migration이 완료되지 않은 상태에서 진행되어 발생된 현상이였다.

https://docs.gitlab.com/ee/update/background_migrations_troubleshooting.html#database-migrations-failing-because-of-batched-background-migration-not-finished

Troubleshooting | GitLab

GitLab product documentation.

docs.gitlab.com

가이드에 나온 트러블 슈팅을 보며 정확히 내가 마주한 현상의 로그가 발생된걸 확인할 수 있다.

우선 이전에 백업을 뜬 버전으로 롤백했다.

(https://luji.tistory.com/97 참고)

Background Migration 현황 확인하기

정확하진 않지만 13버전 마지막, 혹은 14버전 초반까지 업그레이드가 모니터링 매뉴에 Backgorund Migrations가 추가된다.

1. Gitlab 홈페이지 관리자 계정 로그인

2. 상단 메뉴 -> 관리자 -> 관리자 영역의 모니터링 탭 -> Background Migration 메뉴 클릭

Background Migration 현황

큐에 들어간 작업 목록(진행중)

위의 화면에서 Background Migration의 현황을 확인 할 수 있다.

여기서 체크해야할 부분은 Queued(진행중), 실패 메뉴에 항목이 없고, 완료 탭에 모든것이 Finished 상태여야한다.

Queued은 진행될 작업이 쌓여있으며 순차적으로 실행 된다.

모든것이 Finished 상태가 된다면 앞서서 진행한 방식대로 이미지 교체 방식으로 Git을 업그레이드 하면된다.

진행하다 보니 모든 버전에서 Background Migration이 진행되는것은 아니였다.

특정 버전을 기점으로 진행되는거 같으니 항상 업그레이드가 끝난 뒤 관리자 페이지에서 현황을 확인해보고 진행해야한다.

또한 버전별로 백업을 진행하여 태초마을로 돌아가지 않도록 주의하자.

Sidekiq 프로세스 설정 (선택, 딱히 효과 없는듯)

좀더 빠른 진행을 위해 Sidekiq의 프로세스 수를 늘려줘 봤다.
이 Sidekiq의 Multiple processes 처리를 위해 프로세스의 갯수를 임의로 늘릴 수 있다.

Gitlab에서 제공하는 Sidekiq은 백그라운드 관리자와 비슷한 역할인듯하다.

https://docs.gitlab.com/ee/administration/sidekiq/extra_sidekiq_processes.html

Run multiple Sidekiq processes | GitLab

GitLab product documentation.

docs.gitlab.com

1. vi /srv/gitlab/logs/gitlab.rb

- Vi 에디터로 오픈

2. 맨 마지막 줄에 아래의 설정 추가 후 저장

sidekiq['queue_groups'] = ['*'] * 4

3. docker exec -t <container-name> gitlab-ctl reconfigure

릴리즈 노트 확인

https://gitlab-com.gitlab.io/cs-tools/gitlab-cs-tools/what-is-new-since/?tab=features&minVersion=12_03

Release Overview

gitlab-com.gitlab.io

버전별 릴리즈 노트를 한눈에 확인할 수 있는 사이트

마무리

Gitlab Docker 이미지 업그레이드를 하면서 느낀점이 있다면 자주 관심을 가져주자 ㅜ,,

한번에 몰아서 하려고 하니 들어가는 시간이 좀 걸렸다 ㅜ

그렇지만 자동화된 업그레이드 & 마이그레이션으로 솔직히 쉽게 진행했다.

물론 초반에 겪은 시행착오가 스트레스를 받긴 했지만..

[Docker] Gitlab CE 업그레이드 하기 (12.2.5 ver) 1탄

루우지 — Tue, 20 Aug 2024 12:48:08 +0900

팀내에 사용중이던 Gitlab CE 가 최근에 하드가 사망하여 재구축해야하는 상황이 발생됬다.

매일 백업되던 Backup 파일로 재구축은 하였으나 백업된 파일이 구버전이기에 최신버전의 도커 이미지로 구축시 에러가 발생했다.

(괜한 욕심이였나 싶기도하고,,)

기존 12.2.5 버전 -> 목표 17 버전

업그레이드 과정은 어찌보면 간단하다.

Docker Image를 교체해주면 Gitlab 컨테이너 자체에서 마이그레이션을 진행해준다.

가이드

https://docs.gitlab.com/ee/install/docker/upgrade.html

Upgrade | GitLab

GitLab product documentation.

docs.gitlab.com

유의점

- 현재 실행되는 도커 컨테이너의 백업 필수

- 현 도커의 Volume 패스 확인

-> 호스트 머신의 Volumn으로 지정된 Path에 Git Container의 설정 및 데이터들이 남아있기에 업그레이드 과정중에 도커 컨테이너를 삭제해도 기존 데이터를 가지고 마이그레이션을 진행하는 원리

업그레이드 과정

1. 도커 Git 컨테이너 중지

- docker stop {git-container-name}

2. 도커 Git 컨테이너 삭제

- docker rm {git-container-name}

3. 도커 Git 이미지 Pull 받기

- docker pull gitlab/gitlab-ce:<version>-ce.0

4. GITLAB_HOME 환경 변수 확인

5. 신규 이미지로 도커 컨테이너 실행

docker run --detach

--hostname gitlab.example.com

--publish 443:443 --publish 80:80 --publish 22:22

--name gitlab

--restart always

--volume $GITLAB_HOME/config:/etc/gitlab

--volume $GITLAB_HOME/logs:/var/log/gitlab

--volume $GITLAB_HOME/data:/var/opt/gitlab

--shm-size 256m

위의 과정을 계속 업그레이드를 하면서 따라가면 된다.

GITLAB_HOME 환경변수는 지정하기 귀찮아 나는

--volume /srv/gitlab/config:/etc/gitlab 와 같이 /srv/gitlab을 명시했다.

이렇게 셋팅하면 /srv/gitlab 패스로 도커 깃 컨테이너와의 연결 경로가 생긴다.

에러 로그 확인

>> sudo docker logs gitlab -f

에러 로그를 확인하면서 마이그레이션을 진행해야한다.

-f 옵션은 실시간 로그를 확인하려면 사용

호기롭게 최신이미지 16버전의 이미지를 Pull 받고 실행하려고 했으나 에러발생.

12.2.5 -> 16.11.8 업그레이드 실패

최소 16.7 버전을 설치하라는 안내 문구에 따라 해당 버전의 이미지를 Pull 받고 재시도 하였으나 계속 실패..

12.2.4 -> 14 업그레이드 실패

14버전으로 낮췄음에도 동일한 에러발생

무언가 잘못됬음을 직감하고 가이드를 다시 정독하였다.

https://docs.gitlab.com/ee/update/plan_your_upgrade.html

Create a GitLab upgrade plan | GitLab

GitLab product documentation.

docs.gitlab.com

가이드에 따르면 업그레이드 계획을 세워야한다.

https://gitlab-com.gitlab.io/support/toolbox/upgrade-path/

Upgrade Path

gitlab-com.gitlab.io

Gitlab에서 제공하는 위의 사이트에서 현제 버전과 타겟 버전, 에디션과 설치유형을 선택하여 Go! 를 누른다.

앞으로 위의 단계에 따라.. 업그레이드를 진행해야한다. (ㅜㅜ)

그나마 13버전까지는 단순히 이미지 교체작업만 해주면 되기에 큰 에러없이 13버전까지 업그레이드는 성공했다.

업글 성공

다만 14버전 이후 부터는 백그라운드 마이그레이션 작업이 선행되어야지 업그레이드 가능하다.

다음 포스트에 이어서..

[Docker] Desktop - WSL update failed 에러 해결 (win11)

루우지 — Tue, 9 Jul 2024 22:07:05 +0900

간만에 포맷하고 윈 11에 Docker를 설치하였더니 만난 WSL 에러.

바로 PowerShell 관리자로 켜주고

wsl --update 명령어를 날려줬다.

하지만 해결되지 않았다.

뭔가 이상함을 느껴보니 설치가 안되어있는 듯 했다.

wsl --install 명령어를 날려줬다.

설치가 쭉 진행되고 리부팅 한번 해줬더니 정상적으로 동작!

럭키비키~

[에러] listen EACCES: permission denied 127.0.0.1:5173 (React, Vite)

루우지 — Sun, 16 Jul 2023 16:28:22 +0900

vite.js로 구성한 react.js가 어느 순간에 포트가 박혀벼리는 현상이 발생했다

검색해보니 윈도우 포트가 잠겼을때 발생하는 현상으로 자주 보고 되는듯 하다.

해결법

1. Posershell 관리자로 실행

2. 명령어 입력 (winnat 서비스 종료 후 재기동)

Pentaho를 이용한 데이터 전환 (Windows 설치편)

루우지 — Thu, 13 Jan 2022 10:06:21 +0900

Pentaho는 Java기반의 Database 데이터 마이그레이션 기능을 지원하는 오픈소스 툴이다.

막연히 Windows에 설치하고 Pentaho를 실행하면 뜨질 않는다.

자잘한 환경 변수 설정을 해줘야하는데, 그 전에 Java가 설치되어 있어야한다.

0. 준비

1) 오라클 계정 (Java 다운로드시 필요)

2) 윈도우 8 or 10

3) 환경 변수를 설정 할 수 있는 권한

4) Java를 설치 할 수 있는 권한

1. Pentaho 다운로드

아래의 링크를 클릭하여 zip파일을 다운로드 받은 후 원하는 위치에 압축을 푼다.

-> 다운로드

2. Java 다운로드

아래의 링크를 클릭하 Java 설치 파일을 다운로드 받는다. (64Bit 기준)

-> 다운로드

이 후 Installer 를 이용하여 Java를 설치하게 되면 C:\Program Files\java 폴더의 구조는 아래의 화면처럼 구성된다.

jdk와 jre가 설치된 모습.

3. 환경변수 셋팅

제어판 -> 시스템 환경 변수 편집 클릭 후

환경 변수 버튼 클릭

시스템 변수 -> 새로 만들기 버튼 클릭

1) PENTAHO_JAVA 환경 변수 생성

2) PENTAHO_JAVA_HOME 환경 변수 생성

3) JAVA_HOME 환경 변수 생성

총 3개의 환경 변수를 설정 해두면, 기본적인 환경 설정은 끝났다.

이제 1번 Step에서 압축푼 폴더로 이동해보면 Spoon.bat 파일을 실행하여 pentaho 프로그램을 기동한다.

- 설치 끝 -

태클라스트 T40 Plus 리뷰

루우지 — Tue, 30 Nov 2021 14:47:18 +0900

기존.. 차량에서 쓰던 갤럭시탭 s5e 를 네비용으로 썻었는데

매번 차량에 탑승할때 마다 테더링을 해줘야하는 버거로움에 빡쳐하던 중

최근에 그 정점에 달해 셀룰러 태블릿을 찾게 되었다.

다나와에 보면 15만원 후반대에 태클라스트 태블릿이 있지만

이번에 내가 산건 좀더 상위 버전의 T40 Plus이다.

실제 광고에 올라온 이미지를 보고 태블릿을 사면 낚이게 될것이다.

왜냐면 광고 이미지와 실물의 배젤차가 매우 크기 때문..

하지만 셀룰러가 된다는 점에서 이 제품을 선택하게 되었다.

대략적인 패키징은 이렇게 되어있고 충전기는 포함되어있지 않다.

후면부 사진

왼쪽이 t40 plus 오른쪽이 s5e

전반적으로 s5e가 배잴, 디스플레이크기 해상도가 더 높았다.

또한 삼성 one ui에 익숙해진 나로써는 쌩안드로이드는 매우 불편하다.

간단하게 정리하면

장점 :

- 매우 저렴한 셀룰러 태블릿

- 가성비 좋은 스펙 (디스플레이, 램, 저장공간)

단점 :

- 두꺼운 배젤

- 해상도가 생각보다 아쉬움 (애매한 해상도로 넷플릭스 hd화질 못 봄)

- GPS 부정확함 (못 쓸정도는 아니지만 한번씩 경로 못잡거나 할 경우 있음)

차량에서 네비용도로만 쓸 태블릿이기에 t40 plus로도 충분할꺼라 생각된다.

동영상 서비스가 종료되어 해당 콘텐츠를 재생할 수 없습니다.

httpie Windows에서 설치하기

루우지 — Sun, 3 Nov 2019 22:20:19 +0900

httpie란?

파이선에서 개발된 유틸리티로 http 개발이나 디버깅 용도로 사용된다. 사용성이 쉬우면서 json이 내장되어있다. 가독성이 뛰어나며 기타 장점들이 있음.

보통 리눅스나 맥에선 yum, apt, brew로 httpie를 땡겨오면 설치가 되지만 윈도우에선 파이선을 설치하여 pip로 설치해야한다. (https://httpie.org/doc#installation)

설치하기

1. https://www.python.org/downloads/ 에서 파이선 설치한다.

Customize Installation 클릭

선택 기능에 pip 기능 체크

선택 옵션에서 pip 기능 체크후 설치를 진행한다.

설치 경로는 미리 기억해두자.

설치된 모습

cmd를 실행하여 py를 입력하면 파이선 구동된 모습 확인가능.

2. 시스템 환경 변수 등록

시스템 환경변수는 환경 변수 -> 시스템 변수 -> path에 새로만들기 하여 추가한다.

C:\Users\luji\AppData\Local\Programs\Python\Python38-32\Scripts(내 PC의 경로) 파이선\Script폴더 경로까지를 입력한다.

3. httpie 설치

cmd창에 아래의 명령어 입력

pip install -U httpie

설치 완료된 모습

4. 예제 확인

cmd에 아래의 명령어를 입력하면 응답을 확인할 수 있다.

http GET http://www.example.com

[Mac] 맥에서 SourceTree 비밀번호 계속 물을 경우 (

루우지 — Tue, 1 Oct 2019 16:09:46 +0900

1. 터미널로 프로젝트 폴더 경로까지 이동

$ cd /User/luji/프로젝트

2. Git 설정파일 등록

$ git config credential.helper store

3. Git 명령어 실행

$ git pull

4. 사용자 정보 입력

이단계에서 사용자 정보를 입력하면 이후 부터 비밀번호를 묻지 않음

[Docker] Gitlab CE 백업/복구 하기

루우지 — Sun, 22 Sep 2019 22:44:45 +0900

기존 도커 컨테이너로 실행한 Gitlab을 백업 복구하는 방법을 찾아 보았다.

생각보다 간단하게 명령어로 백업파일을 생성하고 복구할수 있도록 설정이 되어있어서 간편한것 같아서 정리해두기 위해 글을 쓴다.

1. 실행중인 도커 컨테이너 백업하기

$ docker exec -t <컨테이너 이름> gitlab-backup create

위의 명령어를 실행하면 도커를 생성할때 잡아둔 볼륨 디렉토리로 backup파일이 생성된다.

나같은 경우엔 볼륨 경로는 /Users/luji/srv/gitlab/.. 으로 잡아 두었기 때문에 백업파일의 생성 경로는 /Users/luji/srv/gitlab/data/backups 디렉토리에 저장되었다. 생성된 파일명은 ~~_gitlab_backup.tar으로 tar압축파일이 생성된다. 이제 이 tar파일을 따로 저장하여 백업하고자하는 머신으로 파일을 옮긴다.

나는 하나의 머신에서 테스트를 위해 기존에 실행중인 컨테이너를 삭제한뒤, 생성된 볼륨 디렉토리를 모두 삭제한 다음 새로운 컨테이너를 생성하였다. 이렇게 생성된 컨테이너는 모든게 초기화된 초기 상태의 컨테이너이다.

2. 도커 컨테이너 복구하기

$ docker exec -it gitlab gitlab-backup restore

Postgres DB를 백업파일로 복구 하는 모습이다. 끝~