TIL - CI/CD가 뭔가요?, 파이썬 GC(Garbage Collection), 파이썬 GIL

🪐 CI/CD 가 뭔가요?

프로젝트를 배포했는데, 버그가 있어 코드 수정이 필요한 상황이라고 가정해보자.

빠르게 이를 수정하고 다시 컴파일, 빌드, 배포 과정을 통해 제대로 동작하는지 테스트해야 한다. 그러나 이 과정은 복잡하기에 자동화가 필요하다.

 

CI (Continuous Integration)

지속적 통합이라는 뜻으로 개발 진행과 동시에 품질을 관리해주는 것이다.

구현해야 하는 기능이 복잡해지고 세밀화 될 수록, 팀 단위로 기능을 쪼개 개발하게 되고 이런 경우에는 협업과 분업을 하게 된다. 각 팀들이 제출한 소스코드를 하나로 합치면서도 버그가 없는지 테스트해야 한다. 이런 과정을 자동화해주는 툴을 CI tool 이라고 하는 것이다.

개발자가 직접 빌드와 테스트를 하지 않아도 제대로 병합만 하면 자동으로 빌드와 테스트 검증을 할 수 있게 된다.

CI 가 없는 상황에서는 배포를 하고 나서야 테스트와 검증을 할 수 있었다.

 

CD (Continuous Deployment)

지속적 배포라는 뜻으로 CI 를 통해 빌드와 테스트까지 성공적으로 진행된 경우 빌드와 테스트를 거쳐 저장소에 업로드하는 것을 의미한다.

개발자의 변경 사항을 레포지토리에서 고객이 사용 가능한 프로덕션 환경까지 자동으로 릴리스 해준다.

 

CI/CD 툴에는 대표적으로 Jenkins 와 Travis 가 있다.

 

https://helloworld-88.tistory.com/50

[기본] CI 란?

https://tecoble.techcourse.co.kr/post/2021-08-14-ci-cd/

CI/CD가 뭔가요? - 이론편

 

🪐 파이썬 GC (Garbage Collection)

 

왜 GC 가 필요할까?

메모리 관리를 직접 해주어야 하는 언어들에는

1. 필요없는 메모리를 비우지 않았을 때 메모리 누수가 발생할 수 있다.

2. 사용 중인 메모리를 비워버리면 존재 하지 않는 메모리에 접근하려고 하면 프로그램이 중단되거나 데이터 값이 손상 될 수 있다.

 

Cpython 에서 메모리 관리와 GC 가 이루어지는 방법

1. 레퍼런스 카운팅

2. 세대별 가비지 컬렉션

 

1. 레퍼런스 카운팅

python 에서 객체를 만들 때마다 기본 객체에서 python 유형과 reference count 가 생성된다. 객체가 몇번 참조되었는지 저장하고 reference count 가 0이 되면 메모리 할당이 해제된다. 

 

>>> a = "hello"
>>> sys.getrefcount(a)
2

왜 2번일까?

변수 선언 시에 한번, reference count 를 출력할 때 한번이다.

주로 파이썬은 메모리 관리를 위해서 reference count 를 사용하지만, 보조적으로 다음 방법을 사용한다.

 

2. 세대별 가비지 컬렉션

 

왜 이 방법도 필요한 것일까?

만일, 객체가 순환참조 된다면 어떻게 될까?

a = [] # 한번
a.append(a) # 두번
del a # 한번

이렇게 순환참조가 될 경우, 메모리는 해제되지 않는다. a의 reference count 가 1번으로 남아있기 때문이다.

 

또한 서로 참조가 된다면 어떻게 될까?

a = Func_pr() # a:1
b = Func_pr() # b:1
a.x = b # b:2
b.x = a # a:2
del a #a:1
del b #b:1

서로 참조하게 되는 경우에도 메모리 해제가 되지 않는다. 이러한 경우에 0에 도달할 수 없는 garbage (쓰레기) 라고 한다.

 

세대별 가비지 콜렉션의 과정

1. 새로운 객체가 생성되면 메모리와 0세대에 객체를 할당하고, 이가 0세대 임계값보다 클 경우 collect_generations() 가 실행된다.

2. collect_generations() 는 0,1,2, 세대에 대하여 검사를 수행하고 2세대부터 역순으로 진행한다.

3. 살아남은 객체는 이전 세대로 올라가게 된다.

4. 각 세대에 대해 임계값을 검사하고 GC 를 수행한다.

 

가비지 콜렉션은 성능에 어떤 영향을 주나

1. 자주 수행될 경우

객체가 너무 많다면 모든 가비지를 수집하는 데에 시간이 오래 걸린다.

가비지 콜렉션이 이루어지는 상황에서 응용 프로그램이 중단되기 때문이다.

 

2. 자주 수행되지 않을 경우

가비지가 많이 쌓여 메모리에 누수가 발생할 수 있다.

 

https://medium.com/dmsfordsm/garbage-collection-in-python-777916fd3189

Garbage Collection in Python

 

🪐 파이썬 GIL

 

파이썬에서는 멀티 스레드를 사용하는 것이 오히려 속도 저하를 발생시킬 수 있다.

이가 GIL 에 의해서이다.

GIL 은 Global Interpreter Lock 의 약자로 파이썬 인터프리터가 하나의 바이트코드만을 실행시킬 수 있도록 해주는 lock 이다.

해당 스레드에는 모든 자원을 허가하고 이후에는 lock 을 걸어 다른 스레드는 사용할 수 없도록 하는 것이다.

스레드 여러개를 사용하게 되면, 위처럼 스레드 하나가 run 하는 동안 모든 자원을 갖고 있다가 끝나는 시점에야 release 가 되고, 다른 스레드가 이를 얻어 run 할 수 있다. 즉, 동시 진행은 불가능한 것이다. 게다가 context switching 까지 일어나야 하기에 더 시간 지체가 발생할 수 있는 것이다.

 

왜 GIL 을 사용하는 것일까?

앞서 설명한 reference count 때문이다. 하나의 객체에 대해서 여러 스레드가 사용을 하게 된다면 reference count 가 동기화되지 않는 문제가 발생하게 될 것이기에 lock 을 통해 해결한 것이다.

 

그렇다면, 파이썬에서의 멀티 스레딩은 무조건 느릴까?

만일, 소스코드에서 sleep 을 준다면 멀티 스레딩이 더 효율적인 것을 확인할 수 있다.

싱글 스레드에서는 sleep 을 한 경우 모든 작업이 중지되지만, 멀티 스레딩의 경우에는 context switching 을 위한 시간으로 쓸 수 있기 때문이다. 따라서 I/O 작업이 많아 sleep 과 같이 대기해야 하는 경우가 많다면 멀티 스레딩이 더 유용할 수 있다.

 

https://ssungkang.tistory.com/entry/python-GIL-Global-interpreter-Lock%EC%9D%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C

[python] GIL, Global interpreter Lock은 무엇일까?