Chapter 2 프로그램이 실행되었지만, 뭐가 뭔지 하나도 모르겠다 (2-1 ~ 2-5)

[chapakook]

Chapter Ownership @simbokyung98

[qkrrlgus114]

악!

[simbokyung98]

프로그램이 실행되는 동안 일어나는 비밀에 대해 알아봅시다.

운영체제, 프로세스, 스레드의 근본 이해하기

• cpu는 단순하게 아래 두가지만 행함
  1. 메모리에서 명령어를 가져옵니다
  2. 이 명령어를 실행하고 다시 1로 돌아갑니다.
• 레지스터 : cpu가 명령어를 가져오는 기준
• 메모리에 저장된 명령어주소 -> pc 레지스터에 저장됨.
• 프로그램이 시작되면 첫번째 기계 명령어를 찾고, 이어서 그 메모리 주소를 pc 레지스터에 기록함.

1950~1960년대에 프로그램 실행 방식

• cpu가 프로그램을 실행하게 하려면 실행 파일을 수동으로 메모리에 복사한 후 첫번째 기계 명령어를 메모리에서 찾아 그 주소를 pc 레지스터에 적제하면 됨.
  • 프로그램 작성 방식
    1. 프로그램을 적제할 수 있는 적절한 크기의 메모리 영역을 찾는다.
    2. cpu 레지스터를 초기화하고 함수의 진입 포인트를 찾아 pc 레지스터를 설정.
  • 단점 존재
    1. 한번에 하나의 프로그램만 실행할 수 있음
    2. 모든프로그램은 사용할 하드웨어를 직접 특정 드라이버와 연결해야 함.
    3. 유용한 라이브러리들 모두 수동으로 개발해야함.
    4. 상호 작용 인터페이스 필요시 모두 구현해야함.

한번에 여러가지행동을 하고 싶어지다.

• 구조체를 정의하는 코드를 직접 작성하기 시작.
  • cpu가 실행한 기계명령어, cpu 내부 기타 레지스터 상태 값 저장
  • 프로세스라는 이름을 붙임
    • 이해불능의 원칙 : 정보가 너무 많거나 기술적으로 복잡하여 일반적인 수신자가 실질적으로 이해할 수 없는 경우, 그 정보 공개가 무의미하다는 원칙
  • cpu가 프로세스 사일르 충분히 빠르게 전환하는 방식으로 기본 멀티태스킹 기능 구축.

운영체제 등장

• 운영체제 : 프로그램을 자동으로 적재해주는 적재 도구와 멀티태스킹을 실현해주는 프로세스 관리 도구
  • 운영체제 탄생으로 프로그래머가 더이상 수동으로 실행파일을 적재하거나 유지관리할 필요가 없어짐.

속도를 높이고 싶어지다

• 프로세스의 기본 구성
  • 코드영역 : 코드를 컴파일하여 생성된 기계 명령어 저장
  • 데이터 영역 : 전역변수 등 저장
  • 힙 영역 : malloc함수 가 요청을 반환한 메모리
  • 스택 영역 : 함수의 실행 시간 스택

1. 다중 프로세스 프로그래밍 과 프로세스 간 통신 시도

   • 여러가지 독립적인 함수 실행을 동시 실행 하기위한 시도
   • 단점 :
     1. 프로세스 생성 시 비교적 큰 부담 존재
     2. 프로세스 마다 자체적인 주소공간을 가지고 있어 프로세스간 통신 복잡

2. 스레드 탄생

   • 공유 프로세스 주소 공간에서 동일한 프로세스에 속한 명령어를 동시 실행.
   • cpu 여러개가 동일한 프로세스의 기계 명령어를 실행 할 수 있게됨.
   • 실행 흐름이 동일한 프로세스 주소 공간을 공유 하여 프로세스간 통신 필요 없게됨. -> 스레드가 프로세스 보다 가볍고 생성 속도가 빠른 이유.(=경량 프로세스)
   • 단점 : 상호배제(mutual exclusion)와 동기화(synchronization) 를 이용하여 다중 스레드 공유 리소스 문제를 명시적으로 직접 해결해야 함.

스레드 잘 활용하기

• 수명 주기 관점 스레드 처리 작업

  • 긴 작업 : word 등 문서 작업
    • 전용 스레드 생성 효율적
  • 짧은 작업 : 네트워크 요청, 데이터베이스 쿼리 등
    • 필요시마다 스레드를 생성하면 시간 낭비
    • 메모리와 기타 시스템 너무 많이 소비하게 됨
    • 스레드가 많아 지면 스레드 간 전환 부담 증가

• 스레드 풀(thread pool) 등장

• 방식 : 여러개의 스레드를 미리 생성 해두고 , 스레드가 처리할 작업이 생기면 해당 스레드에 처리를 요청.
  • 스레드를 재사용 할 수 있어져서 생성 종료 작업 발생이 줄고 메모리 소비도 줄어듬.
• 작업을 스레드로 전달하는 방식
  • 자료구조의 대기열 사용
  • 생산자-소비자 패턴 : 작업을 전달하는 것 (생산자), 작업을 처리하는 스레드(소비자)
  • 작업대기열은 여러 스레드 간에 공유되는 리소스 이기 때문에 동기화를 할 때 상호배제 문제 반드시 처리
• 스레드 수를 결정하는 절대적인 공식은 없으며, 이를 위해서는 구체적인 상황과 그에 대한 분석이 필요

스레드간 고유되는 프로세스 리소스

• 프로세스와 스레드의 차이점 : 프로세스는 운영체제가 리소스를 할당하는 기본 단위이고, 스레드는 스케쥴링의 기본단위 이며, 프로세스 리소스는 스레드간에 공유된다.

스레드 전용 리소스

• 스레드 상황정보를 스택영역을 구성하는 스택 프레임에 저장
• 스레드 상황 정보 : 함수의 반환값, 다른 함수를 호출할 때 전달되는 매개변수, 함수 내에서 사용되는 지역변수와 레지스터 정보(다음 실행될 명령어 주소 저장), 스택 포인터.
• 각 스레드는 자신만이 사용할 수 있는 스택 영역을 가지므로 스레드 여러 개가 있을 때는 여러 스택 영역 존재.

• 스레드 전용 저장소
  • 이 영역에 저장된 변수는 모든 스레드에서 접근할 수 있음.
  • 모든 스레드가 동일한 변수에 접근하는 것처럼 보일 수 있지만, 사실 변수의 인스턴스는 각각의 스레드에 속함.
  • 하나의 스레드에서 변수 값을 변경해도 다른 스레드에 반영되지 않음.

스레드 공유 리소스

• 코드 영역
  • 컴파일한 후 생성된 실행 가능한 기계 명령어
  • 프로그램 실행 시 프로세스 주소 공간에 적재
  • 코드 영역을 읽기 전용이기 때문에 프로그램이 실행되는 동안 어떤 스레드도 코드 영역 내용을 변경할 수 없음.
• 데이터 영역
  • 전역 변수 저장
• 힙 영역
  • 포인터(해당 변수 주소)만 알고 있다면, 모든 스레드는 데이터에 접근 가능
• 스택 영역(??)
  • 구현 측면으로 볼 때 스택 영역은 엄밀하게 격리된 스레드 전용 공간은 아님.
  • 하나의 스레드가 다른 스레드의 스택 프레임에서 포인터를 가져올 수 있다면 해당 스레드는 다른 스레드의 스택 영역을 직접 읽고 쓸 수 있음.

• 동적 링크 라이브러리와 파일
  • 정적링크 : 종속된 모든 라이브러리가 실행 파일에 포함
  • 동적링크

- 프로그램이 실행 중일 때. 종속된 라이브러리의 코드와 데이터를 찾아서 프로세스 주소 공간에 넣는 링크 과정이 완료 되어야함
- 대이터와 코드를 스택 영역과 힙 영역 중간에 있는 여유 공간에 배치함. -> 프로세스 내 모든 스레드가 동적 라이브러리 코드 데이터 사용 가능.

스레드 안전 코드는 도대체 어떻게 작성해야 할까?

스레드 안전이 뭐야!!

• 어떤 코드가 주어졌을 때, 그 코드가 스레드 몇개에서 호출되든 어떤 순서로 호출되든 간에 상관없이 올바른 결과가 나오는 것.
• 스레드 안전 문제의 핵심은 어떤 것이 스레드 전용 리소스이고, 어떤 것이 공유리소스인지 구분하는데 있음.

스레드 안전을 판단해보자(생략 가능)

1. 스레드 전용 리소스만 사용할 때
   • 우리집꺼만 쓰는거라 항상안전 (= 무상태 함수)
2. 스레드 전용 리소스와 함수 매개변수 사용할 때
   • 함수 매개변수를 값(call by value)으로 전달하는 경우라면 안전
   • 전역변수 혹은 힙 영역을 가리키는 포인터를 전달할 경우 모든 스레드가 공유하기 때문에 잠금과 같은 형태의 순서가 반드시 부여되어야 함.
     • 개선 방법 : 모든 스레드가 func함수를 호출할 때 해당 스레드의 속하는 리소스 주소 전달
3. 전역변수를 사용할 때
   • 모든 코드가 전역변수를 읽기만 한다면 스레드 안전
   • 수정을 할 경우 전영 변수의 변경 과정을 반드시 잠금 등의 보호 또는 덧셈 작업을 원자성(atomic)작업으로 설정해서 보호해야 함.
4. 스레드 전용 저장소를 사용할 때
   • 스레드 전용 저장소이기 때문에 스레드 안전
5. 함수 반환값이 있을 경우
   • 함수가 값을 반환(return by value)할 경우는 스레드 안전
   • 함수가 포인터를 반환(return by reference)하는 경우는 불안전
6. 스레드 안전이 아닌 코드를 호출할 경우

   • 함수를 호출하기 전에 잠금으로 보호하면 스레드 안전 가능

     int funcA(){
         mutex l;
     
         l.lock();
         func();
         l.unlock();
     
     }
     

스레드 안전 코드 구현 방법

• 스레드 전용 저장소(thread local storage)
  • 전역 리소스를 사용해야 하는 경우 스레드 전용 저장소로 선언할 수 있는지 확인하기
• 읽기전용(read-only)
  • 전역 리소스를 사용해야 하는 경우 읽기 전용으로 사용해되 되는지 확인
• 원자성 연산(atomic operation)
  • 원자성 연산은 도중에 중단되지 않기 때문에 잠금 보호 필요 없음
• 동기화 시 상호 배제(mutual exclusion in synchronization)
  • 뮤텍스(mutex), 스핀잠금(spin lock), 세마포어(semaphore) 외 여러가지 동기화 시 상호 배제를 위한 작동 방식 사용

운영체제에 의존하지 않는 상황에서 스레드 구현하기 : 코루틴을 이해해보자

코루틴이 뭐야

• 코루틴과 일반함수에 형식적인 차이는 없음.
• 코루틴에는 스레드와 매우 유사한 기능인 일시중시와 재개 기능 존재. * 코루틴 실행이 멈추었던 저점에서 다시 실행할 때 정보가 필요하기 때문에, 코루틴이 반환 될 때 함수의 실행 시 정보를 저장할 필요 있음

• 코루틴이 시작되면 첫번째 연결 시작 지점까지 실행되다가 일반 함수와 같은 형태로 funcA 함수로 돌아감. funcA함수는 이어서 실행되다가 다시 해당 코루틴을 실행

코루틴은 어떻게 구현될까?

• 스레드 구현과 본질적으로 차이가 없다.
• 저장 영역
  • 스택 영역 : 스레드의 정보 저장
  • 힙 영역 : 코루틴의 실행시간 스택 프레임 정보 저장
• 코루틴이 필요한 이유
  • 프로그래머가 동기 방식으로 비동기 프로그래밍을 가능하게 하기 위함(2.8 장에서 설명)

콜백함수를 이해해보자

콜백 함수가 필요한 이유

• 다양한 요구사항을 확장성을 고려하여 대응하기 위함
• 수천개의 현지화요구를 맞추어 한가지 메소드를 사용해야 하는경우 함수 변수를 이용하여 대응

  void formed_C()
  {
          '''
  }
  make_donut(formed_C);
  

비동기 콜백이 필요한 경우

• 콜백함수의 실행 시간이 오래걸리고 해당 함수의 실행시간을 기다릴 필요가 없는 경우 사용
• 호출 스레드가 콜백 함수 실행에 의존하지 않는 것

  void real_make_donut(func f){
      '''
      f();
      '''
  }
  void make_donut(func f){
      thread t(real_make_donut, f);
  }
  

콜백 함수 정의

• 컴퓨터과학에서 콜백 함수는 다른 코드에 매개변수로 전달되는 실행 가능한 코드
• 일반적으로 함수 작성자가 나라면 함수를 호출하는 것도 나여야 하지만, 콜백함수는 호출하는 것이 내가 참조하는 외부 모듈임.
• 콜백 함수 사용 예시(??)
  • 시스템에서 네트워크 데이터 수신이나 파일 전송 완료처럼 관심 대상인 이벤트가 발생하면 이를 처리할 수 있는 코드로 콜백 함수 유용 -> 이벤트 중심 프로그래밍에 적합

콜백 유형

• 동기 콜백(= 블로킹 콜백)
  • 함수 A를 호출할 때 함수를 매개변수로 전달할 경우, 함수 A가 반환되기 전에 콜백 함수 실행.
• 비동기 콜백(= 지연 콜백)
  • 주 프로그램과 콜백 함수의 실행이 동시에 실행될 수 있기에 보통 주 프로그램과 콜백 함수는 서로 다른 스레드 또는 프로세스에서 실행됨.
  • 입출력 작업, 웹서비스 등 동시성 높은 시나리오에 적합.
  • 콜백 지옥 : 비즈니스 구성이 상대적으로 복잡한 경우 서비스 호출을 비동기 콜백으로 처리하면 콜백 지옥에 빠질 가능성이 높아짐.
• 비동기 콜백은 동기 콜백에 비해 다중 코어 리소스를 더 잘 활용함.

[simbokyung98]

• 자바 스레드와 커널 스레드는 다를까?
• 자바의 call by value 와 우리가 읽고 있는 책에서 쓰는 call by value 에 의미가 다른 느낌이다
• Virtual Thread와 Coroutine 의 차이

[qkrrlgus114]

코루틴이라는게 마냥 코틀린의 코루틴인 줄 알았는데 그게 아니었네요. 중간에 일시정지 했다가 다시 그 지점부터 재개한다는 게 신기한 개념 같습니다. 마치 컨텍스트 스위칭과 같은 개념이네요.
어느정도 스레드와 프로세스 개념은 조금 알고 있어서 이해에는 큰 문제가 없었지만 call by value와 call by reference는 파면 팔 수록 헷갈리네