[통계] Conditional Probability (조건부 확률)과 LLM

조건부 확률의 정의는 (Conditional Probability) 한 사건이 일어났다는 전제 하에서 다른 사건이 일어날 확률이다. 기호로는 P(A|B)로 표기한다. A가 일어날 확률에서 B가 일어날 확률은 A가 일어난 상황으로 '한정'하기 때문에 A가 일어난 상황이 Sample Space (분모, 전체집합)으로 바뀐다고 이해하면 쉽다. 조건부 확률 공식은 두 사건 중 하나가 서로 영향을 미치는 종속 관계에 있을 때 뿐만 아니라, 독립적 관계일 때에도 적용할 수 있다. 

 

P(B∣A)=P(AandB)/P(A) or P(B∣A)=P(A∩B)/P(A) = A가 발생했다는 전제 하에 B가 발생할 확률 

Where:

• P = Probability
• A = Event A
• B = Event B

 

조건부 확률은 GPT와 같은 LLM의 개발과 기능에 핵심적인 역할을 한다. LLM 모델은 앞에 나온 단어 혹은 맥락에 기초에 다음에 나올 단어를 예측한다. 따라서 조건부 확률은 LLM 개발시 아래와 같이 사용된다. 

• Token Prediction: 앞선 토큰의 순서에 따라 다음에 나올 토큰의 확률을 예측한다. 모델은 각각 토큰이 나올 확률을 계산한다.
• Sequence Generation: LLM은 조건부 확률에 따라 텍스트를 순차적으로 생성한다. 그 순간까지 생성된 토큰 시퀀스 (Token Sequence) 다음 토큰 "X"가 나올 확률 분포를 아래와 같이 계산한다 : P(xt​∣x1​,x2​,…,xt−1​). 이는 지금까지의 문맥(Context)에 따라 가능한 모든 토큰 후보 각각의 조건부 확률을 의미합니다. 그리고 이 분포에서 샘플링하여 다음 토큰을 선택합니다.
• Text Completion: LLM은 주어진 텍스트 조각 하에서 가장 유력한 다음 텍스트 후보를 선정하는 일을 한다. 이는 주어진 문맥 (Context)하에서 조건부 확률을 계산함으로써 이뤄진다.
•  Fine Tuning: In fine-tuning tasks for specific domains, the conditional probability estimates of pre-trained models are adapted by adjusting the model’s parameters based on labelled data. This enables the model to specialise in understanding the conditional relationships specific to the target domain. (번역하기 귀찮)

 

출처

• https://www.investopedia.com/terms/c/conditional_probability.asp#:~:text=Conditional%20probability%20is%20defined%20as,succeeding%2C%20or%20conditional%2C%20event.
• https://medium.com/@sohanm10/understanding-conditional-probability-from-basics-to-large-language-models-a473f6410e2f 
• https://recipesds.tistory.com/entry/%EC%95%8C%EA%B2%8C%EB%90%98%EB%A9%B4-%EC%82%AC%EB%9E%91%EC%8A%A4%EB%9F%AC%EC%9A%B4-%EC%A1%B0%EA%B1%B4%EB%B6%80-%ED%99%95%EB%A5%A0