Random Variables에 대하여

 

Random Variable

 

왜 정의하는가

 

많은 상황에서 임의의 실험의 결과는 숫자입니다. 그러나 여기에 또 다른 숫자를 각각의 결과에 할당해야하는 경우가 생깁니다. 따라서 확률 변수에 대해 정의하고, 숫자로 이를 계산하는 법에 대해 배웁니다. 대부분의 확률 계산은 확률 변수로 이루어집니다.

 

Random Variable X on a sample space S is a function X : S->R that assigns a real number X(s) to each sample point s∈S.

즉, 확률 변수는 샘플 포인트들의 numerical property인 것과 같습니다.

 

여기에서 image(상)이라는 개념이 나오는데요.

The image of a random variable X : Im(X) = { X(s) | s∈S }

* 이산확률변수 X의 Im(X)는 셀 수 있는 집합입니다.

 

수학에서 image = 어떤 함수에 대한 정의역의 원소에 대응하는 공역의 원소.

따라서 inverse image = 공역의 원소에 대응하는 정의역의 원소입니다.

inverse image : [X=x] = { s∈S | X(s) } 즉 inverse image들의 집합은 정의역의 원소이므로 특정한 event output의 결과 집합이라고 할 수 있습니다.

 

 

 

Discrete Random Variables

Probability Mass Function(확률 질량 함수)

 

이산 확률 변수를 표현하는 함수를 확률 질량 함수라고 합니다.

확률 질량 함수는 모든 공역이 0과 1사이의 값이어야 하며, 그 값들의 전체 합이 1이어야 합니다.

* Probability distribution 과 distribution function을 헷갈리면 안됩니다. 확률 분포는 어떤 실험에 대해 결과들이 각각 어떤 확률 분포를 가지고 있는지 주로 그래프로 나타내고, 분포 함수는 임의의 사건에 대한 확률을 정의하는 함수입니다. 아래에서 분포 함수의 종류에 대해 서술합니다.

 

Cumulative Distribution Fuction(누적 분포 함수)

 

확률 변수가 어떤 구간 내에서 어느 확률을 갖는지 나타낼 때 쓰입니다. 연속 함수의 경우 적분, 이산 함수의 경우 시그마를 활용하여 계산합니다. 누적 분포 함수는 주로 대문자를 활용하여 F(x)로 작성하고, 다음과 같은 성질을 갖습니다.

  1. 0≤F(x)≤1 for -∞≤x≤∞

  2. F(x)는 단조증가 함수입니다.

  3. lim(x→-∞)F(x)=0, lim(x→∞)F(x)=1,

만약 확률변수 X가 유한한 상 위에 있다면, 누적 분포 함수가 0인 최솟값과 1인 최댓값 지점이 존재합니다.

 

대부분의 문제에서 처음에 주어지는 정보는 "확률 변수 X와 확률 분포 함수 p(x) 조합" 이거나 "확률 변수 X와 연속 분포 함수 F(x) 조합" 입니다.

 

---

이산 확률 분포의 예시

 

1. Discrete Uniform Probability Distribution(이산 균등 분포)

확률함수가 정의된 모든 곳에서 그 값이 일정한 분포입니다. 다만 유한한 상에서 정의되어야 하고, n개의 값을 가진다면 각각의 확률은 1/n으로 정의됩니다. 가장 대표적인 예는 주사위 던지기입니다.

 

2. Indicator Random Variable(지시 확률 변수)

지시함수란 특정 집합에 특정 값이 속하는 지를 표시하는 함수로, 특정 값이 속한다면 1 속하지 않는다면 0으로 정의하는 함수입니다. 기호로는 1이나 I를 쓰고, 아래첨자로는 1의 값을 갖게하는 특정 집합을 표기합니다.

 

3. Bernoulli Probability Distribution(베르누이 확률 분포)

어떤 시행의 결과가 성공, 실패인 시행을 베르누이 시행이라고 합니다. 이때 시행이 성공이면 X=1, 실패하면 X=0입니다. 따라서 Bernoulli trial이나 biased coin toss 등과 같은 시행에서 갖는 확률 분포가 베르누이 확률 분포힙니다. 그 분포는 아래의 식으로 표현합니다.

4. Geometric Probability Distribution(기하 확률 분포)

이산 확률 분포의 하나로, 다음 두가지 조건을 정의로 가집니다.

- 베르누이 시행에서 처음 성공까지 시도한 횟수 X의 분포. S={1,2,3 ... }

- 베르누이 시행에서 처음 성공까지 실패한 횟수 Y=X-1의 분포. S={0,1,2 ... }

그 확률은 아래의 식으로 계산합니다.

* 기하 확률 분포의 중요한 특징 중 하나는, 무기억 분포(Memoryless Property)라는 점입니다.

 : P(X>t) = P(X>t+l | X>l)

 

5. Binomial Probability Distribution(이항 확률 분포)

어떤 독립시행들의 연속을 베르누이 시행이라고 하는데요. 이런 독립 시행을 n회 반복하였을 때 어떤 사건이 X회 일어날 확률에 대한 분포입니다. 즉 count n 과 probability p 두가지 parameter를 사용하여 B(n,p)로 표현합니다. 

우리는 다음의 조건들이 만족될 때 이항분포 모델을 적용할 수 있습니다.

- 각각의 시행은 두가지의 상호 독립적인 결과를 가지고 있어야 합니다. (베르누이 시행)

- 성공 확률은 항상 일정해야 합니다.

- 성공의 결과가 나올 시행은 항상 상호 독립적이어야 합니다. (코인이 바뀌지 않음 등) 

 

 

 

 

---

Continuous Random Variables

Probability Density Function(확률 밀도 함수)

 

확률 변수 X의 확률 밀도함수는 누적 분포 함수의 도함수입니다.

연속 확률 분포의 예시

 

1. Poisson distribution(포아송 분포)

이항분포에 있어서( B(n,p)인 경우 ) p의 값이 극단적으로 0에 가깝고 n이 무한히 클때, 그 확률 변수로 대체로 포아송 분포를 갖습니다. 

 

2. Normal Distribution(정규 분포)

 

 

 

---

 

Discrete Random Vectors

 

하나의 확률 변수만 가지고 계산하는 것이 훨씬 편하고, 그렇게 하고 싶지만 실제 실험은 그렇지 않고, 대부분의 경우 우리는 두 개 혹은 그 이상의 확률 변수를 가지고 그들 간의 관계를 표현하고 싶어합니다. 따라서 우리는 이산 확률 벡터를 정의합니다.

 

 

1. Joint probability distribution(결합 확률 분포)

두 개의 확률 변수를 동시에 고려하는 확률 분포입니다.

 

2. Marginal probability distribution(주변 확률 분포)

두 개의 변수 중 하나를 취급하지 않는 확률 분포를 의미합니다. 즉, 이전의 결합 확률 분포에서 확률 변수를 분리하여 한 개의 변수만 고려하는 분포힙니다. 한 변수를 없애는 방법은 이산 확률분포의 경우 그 변수에 해당하는 모든 확률을 계산해 더해주면 되고, 연속 확률분포의 경우 없애고자 하는 변수로 적분해주면 됩니다.

 

여기서도 두 변수 간의 독립성을 확인할 수 있습니다.

주변 확률 분포는 결합 확률 분포로 표현될 수 있는데, 독립성이 정의되지 않은 상황에서 역은 성립하지 않습니다.

 

3. Multinomial Probability Distribution(다항 확률 분포)

동전을 던지는 시행의 경우 이항 확률 분포로 표현할 수 있었습니다. 여기서 더 나아가 복잡한 상황을 가정해 보겠습니다. n개의 공을 r개의 상자에 던져 집어넣는 상황입니다. 각각의 공들이 가질 수 있는 결과는 1부터 시작해 r까지 일 것입니다.

그러면 위와 같은 random vector가 정의됩니다. Xi = i번째 상자에 들어있는 공의 갯수.

X의 결합 확률 분포는 다음과 같이 정의됩니다.

 

---

 

Independent Random Variables

 

두 확률 변수가 독립인지 아닌지는 계산에 있어서 중요한 판단문제입니다. 

두 개의 이산 확률 변수 X와 Y에 대하여 아래의 식이 성립하면 둘은 독립변수입니다. 그러면 둘의 결합 확률 분포는 주변 확률 분포로 붙어 얻어낼 수 있습니다. 

 

만약 X와 Y가 서로 독립적인 변수라면, X와 Y를 각각 원소로 가지는 R의 부분집합 A와 B에 대해 위의 식도 성립합니다. 또한 첫번째 식은 누적 확률 함수로도 표현이 가능합니다.

 

또한 확률 변수가 더더욱 많이 증가한다면, pairwise indepent도 따져주어야 합니다.

각각의 쌍에 대해 독립이라면, 그 변수들이 전체 다 상호 독립인지도 따질 수 있습니다.