Bài 1: Các phương pháp tìm ước lượng điểm

Mô tả phương pháp:

Giả sử cần ước lượng tham số $\theta$ của đại lượng ngẫu nhiên X. Từ X ta lập mẫu ngẫu nhiên kích thước n:

$W_X=(X_1,X_2,...,X_n)$

Chọn

$\hat{\theta }=f(X_1,X_2,...,X_n)$

$\hat{\theta }$ là hàm của các đại lượng ngẫu nhiên X₁, X₂, . . . , X_n nên nó là một đại lượng ngẫu nhiên, $\hat{\theta }$ được gọi là hàm ước lượng của $\theta$. Trong thực tế người ta thường chọn hàm ước lượng như sau:

• Chọn $\hat{\theta }=\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$ nếu là ước lượng trung bình của tổng thể
• Chọn $\hat{\theta }=S^2=\frac{1}{n-1}\sum _{i=1}^n{\left(X_i-\bar{X}\right)}^2$ nếu là ước lương phương sai của tổng  thể
• Chọn  $\hat{\theta }=F=\frac{1}{n}\sum _{i=1}^n{X}_i$, nếu là ước lượng tỷ lệ tổng thể

Từ mẫu cụ thể W_X = (X₁, X₂, . . . , X_n), ta tính giá trị của $\hat{\theta }$ (ký hiệu là $\hat{\theta }$).

Tức là: ${\hat{\theta }}^{\ast }=f(x_1,x_2,....,x_n)$

Ước lượng điểm của $\theta$ chính là giá trị ${\hat{\theta }}^{\ast }$ vừa tính được.

Các tiêu chuẩn lựa chọn hàm ước lượng

Ta thấy có vô số cách chọn dạng hàm f, tức có vô số đại lượng ngẫu nhiên $\hat{\theta }$ có thể dùng làm hàm ước lượng của $\theta$. Vì vậy, cần đưa ra một tiêu chuẩn để đánh giá chất lượng của ước lượng. Từ đó lựa chọn được một hàm ước lượng “tốt hơn” theo một nghĩa nào đó.

Dưới đây ta sẽ xét một số tiêu chuẩn đó.

Ước lượng không chệch

Định nghĩa: $\hat{\theta }$ được gọi là ước lượng không chệch của tham số $\theta$ nếu: $E(\hat{\theta })=\theta$

Ngược lại, nếu $E(\hat{\theta })\ne \theta$ thì $\hat{\theta }$ được gọi là ước lượng chệch của $\theta$.

Ý nghĩa: Ta thấy $(\hat{\theta }-\theta )$ là đại lượng ngẫu nhiên biểu thị sai số của ước lượng. Theo tính chất của kỳ vọng toán, ta có:

$E(\hat{\theta }-\theta )=E(\hat{\theta })-E(\theta )=\theta -\theta =0$ nếu $\theta$ là ước lượng không chệch.

Như vậy, ước lượng không chệch là ước lượng có sai số trung bình băng 0. Tức là giá trị của $\theta$ không bị lệch về một phía, nếu dùng $\hat{\theta }$ để ước lượng $\theta$ thì không mắc phải sai số hệ thống. Rõ ràng trong hai loại ước lượng: chệch và không chệch thì ta nên chọn ước lượng không chệch.

Chú ý rằng, $\hat{\theta }$ là ước lượng không chệch của $\theta$ không có nghĩa là mọi giá trị của $\hat{\theta }$ ,đều trùng khít với $\theta$ mà chỉ có nghĩa là: Trung bình các giá trị của $\hat{\theta }$ bằng $\theta$, một giá trị của $\hat{\theta }$ có thể sai khác nhiều so với $\theta$.

* Thí dụ :

• Trung bình mẫu ngẫu nhiên $(\bar{X})$ là ước lượng không chệch của trung bình tổng thể $(\mu )$. Vì theo kết quả ở chương 6, ta có: $\mathrm{E}\left(\bar{X}\right)=\mu$.
• Phương sai mẫu ngẫu nhiên (S²) là ước lượng không chệch của phương sai tổng thể $({\sigma }^2)$ vì: $E(S^2)={\sigma }^2$ .
• Tỷ lệ mẫu ngẫu nhiên (F) là ước lượng không chệch của tỷ lệ tổng thể (p) vì: E(F) = p.

Chứng minh: Thật vậy, theo định nghĩa tỷ lệ mẫu ngẫu nhiên ta có:

$F=\frac{1}{n}\sum _{i=1}^n{X}_i$

Trong đó X_i là số phần tử có tính chất A có trong lần lấy phần tử thứ i vào mẫu. X_i (i = 1, 2, ...,n) là các đại lượng ngẫu nhiên có phân phối xác suất như sau:

với q = 1 - p

Ta có: $E(X_i)=0xq+1xp=p\left(\mathrm{\forall }i\right)$

Vậy: 

$E(F)=E\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n}\sum _{i=1}^{n}E\left(X_i\right)=\frac{1}{n}.np=p$

Ước lượng hiệu quả

Giả sử $\hat{\theta }$ là ước lượng không chệch của $\theta$. Áp dụng bất đẳng thức Chebyshev cho đại lượng ngẫu nhiên $\hat{\theta }$, ta có:

$P\left(\left|\hat{\theta }-E(\hat{\theta })\right|-\epsilon \right)\ge 1-\frac{V\mathrm{a}\mathrm{r}(\hat{\theta })}{{\epsilon }^2}$

Vì $E(\hat{\theta })=\theta$ nên bất đẳng thức Chebyshev trở thành:

$P\left(\left|\hat{\theta }-E(\theta )\right|-\epsilon \right)\ge 1-\frac{V\mathrm{a}\mathrm{r}(\hat{\theta })}{{\epsilon }^2}$

Như vậy, nếu phương sai $V\mathrm{a}\mathrm{r}(\hat{\theta })$ càng nhỏ thì xác suất để $\hat{\theta }$ nhận giá trị gần $\theta$ bao nhiêu cũng được, sẽ càng lớn. Do đó phương sai của $\hat{\theta }$ là một chỉ tiêu quan trọng phản ánh chất lượng của hàm ước lượng $\hat{\theta }=f(X_1,X_2,...,X_n)$. Tất nhiên một cách hợp lý là cần chọn những hàm ước lượng không chệch và phương sai nhỏ nhất.

* Định nghĩa:  $\hat{\theta }=f(X_1,X_2,...,X_n)$ là ước lượng không chệch của $\theta$ và phương sai $var(\hat{\theta })$ bằng cận dưới các phương sai của các hàm ước lượng được xây dựng từ mẫu ngẫu nhiên W_x thì $\hat{\theta }$ được gọi là ước lượng hiệu quả của $\theta$.

Để tìm cận dưới của phương sai các hàm ước lượng ta dựa vào bất đẳng thức Crame-Rao được nêu trong định lý dưới đây

Định lý: Cho mẫu ngẫu nhiên W_x = (X₁, X₂,. . ., X_n) được xây dựng từ đại lượng ngẫu nhiên X có hàm mật độ xác suất (hay biểu thức xác suất)  $f(x,\theta )$. Thỏa mãn một số điều kiện nhất định (thường được thỏa mãn trong thực tế) và $\hat{\theta }$ là ước lượng không chệch bất kỳ của $\theta$ thì:

$V\mathrm{a}\mathrm{r}(\hat{\theta })\ge \frac{1}{n.E{\left[\frac{\partial .\ln (x,\theta )}{\partial \theta }\right]}^2}$

Ước lượng vững

Một hàm ước lượng được coi là hợp lý nếu như kích thước của mẫu tăng lên khá lớn thì giá trị của nó phải gần tham số cần ước lượng bao nhiêu cũng được. Nhận xét sơ bộ này được chính xác bởi định nghĩa sau:

Định nghĩa: Cho mẫu W_x = (X₁, X₂, .... X_n) xây dựng từ đại lượng ngẫu nhiên X. Hàm ước lượng $\hat{\theta }=f(X_1,X_2,...,X_n)$ của $\theta$ được gọi là vững nếu mọi $\epsilon >0$ bé tùy ý cho trước ta đều có:

$\underset{n\to \mathrm{\infty }}{Lim}P\left[\left|f(X_1,X_2,...,X{}_n)-\theta \right|<\epsilon \right]=1$

Điều kiện đủ của ước lượng vững được phát biểu dưới dạng định lý sau:

Định lý: Nếu $\hat{\theta }$ là ước lượng không chệch của $\theta$ và $\underset{n\to \mathrm{\infty }}{Lim}V\mathrm{a}\mathrm{r}(\hat{\theta })=0$ thì $\hat{\theta }$ là ước lượng vững của $\theta$.

Giả sử đã biết qui luật phân phối xác suất dạng tổng quát của đại lượng ngẫu nhiên X, chẳng hạn hàm mật độ $f(x,\theta )$ (cũng có thể xem $f(x,\theta )$ là công thức tính xác suất nếu X là đại lượng ngẫu nhiên rời rạc), cần ước lượng tham số $\theta$.

Lập mẫu cụ thể: W_x = (X₁, X₂,..., X_n).

Hàm của đối số $\theta$: $L(x_1,x_2,...,x_n,\theta )=f(x_1,\theta ).f(x_2,\theta )....f(x_n,\theta )$

và gọi là hàm hợp lý của tham số $\theta$.

Giá trị của hàm hợp lý chính là xác suất (hay mật độ xác suất) tại điểm W_x = (X₁, X₂,..., X_n)

Giá trị ${\theta }^{\ast }=f(x_1,x_2,...,x_n)$ được gọi là ước lượng hợp lý tối đa nếu ứng với giá trị này hàm hợp lý đạt cực đại.

Vì hàm L và hàm lnL đạt cực đại cùng một giá trị của $\theta$. Do vậy có thể tìm giá trị của $\theta$ để lnL đạt cực đại với các bước sau

Bước 1: Tìm đạo hàm bậc nhất của lnL theo $\theta$.

Bước 2: Lập phương trình $\frac{\partial \ln L}{\partial \theta }=0$

Phương trình này được gọi là phương trình hợp lý. Giả sử nó có nghiệm là ${\theta }_0=\phi (x_1,x_2,...,x_n)$

Bước 3: Tìm đạo hàm bậc 2: $\frac{{\partial }^2\ln L}{\partial {\theta }^2}$

Nếu tại điểm ${\theta }_0=\phi (x_1,x_2,...,x_n)$ đạo hàm bậc hai âm thì tại điểm này hàm lnL đạt cực đại. Do đó ${\theta }_0=\phi (x_1,x_2,...,x_n)$ là ước lượng hợp lý tối đa của $\theta$