July 9, 2018

Đánh giá một số trung tâm học tiếng Anh giao tiếp ở Nhật

Mở đầu Người Nhật vốn nổi tiếng không nói được tiếng Anh nhưng gần đây khi mà các công ty Nhật bắt đầu coi trọng vấn đề “toàn cầu hoá” thì tiếng Anh lại trở thành 1 trong kỹ năng rất được săn đón. Chính vì thế mà các trung tâm tiếng Anh giao tiếp (英会話) cho người đi làm mở ra khá rầm rộ với nhiều hình thức khác nhau.

July 4, 2018

Bàn chút về câu hỏi "Bạn là ai?"

Mới đọc xong quyển Homo Deus: A Brief History of Tomorrow của tác giả Harari thấy có 1 đoạn khá thú vị về cái gọi là “bản thân mình” (self) nên tổng hợp lại 1 chút về chủ đề này. Mình vốn là người rất kém trong việc giới thiệu bản thân khi gặp 1 người mới, vì chính mình cũng không hiểu rõ mình là người như thế nào. Gần đây mới làm thử trắc nghiệm tính cách trên 16personalities thì ra kết quả là INTP - the logician, tạm dịch là nhà logic học.

June 25, 2018

Boosting Algorithms

October 15, 2017

PRML - Chap 12: Continuous Latent Variables - 12.2.3 ~ end

12.2.3 Bayesian PCA Graphical model cho Bayesian PCA được biểu diễn như sau: Ở đây ta đã đưa thêm Gaussian prior độc lập cho $\mathbf{W}$ với các precision $\alpha_i$: Giá trị của $\alpha_i$ được tìm bằng cách maximizing the maginal likelihood: Chú ý là để đơn giản ở đây ta coi $\mathbf{\mu}$ và $\sigma^2$ là các parameters chứ không đưa thêm priors cho chúng. Sử dụng Laplace approximation, các $\alpha_i$ sẽ tìm được như sau:

October 1, 2017

PRML - Chap 11: Sampling Methods - 11.1

Bài toán là tìm kỳ vọng của hàm $f(z)$ đối với phân phối $p(z)$: Ta xét bài toán là giá trị kỳ vọng này rất khó để tính bằng giải tích trực tiếp. Ý tưởng để giải bài này là lấy các giá trị $z^{(l)} (l=1,\ldots, L)$ độc lập từ phân phối $p(z)$. Khi đó, công thức (11.1) sẽ được xấp xỉ thành tổng của các giá trị rời rạc:

September 17, 2017

PRML - Chap 10: Approximate Inference - 10.1

Trong thực tế, tính toán trong không gian nhiều chiều của các hàm phức tạp (chẳng hạn trong EM là tính posterior và kỳ vọng của nó) là rất khó khăn nên người ta dùng phương pháp xấp xỉ. 10.1 Variational Inference Kí hiệu set của N i.i.d data là $\mathbf{X}=\{x_ 1, \ldots, x_ n\}$, tất cả latent variables là $\mathbf{Z}=\{z_ 1, \ldots, z_ n\}$. Mô hình của chúng ta sẽ là joint distribution $p(\mathbf{X},\mathbf{Z})$, và mục tiêu là đi tìm giá trị xấp xỉ cho posterior distribution $p(\mathbf{Z}|\mathbf{X})$ và model evidence $p(\mathbf{X})$.

September 2, 2017

PRML - Chap 9: Mixture Models and EM - 9.3

9.3 An Alternative View of EM Mục đích của thuật toán EM là tìm maximum likelihood cho model có biến ẩn (latent variables). $\mathbf{X}$: dữ liệu quan sát được, $Z$: tất cả biến ẩn, $\mathbf{\theta}$: model parameters thì hàm log likelihood là: $$ \ln p(\mathbf{X}|\mathbf{\theta}) = \ln \Big\{ \sum_ {\mathbf{Z}} p(\mathbf{X},\mathbf{Z}|\mathbf{\theta}) \Big\} $$ Vấn đề ở đây là vế phải là log của tổng nên cho dù giả sử $p(\mathbf{X},\mathbf{Z}|\mathbf{\theta})$ là hàm mũ thì cũng không thể tìm được nghiệm maximum likelihood (có thể tính thử đạo hàm để kiểm nghiệm :D).

July 8, 2017

PRML - Chap 8: Graphical Models - 8.3

$ \def\ci{\perp\!\!\!\perp} \def\given{\ | \ } \def\nci{\perp\!\!\!\perp\!\!\!\!\!\!/ \ } \def\zeroslash{0\!\!\!/} $ 8.3 Markov Random Fields Markov random field, còn gọi là Markov network hay undirected graphical model được biểu diễn bằng graph vô hướng. 8.3.1 Conditional independence properties Sử dụng graph vô hướng sẽ dễ kiểm tra tính chất độc lập có điều kiện của 2 biến hơn (conditional independence property). Chú ý là chỉ giống với phép thử d-separation trong trường hợp không có hiện tượng ’explaining away'.

June 19, 2017

PRML - Chap 7: Sparse Kernel Machines 7.1.1 ~ 7.1.3

7.1.1 Overlapping class distributions Trong phần trước chúng ta đã giả sử là dữ liệu rất đẹp và tồn tại đường biên giới có thể chia được các class ra tách biệt với nhau. Tuy nhiên trong thực tế thì vì dữ liệu có noise nên nếu cố tìm đường biên giới để tách các class thì dễ dẫn đến overfit. Trong phần này, chúng ta sẽ xây dựng model mà cho phép 1 vài điểm có thể bị phân loại sai, vì mục đích chính là model chạy tốt trên tập test.

June 11, 2017

PRML - Chap 6: Kernel methods - 6.4 Gaussian Processes

6.4.1 Linear regression revisited Thử xem xét lại model: $$ y(\mathbf{x}) = \mathbf{w}^T\phi(\mathbf{x}) $$ với $\mathbf{x}$ là input, $y(\mathbf{x})$ là output, $\mathbf{w}$ là parameters, $\phi(\mathbf{x})$ là basis function. Giả sử prior đối với $\mathbf{w}$ là 1 Gaussian đơn vị: $$ p(\mathbf{w}) = \mathcal{N}(\mathbf{w}|\mathbf{0},\alpha^{-1}\mathbf{I}) $$ Trong thực tế, với training set $x_ 1,\ldots,x_ N$, ta quan tâm tới $$ \mathbf{y} = \big(y(x_ 1),\ldots,y(x_ N)\big)^T = \mathbf{\Phi}\mathbf{w} $$ với $\mathbf{\Phi}$ là ma trận với mỗi phần tử là $\Phi_ {nk} = \phi_ k(x_ n)$ ($\phi_ k$ là gì thì chưa rõ, có thể sách in sai?