SuNT's Blog | AI in Practical

R n n L s t m Attention Transformer B e r t BERT - Bidirectional Encoder Representations from Transformers

By SuNT 29 April 2021

Cuối năm 2018, các nhà nghiên cứu tại Google AI Language đã công bố một mô hình với tên gọi BERT trong bài báo BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.

R n n L s t m Attention Transformer Transformers - Nhưng không phải là kẻ hủy diệt …

By SuNT 25 April 2021

Nếu bạn là dân ngoại đạo, bạn cũng có thể đã từng nghe về Transformers. Đó là một bộ phim bom tấn, liên tục lập kỷ lục phòng vé tại thời điểm nó ra mắt.

R n n L s t m Attention Transformer Self-Attention và Multi-head Sefl-Attention trong kiến trúc Transformer

By SuNT 20 April 2021

Kiến trúc Transformer với xương sống là Self-Attention đã làm mưa làm gió trong cộng đồng NLP trong 1-2 năm gần đây.

R n n L s t m Attention Tìm hiểu cơ chế Attention trong mô hình Seq2Seq

By SuNT 15 April 2021

Trong bài này, mình sẽ giải thích qua về kiến trúc Encoder-Decoder với mô hình Seq2Seq. Sau đó, chúng ta sẽ tìm hiểu chi tiết về cơ chế Attention áp dụng trong kiến trúc đó.

I’m SuNT, MS

Categories

Social