随着论文《Attention is All You Need》的发表，常用的RNN结构逐渐被抛弃。出现了基于attention的Transformer模型架构。
2022-04-09
Don't stop pretraining
如今很多NLP任务都会在Bert等预训练模型的基础上进行fine-tuning，可能很多人没有意识到在任务领域上进行新的预训练会进一步提高模型效果，下面这篇论文就从多个实践角度证明了这种方法的可行性。
2021-12-11
NER技术的探索与实践
命名实体识别（Named Entity Recognition，简称NER），是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，一般的也可以识别特定类型的、人为规定的实体。
2021-11-01
神经网络语言模型
语言模型本质是计算给定序列的概率，而神经网络强大的非线性拟合能力很适合拟合概率分布。并且神经网络模型可以获取到当前词汇下文的信息，这一点是N-gram语言模型所不具备的，另外神经网络模型能够利用到的的上下文词汇长度要比N-gram模型长的多。
2021-08-06
语言模型——N-gram模型
N-gram模型是一种基于马尔科夫假设的语言模型，即当前词出现的可能性大小只与这个单词前面一个或者几个单词有关，而与这几个单词之外的其他单词无关。
2021-05-26
语言模型概述
语言模型（Language Model），是对语句的概率分布的建模。对于语言模型，输入为字或者单词组成的序列，输出为这个序列的概率。
2021-05-03
Attention is all you need
这是Google公司在2017年发表的一篇论文，论文提出了一种新的结构来“代替”RNN或者CNN的结构，确实是一种比较新颖而且有效的操作。
2021-03-10