Don't stop pretraining
如今很多NLP任务都会在Bert等预训练模型的基础上进行fine-tuning，可能很多人没有意识到在任务领域上进行新的预训练会进一步提高模型效果，下面这篇论文就从多个实践角度证明了这种方法的可行性。
阅读更多
python多进程中的坑
线上环境docker容器中使用python多进程开发时遇到另一个小坑，做一下记录。问题表现为docker容器卡死，不执行程序并且也不再消费消息队列中的任务。
2022-02-15
Don't stop pretraining
如今很多NLP任务都会在Bert等预训练模型的基础上进行fine-tuning，可能很多人没有意识到在任务领域上进行新的预训练会进一步提高模型效果，下面这篇论文就从多个实践角度证明了这种方法的可行性。
2021-12-11
NER技术的探索与实践
命名实体识别（Named Entity Recognition，简称NER），是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等，一般的也可以识别特定类型的、人为规定的实体。
2021-11-01
神经网络语言模型
语言模型本质是计算给定序列的概率，而神经网络强大的非线性拟合能力很适合拟合概率分布。并且神经网络模型可以获取到当前词汇下文的信息，这一点是N-gram语言模型所不具备的，另外神经网络模型能够利用到的的上下文词汇长度要比N-gram模型长的多。
2021-08-06
语言模型——N-gram模型
N-gram模型是一种基于马尔科夫假设的语言模型，即当前词出现的可能性大小只与这个单词前面一个或者几个单词有关，而与这几个单词之外的其他单词无关。
2021-05-26
语言模型概述
语言模型（Language Model），是对语句的概率分布的建模。对于语言模型，输入为字或者单词组成的序列，输出为这个序列的概率。
2021-05-03
python协程入门
python并发编程中的协程。协程，又称微线程，英文名Coroutine，是运行在单线程中的“并发”，协程相比多线程的一大优势就是省去了多线程之间的切换开销，获得了更高的运行效率。
2021-04-02
Attention is all you need
这是Google公司在2017年发表的一篇论文，论文提出了一种新的结构来“代替”RNN或者CNN的结构，确实是一种比较新颖的操作。
2021-03-10
正则表达式与python正则
正则表达式是一种语言，它使用单个字符串来描述、匹配一系列匹配某个句法规则的字符序列，能帮助你方便的检查一个字符串是否与某种模式匹配。
2021-01-01
机器学习——SVM简述
支持向量机(Support Vector Machine, SVM)是一种应用非常广泛的分类方法。传统的SVM是一种二类分类方法，适用于数据只有两类的情况。本文和接下来几篇文章将从间隔最大化开始，逐步推导SVM形成的优化问题，拉格朗日对偶问题，非线性SVM，以及训练SVM的序列最小最优化(Sequential Minimal Optimization, SMO)算法等。
2020-11-11
遍历与启发式搜索
本文介绍常用的遍历算法和启发式搜索算法。主要包括BFS、DFS、Dijkstra算法、贪婪最佳优先算法和A*算法。
2020-10-06
搜索算法综述
本文为搜索求解算法学习笔记。主要内容为启发式搜索、对抗式搜索和蒙特卡洛树搜索。启发式搜索中包含了贪婪最佳优先和A*算法，对抗式搜索包括了最大最小搜索和以此为基础的Alpha-Bata剪枝搜索。
2020-10-02