网络用语

现在网络的发展，在日常生活中经常会看到不少网络语言，那么出现ing是什么意思（网络用语），下面就为大家介绍一下吧。

1、ing源于英文的ing进行时的时态后缀，网络用语上借鉴了英文的这个用法并将其使用在中文词汇的后尾；

2、ing是进行时态后缀，网络用语用做中文后缀，是进行时态(be+doing)的动词一种分词形式，来表示自己正在干什么或表达一种感情。

正因为它是进行时态后缀，因此很多人会用它来做中文后缀，来表示自己正在干什么或表达一种感情，如游戏ing表示自己正在玩游戏，吃饭ing表示自己正在吃饭，看电视ing表示自己正在看电视；

以上就是网络用语ing是什么意思的具体介绍了，希望本文能够解答到你的问题哦。

从算法到产品：NLP技术的应用演变

文章回顾了近几年NLP的发展历程，从项目实施的两个阶段中带我们梳理了NLP技术的应用演变。

第一个与大家分享的Case，基于NLP展开。

分为3个部分，分别是NLP的发展、项目叙述、以及Lesson Learned。

讲述NLP的发展，是为了更好地理解这门技术，为项目的展开做铺垫。

Lesson Learned是笔者总结整个项目下来自己的收获。

笔者本身并非计算机课班，对理论知识的理解难免不深刻，以及可能会有偏差，请大家不吝指教。

目录：

NLP的发展项目阐述Lesson Learned

一、NLP的发展

1.1 NLP的定义

The field of study that focuses on the interactions between human language and computers is called Natural Language Processing, or NLP for short. It sits at the intersection of computer science, artificial intelligence, and computational linguistics ( Wikipedia)

总结一下维基百科对NLP的定义， NLP高的recall是我们希望尽量减少False Negative，尽管这样会带来更多的False Positive。

但是通过一些后续的检查，我们是能够将这个FP排除的。

那什么时候precision比recall重要呢？

当FP会带来很大损失的时候，Precision就显得非常重要。

比如在邮件检测里面。

垃圾邮件是1，正常邮件是0，如果有很多FP的话，那么大量的正常邮件都会被存储到垃圾邮件。

这样造成的后果是非常严重的。

到了这里，让我们来回过头去看看我们业务的recall 90 precision 60，我们会为什么这样制定？这还是得从业务背景谈起。

在我和团队分享，如何评估客户AI需求时候，一个很重要的步骤是，首先需要了解这个在没有机器的条件下，他们是如何做这件事的？他们做这件事的判断标准？以及具体的操作步骤。

只有在了解了这个的前提下 ，我们才可以根据这些domain knowledge来进行AI解决方案设计。

提取人物履历信息这些工作是由客户的运营同学负责的，那么客户的运营同学之前是怎么做的呢？他们会阅读一篇文章，然后找出符合人物履历标准的信息，做抽取，并进行二次加工。

注意哦，他们的重点是，需要做二次加工，这里的二次加工指的是什么呢？就是将人物的一些履历信息进行整合。

因此，其实对他们来说，召回不会最重要的，因为不断有新的语料（文章）发布，他们总可以获取相关人物的信息，但是从一篇好几千字甚至上万字的文章中，准确定位人物履历有关的信息，就显得非常重要，可以提升效率。

是的，效率， 是我们制定我们算法指标的标准，提高召回，可以提高运营同学的效率。

下一个问题？为什么不将f1设置为72呢？因为如果我们recall 90，但是precision 60，最后f1也是72，但是这是不符合业务场景需求的。

2.2.2 性能指标

以API的形式交付。

对长度为1000字的文本，每秒查询率（QPS）为10，一次调用在95情况下响应时间（RT）为3秒。

接口调用成功率为99%。

让我们拆解一下这个性能指标，首先说一下交付形式。

当前AI项目交付主要有两种，API和Docker，各自适用于不同的业务场景。

QPS(Query Per Second)每秒查询率是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，在因特网上，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。

对应fetches/sec，即美妙的响应请求数，也是最大吞吐能力。

RT响应时间是指系统对请求作出响应的时间。

直观上看，这个指标与人对软件性能的主管感受是非常一致的，因为它完整地记录了整个计算机系统处理请求的时间

2.3 项目实施

项目实施分为两个阶段，阶段一的尝试主要是使用规则，阶段二的尝试中，我们将策略从规则切换到了模型。

从规则到模型的转换，影响因素比较多，有随着项目进展，项目组对项目难度的认识更加深刻的因素，也有数据集的积累更加丰富的原因。

2.3.1 阶段一：规则

在项目中的阶段一，我们的尝试，主要在于规则。

首先，我们来介绍一下，在机器学习里面，什么是规则。

那么我们第一阶段，使用规则具体是怎么做的呢？

在第一个阶段，我们整理出了3个文本：白名单、黑名单、打分词。

先来说说这三个文本在我们规则中的使用逻辑，接着我会解释为什么，我们要这么设计。

白名单：白名单是一个list，里面有很多词。

当一句话中出现了属于白名单词典中的词，我们就将这句话提取出来。

黑名单：当一句话中出现了这个词，我们就将这句话扔掉。

打分词：当一句话中出现了打分词list中的词，我们就给这句话加1分。

（因为词的权重不同，因此权重不一定都是1）

所以，为什么我们要这样设计呢？

我们首先来看看白名单，白名单中的典型词汇有：毕业于、深造、晋升等。

大家可以发现，这些词汇，有强烈的属性表现，表现一个人物的履历。

因此，当出现了这些词汇之后，我们就默认将这句话抽取（extract）出来。

黑名单中的典型词汇有：死于，逝世、出席等。

这些词，明显与人物履历毫无关系。

最后，我们来看一下这个打分词。

在打分的设计逻辑上，我们使用了TF-IDF。

同时，为了减少因为我们自己样本量少，而带来的负面影响，我们爬取了百度百科人物库，通过TF-IDF，筛选出了几百个和人物履历描述相关的词，并且人工对这些词进行了打分。

我们通过匹配一句话中出现的打分词，来为一个句子打分。

并且，我们可以通过调节句子得分的阈值，来调节我们命中人物履历的句子。

通过规则，我们发现，模型的效果，在precision不错，但是recall不够好。

通过分析bad case，我们发现模型的泛化性能差。

分析Bad Case的思路：

找出所有bad cases，看看哪些训练样本预测错了？对每一个badcase分析找出原因我们哪部分特征使得模型做了这个判断这些bad cases是否有共性？将bad cases进行分类，并统计不同类别的频数

这里顺便提一下，在我们分析bad case的时候，除了分析模型预测的错误之外，我们也会发现一些标注数据存在问题，在训练集中，有人为标记错的样本很正常，因为人也不能保证100%正确。

我们需要注意的是，这种标记错误分为两类：

随机标记错误，比如因为走神、没看清给标错数据系统性标记错误，标错数据的人，是真的将A以为是B，并且在整个标注流程中，都将A以为是B

对于随机标注错误，只要整体的训练样本足够大，放着也没事。

对于系统性标注错误，必须进行修正，因为分类器会学到错误的分类。

说明一下，关于Bad Case分析，吴恩达的课程都有讲，如果想对这一块知识，有进一步了解，可以自行进行学习。

阶段一遇到的困难 通过对bad case的分析，我们发现通过规则中最大的问题是，模型无法分清动名词。

因此，导致precision非常地低。

举2个例子：

A：小红投资的运动装公司西蓝花。

B：小红投资了运动装公司西蓝花。

第一句表达的主旨意思是运动装公司，而第二句话表达的主旨是小红进行了投资，因此从最开始对需要抽取句子的定义上来说，我们应该抽取第二句。

但是，因为是打分机制，AB两句都命中了“投资”，因此，均被抽取。

从这里，就发现，我们的规则之路，基本上走到了尽头，打分的方式是永远无法将AB区分出来，于是，我们开始了我们下一段探索之旅。

2.3.2 阶段二：模型

在阶段一，我们讲到了规则的一个弊端，就是规则无法区分词性。

经过评估，我们还是打算使用模型来做，并且根据上一阶段的发现，做对应的优化，在这里，让我们介绍一下“Part-of-Speech Tagging”

Part-of-Speech Tagging，也叫词性标注。

词性标注很有用，因为他们揭示了一个单词以及其相临近词的很多信息。

我们看一下具体的用例。

根据POS，我们发现，”dog“是名词，“ran”是动词。

是不是觉得这个方法刚好就能弥补我们上面谈到的，模型无法分清动名词这个困难。

因此，我们对所有数据，加了POS，然后放进了Bert，这里还有一个小的tip，因为我们数据量其实是很小的，所以Bert只训练了一轮。

既然这里讲到了Bert，那么我也和大家一起重新复习一下Bert（我不是科班专业，也不是专门研究NLP方向的，所以我自己的知识积累有限，如果大家有更好的想法，欢迎交流讨论90度鞠躬）

首先，我们了解一个概念“预训练模型”。

预训练模型就是一些人用某个较大的数据集训练好的模型，这个模型里面有一些初始化的参数，这些参数不是随机的，而是通过其他类似数据上面学到的。

Bert呢，是一个Google开源的模型。

非常的牛逼，那到底有多牛逼呢？这要从Bert的试用领域和模型表现效果，两个维度来说说。

适用领域，Bert可以用于各种NLP任务，只需要在核心模型中添加一个层，例如：

在分类任务中，例如情感分析，只需要在 Transformer 的输出之上加一个分类层在问答任务中，问答系统需要接收有关文本序列的question，并且需要在序列中标记answer。

可以使用 BERT学习两个标记 answer 开始和结尾的向量来训练 Q&A模型在命名实体识别（NER），系统需要接收文本序列，标记文本中的各种类型的实体（人员、组织、日期等）可以用BERT将每个token的输出向量送到预测 NER 标签的分类层。

在part of speech 和Bert的加持下，我们模型的表现，达到了recall 90，precision 90。

暂且讲到这里吧～

三、Lesson Learned

其实从项目推进上，数据集管理上，策略分析上，感觉还有好多可以讲，可以写的，写下来又感觉写的太多了。

之后，单开篇幅来写吧