第163章 最顶级的富婆

！”

陆小亦看着系统给出的回复有点摸不着头脑：“这个回复看不出什么东西啊，比之前我在你们实验室看到的东西都差远了。”

王杉连连摆手：“不一样的不一样的，她才诞生多久啊，她的潜力很大的。”

说完王杉就开始科普道：“现在大部分的计算机深度学习模型都是通过积累数据然后通过分析输入端的问题，进行检索回复，这种深度学习模式是有弊端的。”

“举个例子。”

“「我喜欢吃苹果」和「苹果手机真的很不错」这两句话里，虽然苹果两个字一样，但代表的含义却截然不同。”

“现在的任务是要给苹果打标签，我们都知道第一个「苹果」是一种水果，第二个「苹果」是苹果公司，假设我们现在有大量的已经标记好的数据以供训练模型，当我们使用全连接的神经网络时，我们做法是把「苹果」这个单词的特征向量输入到我们的模型中，在输出结果时，让我们的「标签」里，正确的标签概率最大，来训练模型。”

“但我们的语料库中，有的苹果的标签是水果，有的苹果的标签是公司。这将导致，模型在训练的过程中，预测的准确程度，取决于训练集中哪个标签多一些，这样的模型对于我们来说完全没有作用。”

王杉开始自问自答的说道：“那么问题在哪儿呢？问题就出在了我们没有结合上下文去训练模型，而是单独的在训练「苹果」这个单词的「标签」，这也是全连接神经网络模型所不能做到的，所以后来就有了循环神经网络这个深度学习模型。”

“但循环神经网络却也有自己的弊端，不管是「梯度消失」还是「梯度爆炸」，又或者是「全局建模」，「长期记忆」，乃至「扩展性」或「泛化能力」都有上限。”

王杉深深倒吸一口气：“但现在！经过吕总的提点，加入「提炼重点」的算法后，也就是数学上的离散概率分布算法，通过加入这一算法后，原本循环神经网络的弊端将得到极大的改善！”

“经过我十几

本章未完，请点击下一页继续阅读！ 第2页 / 共11页