第4次课-神经网络基础-梯度下降 损失函数 梯度下降 这里没弄懂，后面会有问题的。 什么样的算法能够模拟人来做出决定呢？机器学习的算法。 神经网络在近几年的快速发展，算法在一些任务上已经超过了人类。那么到底什么是神经网络？ 人类在漫长的进化过程中，大脑细胞形成了一套有效的工作机制。 科学家发现大脑细胞是怎么样工作的？ 1943年，某科学家用一个简单的数学模型表达了神经元信号传递的方式——整合多个信号输入并转化为一个信号输出给其他 2021-03-18 自然语言处理 ustc 自然语言处理
第7次课-词向量-2 实际上就是将 的第 行拷贝到 。 是输入单词 的向量表示。这里也意味着隐藏层的激活函数就是线性的，直接将输入的加权和传入到下一层。 从隐藏层到输出层，有另一个权重矩阵 ，其是一个 的矩阵。使用这些权重，我们可以对词汇中的每一个单词计算出一个分数 其中 是 的第 列。 词向量部分全部总结在第5次课了 2021-03-18 自然语言处理 ustc 自然语言处理
第5课-神经网络基础-2 词向量-1 01：15：30开始词向量 词向量的非常重要。 个性 用 1 * 5的向量表示.X空间映射到Y空间是什么意思？ X空间的一个元素，用Y空间的元素（Y空间的一个向量）来描述。 使用向量表示有什么好处呢？ 一方面是因为这样简单直观；另一方面 2021-03-18 自然语言处理 ustc 自然语言处理
梯度 偏导数只是特定方向上的变化率. 研究任意方向的变化率 梯度其实就是三元函数在一点处的切平面的法向向量。 点乘运算： A的模 * B 的模 * 夹角余弦 从1个点沿各个方向出发，哪个方向变化率最大（哪个方向方向导数最大），变化最快，我们称其为梯度。 爬山也是，沿哪个方向走 变化最大，这个方向称为梯度方向 2021-03-18 自然语言处理 ustc 自然语言处理
神经网络基础 1.最早的人工神经元的数学模型，没有权重 2.感知器增加了权重 3.感知器怎么样能训练出权重?买房子的例子，有很多影响因素，譬如房价、面积、位置、楼层，这些因素的影响权重是不同的，那训练出权重，感知器就能预测，对于给定的一套房子，人们对这套房子的购买意向有多大。 首先，所有的权重参数都是随机的；然后根据一个标准【代价函数】，使用一些方法【梯度下降】更新权重，直到这个标准【代价函数】的值足够好；或者 2021-03-18 自然语言处理 ustc 自然语言处理
第11次课 多义词多义词是自然语言中经常出现的现象，也是语言灵活性和高效性的一种体现 多义词对Word Embedding来说有什么负面影响多义词Bank，有两个常用含义，但是Word Embedding在对bank这个单词进行编码的时候，是区分不开这两个含义的，因为它们尽管上下文环境中出现的单词不同，但是在用语言模型训练的时候，不论什么上下文的句子经过word2vec，都是预测相同的单词bank，而同一个单 2021-03-18 自然语言处理 ustc 自然语言处理
第1次课 什么是nlp 仅仅有词典来理解NLP是不够的。 计算机程序语言是上下文无关文法的，自然语言是上下文有关的。导致复杂度差了多个数量级。 NLP的一个重要特征，那就是序列性，不能孤立地看一个单词的含义，或者说一定要看上下文。 2.利用统计来Nlp处理经过了长时间的摸索和碰壁之后，IBM华生实验室的Frederick Jelinek率先利用统计语言学的方法在语音识别领域做出了重大突 2021-03-18 自然语言处理 ustc 自然语言处理
第2次课-分词 https://zhuanlan.zhihu.com/p/109054674 在做文本处理的时候，首先要做的预处理就是： 分词无论是英文还是中文，分词的原理都是类似的。 简单而言，汉语自动分词就是让计算机系统在汉语文本中的词与词之间自动加上空格或其他边界标记。 （自动分词是一个没有明确定义的问题。） 1.分词中的基本问题分词中涉及到三个基本问题：分词规范、歧义切分和未登录词的识别。 1.分词规范 2021-03-18 自然语言处理 ustc 自然语言处理
第6次课-循环神经网络 1.起源为了处理句子，神经网络要能够记住句子中词的相对关系，因此，提出来一种新的模型RNN，recurrent neural network，循环神经网络。 “买5月1日去苏州的车票”“买5月1日从苏州出发的车票”，在这两个句子中，苏州分别是目的地和出发地，所以这个时候就是要求网络有记忆。如果结合上下文，记住它之前的词“去”以及“离开”，那么就可以判断出苏州到底是出发地还是目的地。因此，要求神经网 2021-03-18 自然语言处理 ustc 自然语言处理
第9次课-seqseq2&attention 神经机器翻译（NMT）是一种新兴的机器翻译方法，它试图构建和训练一个大型的神经网络，该网络可以读取输入文本并输出翻译。NMT的先锋就是seq2seq，seq2seq于2014年在两篇开创性的论文中提出，在机器翻译、文本摘要和图像字幕等任务中取得了很大成功。谷歌翻译在2016年底开始使用这种模型。 seq2seq模型1.什么是seq2seq:Seq2Seq模型是RNN（包括LSTM和GRU）重要的一 2021-03-18 自然语言处理 ustc 自然语言处理
第8次课-文本分类 文本分类问题算是自然语言处理领域中一个非常经典的问题 定义？ 文本分类问题分为特征工程和分类器两部分。 1.特征工程机器学习问题是把数据转换成信息再提炼到知识的过程 特征是“数据–>信息”的过程 分类器是“信息–>知识”的过程 文本特征工程分为文本预处理、特征提取、文本表示三个部分，最终目的是把文本转换成计算机可理解的格式，并封装足够用于分类的信息，即很强的特征表达能力。 1.1文本预 2021-03-18 自然语言处理 ustc 自然语言处理
实验三 实验三fig5 A[] Obs.taken imply x >=2 表示对于所有路径，x >=2时，迁移到状态taken一定会发生 E<> Obs.idle and x > 3表示存在一条路径，x>3时，迁移到idle状态 fig6guard : x >= 2 invariant: x <=3 fig7guard ： x>=2 and x 2021-03-18 系统建模 ustc 系统建模