三分钟带你对 Softmax 划重点 深度学习中 Batch Normalization为什么效果好？-知乎 详解深度学习中的Normalization，BN/LN/WN 我的的博客 Softmax在数学，尤其是概率论和相关领域中，Softmax函数，或称归一化 指数函数，是逻辑函数的一种推..

我的的博客 TensorFlow函数tf.tile# key_masks：(N, T_k) N:batch_size T:maxlentf.tile(key_masks, [num_heads, 1]) # (h*N, T_k) 在input的每一维 复制对应的次数 tile([x, y],..

我的的博客 机器翻译模型Transformer代码详细解析 代码地址 Transformer动机：前几天和同学讨论一下decoder对mask是否有优化，发现自己对tensor shape记得并不好，这两天再过一次 加深一下印象并记录 代码：17年老代码，好处是写的很简单 数据预处理 pre..

参考文章，感谢作者付出。 直观理解神经网络最后一层全连接+Softmax 花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP） 如何理解softmax 【AI数学】Batch-Normalization详细解析 我的的博客 一句话：FNN=MLP=ndense=nrelu(Wx+b)..

正所谓前人栽树，后人乘凉。 感谢 seeInfinite：关于attention机制在nlp中的应用总结 我的的博客 Query Key Value概念理解单词本意query：n. 疑问，质问；疑问号 ；[计] 查询 vt. 询问；对……表示疑问 key：vt. 键入；锁上；调节…的音调；提..

正所谓前人栽树，后人乘凉。 感谢夏天的米米阳光CSDN 感谢自然语言处理之_SentencePiece分词 感谢subword-units 我的的博客 SubwordBPE的训练和解码范围都是一个词的范围。 learn BPEBPE词表学习，首先统计词表词频，然后每个单词表示为一个字符序列..

正所谓前人栽树，后人乘凉。 感谢菜鸟教程 我的的博客 配置Git首先在本地创建ssh key； $ ssh-keygen -t rsa -C "your_email@youremail.com" 后面的your_email@youremail.com改为你在github上..

测试第一行 123