OpenAI GPT 是在 Google BERT 算法之前提出的，与 BERT 最大的区别在于，GPT 采用了传统的语言模型进行训练，即使用单词的上文预测单词，而 BERT 是同时使用上文和下文预测单词。因此，GPT 更擅长处理自然语言生成任务 (NLG)，而 BERT 更擅长处理自然语言理解任务 ...
分类：
其他好文 时间：
2021-04-06 15:20:32
阅读次数：
0
多层感知机 代码： import torch import numpy as np import torchvision #torch的视觉包 import torchvision.datasets as datasets import torchvision.transforms as trans ...
分类：
其他好文 时间：
2021-03-30 12:45:18
阅读次数：
0
例子：在判断三角形形状的一个程序中，会出现 if-else 的多层嵌套，可利用程序的顺序执行结构重构代码，使其更可读。如果还想保证代码的安全性，可以用函数封装这段代码。 #include <stdio.h> #include <stdlib.h> #define PI 3.1415926 /* ru ...
分类：
其他好文 时间：
2021-03-08 13:44:39
阅读次数：
0
背景 在nlp领域，预训练模型bert可谓是红得发紫。 但现在能搜到的大多数都是pytorch写的框架，而且大多都是单输出模型。 所以，本文以 有相互关系的多层标签分类 为背景，用keras设计了多输出、参数共享的模型。 keras_bert基础应用 def batch_iter(data_path ...
分类：
其他好文 时间：
2021-03-08 13:18:36
阅读次数：
0
设计模式分类 不同设计模式的复杂程度、 细节层次以及在整个系统中的应用范围等方面各不相同。 我喜欢将其类比于道路的建造： 如果你希望让十字路口更加安全， 那么可以安装一些交通信号灯， 或者修建包含行人地下通道在内的多层互通式立交桥。 最基础的、 底层的模式通常被称为惯用技巧。 这类模式一般只能在一种 ...
分类：
编程语言 时间：
2021-03-03 11:49:38
阅读次数：
0
1. 介绍 Zookeeper 的文件系统 Zookeeper 提供一个多层级的节点命名空间（节点称为 znode）。与文件系统不同的是，这些节点都可以设置关联的数据，而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟，在内存中维护了这个树状的目录结构，这种 ...
分类：
其他好文 时间：
2021-03-01 13:21:01
阅读次数：
0
1 os.getcwd()获取当前工作目录，即当前python脚本工作的目录路径 2 os.chdir("dirname")改变当前脚本工作目录;相当于shell下cd 3 os.makedirs ('dirname1/dirname2 ')可生成多层递归目录 4 os.removedirs ('d ...
分类：
其他好文 时间：
2021-02-18 12:55:50
阅读次数：
0
数值稳定性和模型初始化 目标：深度学习模型的数值稳定性问题以及模型参数的初始化方法。 深度模型有关数值稳定性的典型问题是衰减（vanishing）和爆炸（explosion）。 衰减和爆炸 当神经网络的层数较多时，模型的数值稳定性容易变差。假设一个层数为$L$的多层感知机的第$l$层$\boldsy ...
分类：
其他好文 时间：
2021-02-17 15:10:01
阅读次数：
0
HTMLElement对象 任何HTML元素都继承于HTMLElement对象，一些元素直接实现这个接口，而另一些元素通过多层继承来实现它。 属性 从其父元素Element继承属性，并从DocumentAndElementEventHandlers、ElementCSSInlineStyle、Glo ...
分类：
Web程序 时间：
2021-02-05 10:52:07
阅读次数：
0
线性回归实现 相关库引用 import tensorflow as tf import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib inline 加载数据 data = pd.read_csv ...
分类：
其他好文 时间：
2021-01-18 11:03:49
阅读次数：
0
