1.环境的安装与准备 参考下图： 2.数据库服务的安装与添加（HADOOP，HDFS，HIVE） 如下图所示： 3.华为官网的文档的指导手册（HADOOP，HDFS，HIVE） FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类：
数据库 时间：
2020-11-13 12:11:51
阅读次数：
18
1.U盘的装载与卸载（设备都保存在/dev中 /dev存放设备的文件） 1.卸载u盘 umount /media/xxx/xxx （xxx为具体路径） 2.查看设备 sudo fdisk -l （sd-->scsi device hd-->hard disk硬盘 fd >floppy disk软盘 ...
分类：
系统相关 时间：
2020-10-26 10:40:11
阅读次数：
25
全球性革命数据存储，HDFS即将上线在这个互联网时代，随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。分布式管理系统的最大的变化就是管理对象不再是单机本地分布的，而是分布于网络中。分布式系统同样要为用户提供对文件和目录的相关操作。那么分布式存储类型有哪些呢？HD
分类：
其他好文 时间：
2020-08-12 15:37:17
阅读次数：
61
磁盘与分区表示 名称规则 hd,表示IDE设备 sd,表示SCSI设备 vd,表示虚拟设备 （虚拟机中可以见到） Linux磁盘管理常用三个命令为df、du和fdisk。 df df命令参数功能：检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间，目前还剩下多少空间等信息。 d ...
分类：
系统相关 时间：
2020-07-08 15:05:24
阅读次数：
104
1.现状 (1) 模型层数加深 (2) 模型参数量变大 (3) 难以训练 (4) 难以fine-tune 2. 单层参数量和占用内存分析 层参数设置参数量与占用内存 1 layer 0.5Billion 0.5Billion * 4Byte = 2GB embedding layer 64K tok ...
分类：
其他好文 时间：
2020-07-02 00:27:27
阅读次数：
75
随着预训练技术的到来，作为深度学习重要应用领域之一，自然语言处理也迎来了新的春天。通过使用预训练模型可以大大减少模型训练对数据的依赖，仅需要使用少量数据在下游任务中微调（Fine-tune），就可以获得效果非常优秀的模型。不过如果希望获得更好的效果，该怎么办呢？有人也许会说：多训练几个epoch嘛！ ...
分类：
其他好文 时间：
2020-06-26 18:01:07
阅读次数：
79
背景 毕业论文选择了文本处理的情感分析。交了论文的初稿后，导师看了觉得写得不错，希望我冲击一下优秀论文，给我推荐了bert算法让我再去跑一趟。本是第一次接触NLP的我又去看了这个前2年才由谷歌开发出来的算法，简直头皮发麻。在google开源代码的run_classifier.py里添加了自己的Pro ...
分类：
其他好文 时间：
2020-06-25 16:06:01
阅读次数：
205
H.265 HD 和H.265 4K Video Encoder IP Core H.265 HD Video Encoder IP Core(H.265 HD Video/Audio Encoder IP Core) H.265 4K Video Encoder IP Core (H.265 4K ...
分类：
Web程序 时间：
2020-06-24 13:55:15
阅读次数：
77
1、获取URL对应的资源 get、head 2、实例 try: url = 'https://www.baidu.com/s?' kv = {'wd': 'python'} hd = {'user-agent': 'Chrome/10'} r = requests.get(url, params=k ...
分类：
其他好文 时间：
2020-06-22 18:52:51
阅读次数：
59
随着预训练技术的到来，作为深度学习重要应用领域之一，自然语言处理也迎来了新的春天。通过使用预训练模型可以大大减少模型训练对数据的依赖，仅需要使用少量数据在下游任务中微调（Fine-tune），就可以获得效果非常优秀的模型。不过如果希望获得更好的效果，该怎么办呢？有人也许会说：多训练几个epoch嘛！ ...
分类：
其他好文 时间：
2020-06-17 20:25:50
阅读次数：
57
