DataWhale 动手学深度学习PyTorch版-task2：文本预处理；语言模型；循环神经网络基础

标签：读者   src   sci   必须   def   复用   img   面向   深度   

课程引用自伯禹平台：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV

《动手学深度学习》官方网址：http://zh.gluon.ai/ ——面向中文读者的能运行、可讨论的深度学习教科书。

task2：文本预处理；语言模型；循环神经网络基础

课程详细内容在https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/74GLt4f6G9GgtnuK_Y7SJ

#课程视频下的讨论也是精华

1、读文本行的代码，可以复用

def read_time_machine():
    with open(‘/home/kesci/input/timemachine7163/timemachine.txt‘, ‘r‘) as f:
        lines = [re.sub(‘[^a-z]+‘, ‘ ‘, line.strip().lower()) for line in f]
    return lines
lines = read_time_machine()
print(‘# sentences %d‘ % len(lines))

2、建立字典
#常听说的建语料库，是不是就是建字典，给标签？
#每种语言的分词应该不同

DataWhale 动手学深度学习PyTorch版-task2：文本预处理；语言模型；循环神经网络基础

标签：读者   src   sci   必须   def   复用   img   面向   深度   

原文地址：https://www.cnblogs.com/haiyanli/p/12309289.html