标签:datasets 常见 图片 info item bat 框架 数据预处理 voc
1.torchtext的一些API
torchtext.data.Example : 用来表示一个样本,数据+标签
torchtext.vocab.Vocab: 词汇表相关
torchtext.data.Datasets: 数据集类,__getitem__ 返回 Example实例
torchtext.data.Field : 用来定义字段的处理方法(文本字段,标签字段)
创建 Example时的 预处理
batch 时的一些处理操作。
torchtext.data.Iterator: 迭代器,用来生成 batch
torchtext.datasets: 包含了常见的数据集.
2.torchtext简介
Torchtext 是一个非常强有力的库,她可以帮助我们解决 文本的预处理问题。为了能够更好的利用这个工具,我们需要知道她可以做什么,不可以做什么,也要将每个API和其我们想要的做的事情联系起来。另外一个值得夸赞的一点是,Torchtext 不仅可以和 pytorch 一起用,还可以和其它深度学习框架(tf,mxnet,…)。
3.TorchText 的数据预处理流程
标签:datasets 常见 图片 info item bat 框架 数据预处理 voc
原文地址:https://www.cnblogs.com/luckyplj/p/13143953.html