标签:das net 情感分类 链接 准备 使用 code 截断 想法
需要学习链接:
使用pandas做预处理,https://blog.csdn.net/mpk_no1/article/details/71698725
https://www.jianshu.com/p/8d3f929c9444
1.首先是要读取数据集,建立字典,将word转为id准备输入;
2.想获取数据文本的长度分布,然后做截断,但不知道怎么写;
但是链接中考虑的更全面
1.去掉非ASCII字符,2.去掉换行符,3.转换为小写。
https://blog.csdn.net/icbm/article/details/79747024 非ASCII字符:
[^\x00-\x7f]
比如这样。就是不在ASCII编码中的字符吧。
其中用到了pandas库,
标签:das net 情感分类 链接 准备 使用 code 截断 想法
原文地址:https://www.cnblogs.com/BlueBlueSea/p/12399185.html