【飞桨PaddlePaddle学习心得】day5（学习过程中遇到的坑的汇总）jsonyinyiyu的博客-

坑1 没有paddlehub里面的模型文件

原因：

没有下载paddlehub  没有import paddlehub 没有使用hub命令下载senta_bilstm模型 模型下载命令：!hub install senta_bilstml==1.0.0 可以引伸出来 使用paddlehub，所有找不到模型额问题，都是paddle没有加载进来 

坑2 matplotlib显示中文的问题

原因

1.没有安装中文字体 2.安装了中文字体，但是没有复制到matplotlib下面 3.设置matplotlib.rcParams 4.for mac：安装好以后需要使用rm -r ~/.matplotlib 删除~/.matplotlib文件 

解决方法

 #下载中文字体  wget https://mydueros.cdn.bcebos.com/font/simhei.ttf   #在操作系统中创建字体目录fonts（可能已经有  mkdir .fonts  # 复制字体文件到该路径  cp simhei.ttf .fonts/ #复制字体到当前使用的conda环境中的matplotlib下的指定路径  cp simhei.ttf /opt/conda/envs/python35-paddle120-env/lib/python3.7/site-packages/matplotlib/mpl-data/fonts/ttf/ # Linux系统默认字体文件路径  ls /usr/share/fonts/ # 查看系统可用的ttf格式中文字体  fc-list :lang=zh | grep ".ttf" # 设置显示中文     matplotlib.rcParams['font.family'] = ['SimHei'] # 解决负号'-'显示为方块的问题     matplotlib.rcParams['axes.unicode_minus'] = False 

最终效果：

坑3这是一个系列性的问题（day4问题

可能的报错

这一系列的问题都出现在使用paddlehub进行Finetune的时候 也就是在运行run_states = task.finetune_and_eval()这行代码的时候。

其实可以很容易知道，我们不能对模型做什么改动，只有在运行这一行代码的时候报错了，那么我们唯一和模型进行交互的是什么呢？是我们的数据集，所有肯定是我们的额数据集出现了问题呀。
归根到底，出现问题还是没有理解paddlehua的自定义数据集的规定。

 from paddlehub.dataset.base_cv_dataset import BaseCVDataset     class DemoDataset(BaseCVDataset): def __init__(self): # 数据集存放位置        self.dataset_dir = "dataset" super(DemoDataset, self).__init__(            base_path=self.dataset_dir,            train_list_file="train_list.txt",            validate_list_file="validate_list.txt",            test_list_file="test_list.txt",            label_list_file="label_list.txt", ) dataset = DemoDataset() 

从这个DemoDataset可以看出，dataset_dir设定了所有的路径的root节点，相当于下面super里面的所有路径前面都要加入dataset/这个前缀。详细的要求可以查看适配自定义数据
然后就是train_list.txt、validate_list.txt和test_list.txt里面的内容了。

以上图(train_list.txt)里面的内容为例.分为两列：
第一列是训练数据的路径，这里也是最容易出错的，这里的路径默认前面是有了一个dataset的，也就是我们在前面代码里面设置的self.dataset_dir = “dataset”，很多问题都是出现在这里的，因为这里写错了，那么模型就加载不到图片，肯定会报错呀。
然后就是第二列的数据，中间以空格分割，第二列的数据与label_list.txt里面的内容形成索引。

以上是label_list.txt里面的内容，paddle在查询的时候，训练和测试文件的时候，会自动根据索引去label_list.txt中匹配label。

坑4在python中使用paddlehub的情感分析

这个的坑在于，传入的数据必须是个字典，而且字典的key要为text，value必须要是个list。

senta = hub.Module(name='senta_bilstm', version='1.0.0') input_dict = {'text':['你好呀！','ennenene']} res = senta.sentiment_classify(data=input_dict) 

坑5 大作业爬虫

本次大作业第一步就是爬取评论的数据，这个爬虫相对来说不要太容易了，唯一的槽点就是调用的接口找起来有点麻烦，在这里给出，结构的url如下，对于参数来说，只要注意content_id和last_id就行了，content_id代表的是那一步电影/电视（in iqiyi）。然后last_id的话主要是达到一个翻页的作业，只需要把本次查询到的最后一个评论的用户的id赋值给last_id就可以实现查询下一页的评论了。

接口链接和参数如下

意思的话从参数名上面大部分就能看明白了

坑6 json.loads 和 json.dump

这两个函数会由于基本功的问题，容易搞混淆或者记不起怎么用。
当我们通过接口爬取到数据后，返回的通常都是json类型的字符串数据。这个时候我们就需要上面的两个函数来帮忙了，那么到底这两个函数怎么用呢。
通俗的讲：

json.loads(str(data)：将一个JSON编码的字符串转换回一个Python数据结构(通常为字典 json.dump(json_data): 将一个Python数据结构转换为JSON字符串，通常在写文件的时候使用。 

所有本次大作业，先拿到的就是json类型的字符串，我们要拿到里面的comments的话就要先把它转换为dict类型的数据，然后再访问：

 lastId = ''  response = getComment(lastId) #getComment发送请求得到json类型的字符串  response = json.loads(response) #使用json.loads解析     comment_list = response['data']['comments'] #得到一次返回的所有comments的list     lastId = comment_list[-1]['id'] #得到lastID  然后再次使用getComment(lastId) while len(comment_list) <1000:      getComment(lastId)      ……      ……         #当要持久化爬取到的json数据的时候 就要使用json.dump() with open('day5.json', 'w', encoding='UTF-8') as f:         json.dump(comment_list, f, ensure_ascii=False) 

2020.4.27 00:12 未完待续