码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫大作业

时间:2018-04-29 01:31:20      阅读:182      评论:0      收藏:0      [点我收藏+]

标签:成功   alt   爬虫   源代码   代码   cloud   sel   com   open   

我选择的是爬取慕课网的关于java的课程,网址为https://www.imooc.com/search/course?words=java;

技术分享图片

 

慕课网上关于java的课程总共有三页:

for i in range(1, 4):
    pageUrl = "https://www.imooc.com/search/course?words=java&page={}".format(i)
    gettitle(pageUrl, i)

  通过这一方法获取每一页的网址跟页码,并将它们传给我自己定义的gettitle函数。

使用浏览器自带的检查功能打开网页的源代码,找到自己想要爬取的部分的标签,我要爬取的是class为course-item的相关信息:

    for i in soup.select(".course-item"):
        if len(i.select(".course-item-detail")) > 0:
            count = count + 1
            if num <= 2:
                    title = i.select(".course-item-detail")[0].select("a")[0].text
                    a=i.select("a")[0].attrs[‘href‘]
                    print(title,a)
                    SAVE(title)
            else:
                if count <= 26:
                    title = i.select(".course-item-detail")[0].select("a")[0].text
                    a = i.select("a")[0].attrs[‘href‘]
                    print(title,a)
                    SAVE(title)
                else:
                    break;

  技术分享图片

再将这些爬取的信息保存为txt文档:

def SAVE(title):
    f = open("java.txt", "a", encoding=‘utf-8‘)
    f.write(title )
    f.close()

  

 

技术分享图片

 

最后生成词云:

abel_mask = np.array(Image.open("timg.jpg"))

#读取要生成词云的文件
text_from_file_with_apath = open(‘java.txt‘,encoding=‘utf-8‘).read()

#通过jieba分词进行分词并通过空格分隔
wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)
my_wordcloud = WordCloud(
            background_color=‘white‘,
            mask = abel_mask,
            max_words = 100,
            stopwords = {}.fromkeys([‘nbsp‘, ‘br‘]),
            font_path = ‘C:/Users/Windows/fonts/simkai.ttf‘,
            max_font_size = 150,
            random_state = 30,
                scale=.5
                ).generate(wl_space_split)

# 根据图片生成词云颜色
image_colors = ImageColorGenerator(abel_mask)

# 以下代码显示图片
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()

  使用的图片:技术分享图片

 

 

生成的图片:技术分享图片

 

 

遇到的问题及解决方法:

在pycharm中安装wordcloud时失败了,然后就去百度按照百度上提供的方法最后安装成功。

 

总结:

这次的爬虫作业基本上都是老师课上讲到的,这提醒我要在课上认真听讲在课后多加练习。

爬虫大作业

标签:成功   alt   爬虫   源代码   代码   cloud   sel   com   open   

原文地址:https://www.cnblogs.com/hkvbm/p/8969953.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!