python爬虫教程：《利用Python爬取表情包》-白红宇

python爬虫教程：《利用Python爬取表情包》

阅读量：5251 次

发布时间：2019-06-14

本文共 1844 字，大约阅读时间需要 6 分钟。

python爬虫教程：《利用Python爬取表情包》，微信没有表情包？不用愁！老师带领你使用多线程爬虫一键爬取20w的表情包~

项目源码：

1   2 ''' 3 在学习过程中有什么不懂得可以加我的 4 python学习交流扣扣qun，934109170 5 群里有不错的学习教程、开发工具与电子书籍。 6 与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容。 7 ''' 8 from pyquery import PyQuery as pq 9 import requests10 from redis import StrictRedis11 o=012 headers={13     'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0'14  15 }16  17  18 def xpan(canshu):19     try:20         url = 'https://www.doutula.com/photo/list/?page=' + str(canshu)21         sp = requests.get(url, headers=headers).text22  23         doc=pq(sp)24         item=doc('.col-xs-6 img').items()25  26         for i in item:27             cu=i.attr('data-original')28  29  30  31             #r(cu,'F:/斗图的/%s.jpg'%u)32            # u+=133             #print('当前已保存%d张'%u)34             #print(cu)35             redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')36             redis.sadd('斗图网下载图片的URL', cu)37  38     except Exception as e:39  40        print('出现错误',e.args)41 a=int(input('请问你需要爬取多少页呢:'))42 print('正在爬取链接并保存到redis数据库中请稍等........')43 for i in range(a):44  45    xpan(i+1)46  47 redis = StrictRedis(host='172.18.200.5', port=6379, db=1, password='')48 redis.srem('斗图网下载图片的URL','None')49 for i in redis.smembers('斗图网下载图片的URL'):50     t=str(i,encoding='utf8')51     #print(t)52     r=t.split('/')[-1]53     dizhi='F:/斗图/'+r54     req=requests.get(t)55     with open(dizhi,'wb')as p:56         p.write(req.content)57         print('保存完毕 已保存了%d张'%o)58         o+=1

转载于:https://www.cnblogs.com/xiaoyiq/p/11444645.html

你可能感兴趣的文章

.net static 变量

查看>>

The Number of set-hdu-3006

查看>>

[设计模式]适配器模式与外观模式

查看>>

自定义分页控件，修改自AspNetForums.Controls.Pager

查看>>

ssh 免签登录亲测可以

查看>>