博客
关于我
Python爬取高清桌面壁纸(附源码),直接运行即可
阅读量:630 次
发布时间:2019-03-14

本文共 1719 字,大约阅读时间需要 5 分钟。

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

以下文章来源于云+社区,作者 深雾

转载地址

https://blog.csdn.net/fei347795790?t=1

直接运行即可,效果图:

 

代码如下

导入工具

import requests,osfrom pyquery import PyQuery as pqimport time

 

请求、解析网页数据,保存数据

headers = {    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 '                  '(KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}# 这里我使用了代理  你可以去掉这个代理IP 我是为了后面大规模爬取做准备的proxies = {    'https': '218.75.69.50:39590'} # 请求网页 获取源码def start_request(url):    r = requests.get(url, headers=headers, proxies=proxies)    # 这个网站页面使用的是GBK编码 这里进行编码转换    r.encoding = 'GBK'    html = r.text    return html # 解析网页 获取图片def parse(text,i):    doc = pq(text)    # 锁定页面中的img标签    images = doc('div.list ul li img').items()    x = 1    for image in images:        # 获取每一张图片的链接        img_url = image.attr('src')        # 获得每张图片的二进制内容        img = requests.get(img_url, headers=headers, proxies=proxies).content        # 定义要存储图片的路劲        # 创建目录        dir_path = os.path.dirname(os.path.abspath(__file__)) + "\\image\\"        imagspath = dir_path+'/imgs'+str(i)        # 创建目录        if not os.path.exists(imagspath):            os.makedirs(imagspath)         path = imagspath+"\\" + str(x) + ".jpg"        # 将图片写入指定的目录 写入文件用"wb"        with open(path, 'wb') as f:            f.write(img)            time.sleep(1)            print("正在下载第{}页{}张图片".format(i,x))            x += 1    print("写入完成") def main():    url = "http://www.netbian.com"    text = start_request(url)    parse(text,1)    #爬取指定范围页面    for i in range(2,100):        urlnum = url + "/index_"+str(i)+".htm"        textnum = start_request(urlnum)        parse(textnum,i) if __name__ == "__main__":    main()
你可能感兴趣的文章
mysql 断电数据损坏,无法启动
查看>>
MySQL 日期时间类型的选择
查看>>
Mysql 时间操作(当天,昨天,7天,30天,半年,全年,季度)
查看>>
MySQL 是如何加锁的?
查看>>
MySQL 是怎样运行的 - InnoDB数据页结构
查看>>
mysql 更新子表_mysql 在update中实现子查询的方式
查看>>
MySQL 有什么优点?
查看>>
mysql 权限整理记录
查看>>
mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
查看>>
MYSQL 查看最大连接数和修改最大连接数
查看>>
MySQL 查看有哪些表
查看>>
mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制,你真的明白吗
查看>>
MySql 查询以逗号分隔的字符串的方法(正则)
查看>>
MySQL 查询优化:提速查询效率的13大秘籍(避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化)(上)
查看>>
mysql 查询数据库所有表的字段信息
查看>>
【Java基础】什么是面向对象?
查看>>
mysql 查询,正数降序排序,负数升序排序
查看>>
MySQL 树形结构 根据指定节点 获取其下属的所有子节点(包含路径上的枝干节点和叶子节点)...
查看>>
mysql 死锁 Deadlock found when trying to get lock; try restarting transaction
查看>>
mysql 死锁(先delete 后insert)日志分析
查看>>