代码编织梦想

1.背景

我最近准备把1985年-2019年的全国30m分辨率土地利用数据按照地级市进行裁剪与归纳,这需要用到Geopandas对shp数据进行批量操作。在安装Geopandas的python包时,遇到一系列模块包版本在加利福尼亚大学尔湾分校python库中下架的情况(这个网站几乎囊括了python所有whl文件,网址为:https://www.lfd.uci.edu/~gohlke/pythonlibs/ ) 。

加利福尼亚大学尔湾分校python库示意图
由此,我便产生了一个想法,下载所有的模块包并做一个备份。

2.下载方法

2.1 找到模块包的下载链接

首先这个网站不需要注册,也不需要fq,因此不用考虑反爬机制和网络连接设置。
当你要在这个网站下载python包时,只需要点击就可以下载。我猜想每个模块包的下载链接藏在html文档中的"li"标签中,F12检查要素。


可以看到li标签中没有下载链接,那下载链接应该是通过点击动作,服务器才会返回下载链接进行下载。理论上使用爬虫模拟点击获取链接,也是可行的。
但,不采用爬虫,还有更简单的。

由此,我们获取了一个下载链接,链接为:
https://download.lfd.uci.edu/pythonlibs/y2rycu7g/GDAL-3.3.1-pp37-pypy37_pp73-win_amd64.whl, 将此链接放入浏览器访问,可以下载模块包。

2.2 确定下载思路

观察到下载链接在最后一个斜杠后的为模块包的名字,比如:GDAL-3.3.1-pp37-pypy37_pp73-win_amd64.whl。
那我们是不是可以用模块包的名字,直接复制到“https://download.lfd.uci.edu/pythonlibs/y2rycu7g/”之后。于是我又试了几个包,该方案是可行的。
因此,所有python包的下载链接为:固定的格式+模块名

2.2 实操

(1)ctrl+A、ctrl+V、ctrl+C,复制网页,粘贴到notepad++:

(2)数据清洗,只保存python包的名字。这里面数据清洗,可以使用notepad++自带的正则表达式筛选、标记行、删除行,最后文档只包含python包名字:

(3)添加链接,就完成了。其中python27、python33、python34、python35、python36需要额外添加一个斜杆内容,代表python版本:

2.2 下载

我刚开始打算用python,开多线程下载。后面一想,有下载链接了,用迅雷不好吗?数据链接通过迅雷下。

3.下载结果

以下是结果,共计8000个模块包,24G内存大小。

并且按照python版本进行了归类:

4.总结

1.全文思路:通过下载链接,获取链接生成方式;然后利用notepad++进行数据清洗,制作链接;最后通过迅雷下载。
2.对python包进行了备份,以后需要老版本的包,可以在百度云中下载。需要资源的,请找下面的二维码。

可以前往“地信遥感数据汇”(https://www.gisrsdata.com/)获取更多数据。

本文为博主原创文章,未经博主允许不得转载。
本文链接:https://blog.csdn.net/weixin_36396470/article/details/119708172

python更新所有已安装包的方法_piaomiao9165的博客-爱代码爱编程

    Python安装新包,pip是很好用的安装工具。     pip list 可以查询所有已安装的包和版本。怎么知道本地安装包的版本是否有可以更新的新版本呢?通过pip list函数可以实现。具体实现方式如下: pip list  --outdated --format=legacy      pip list  --outdated --forma

python的常用包有哪些,分别有什么作用?_datawhale的博客-爱代码爱编程_python包有哪些

【每日一问】 Python的常用包有哪些,分别有什么作用? 来自Datawhale优秀回答者:追风者 Python常用包 1、Numpy(数值运算库) 2、Scipy(科学计算库) 3、Matplotlib(基础可视化库)

python: 离线批下载安装模块包-爱代码爱编程

目录标题 写在前面导出需下载的模块包清单Python模块批下载方法Python模块批安装方法 写在前面 实验室有一台不联网的大型机,因此只能利用离线安装包来装python. 但这着实令人有点犯难,几百个安

Python批量下载备份文件及目录(适用于远程备份)-爱代码爱编程

#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ author: lumia98@vip.qq.com time: 2020-01-02 Windows或者Linux系统远程备份数据、Python远程备份文件及目录 """ import paramiko import os from stat impo

python一键安装包_Python一键安装全部依赖包-爱代码爱编程

requirements.txt用来记录项目所有的依赖包和版本号,只需要一个简单的pip命令就能完成。 pip freeze >requirements.txt 然后就可以用 pip install -r requirements.txt 来一次性安装requirements.txt里面所有的依赖包,真是非常方便。 发现了一个全新的Python包管理

python适合哪个系统好_哪个操作系统更适合Python开发?-爱代码爱编程

{"optioninfo":{"dynamic":"true","static":"true"},"simplifiedDisplay":"newSimpleInfoCard","newCard":[],"card":[],"search":[],"infoCard":[{"bannerTitle":"移动研发平台 EMAS,爆款产品0元试用 ","b

python所有模块包详解,列出python包中的所有模块?-爱代码爱编程

这项工作的正确工具是pkgutil.walk_包。 要列出系统上的所有模块:import pkgutil for importer, modname, ispkg in pkgutil.walk_packages(path=None, οnerrοr=lambda x: None): print(modname) 请注意,walk_包导入所有子

GDAL安装-爱代码爱编程

一、Windows 环境 1、使用conda conda install gdal 2、使用whl 下载对应版本的gdalhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#gdal pip install GDAL‑3.2.3‑pp37‑pypy37_pp73‑win_amd64.whl 注意whl的路径