利用Python爬取ZuluJDK最新发布版本并下载作为镜像分享站

本文最后更新于 2023年9月17日 上午

又是我!!!头图!

作者:Mintimate

博客:https://www.mintimate.cn
Mintimate’s Blog,只为与你分享

前言

一般使用JDK,就是用OracleJDK或OpenJDK,OracleJDK商用许可证的协议经常变卦;稳妥起见,还是用OpenJDK进行项目开发比较好。

而OpenJDK的众多分支里,我比较喜欢ZuluJDK:https://www.azul.com/downloads/

但是有点尴尬,ZuluJDK的项目官网,不是很友好。有时候,即使上去了,速度也很慢,甚至一个JDK都下载不下来

所以,我就想用我腾讯云轻量应用服务器的香港地区服务器进行中转,搭建自己的镜像站;搭建的镜像站,可以给我轻量应用服务器的上海、南京等地区提供下载直链;甚至还可以给小伙伴们下载JDK,分享喜悦( ´▽`)

本次使用的服务器系统和地区

ZuluJDK

ZuluJDK是基于OpenJDK开发出来的,使用的协议的:GPL v2 + Classpath exception (GPL v2 + CE):

ZuluJDK协议

使用ZuluJDK,功能上基本和用OracleJDK没什么区别了,也不会受到Oracle的协议影响(ZuluJDK一直是GPL v2+CE)

关于使用OpenJDK开发Java软件,是否需要遵守 GPLv2而开源,这个还挺有热度讨论的;但是注意这个Classpath exception,我认为开发出的软件还是可以不使用GPL协议;具体怎么样,请求呼叫大佬在评论区支援(・_・;

设计思路

为了实现ZuluJDK最新版本的下载。准备使用Python解析ZuluJDk的下载地址,之后用wget下载到服务器上,最后使用Nginx进行目录映射。

环境依赖

环境依赖很简单,硬件方面:

  • 腾讯云轻量应用服务器Debian镜像系统:Python使用其wget模块,调用系统wget;Windows操作系统不知道是否可以被Python调用wget。

软件层面:

  • Python3.x:核心软件,用于写爬虫。
  • Vim8.2 With YCM:文本编辑器,用于写Python脚本。
  • PAW:网络API测试软件,可用curll配合grep命令代替。

Python的模块依赖:

1
2
requests==2.27.1
wget==3.2

数据获取

首先观察页面:https://www.azul.com/downloads/

发现数据接口:

数据接口

将其接口复制,使用paw或者postman进行测试:

解析

发现这个就是纯JSON对象,而且接收的请求:结构分明。

那设计就太简单了。

在Python里用requests库进行模拟请求,请求头:

1
2
3
4
5
6
7
8
9
URL = "https://www.azul.com/wp-admin/admin-ajax.php?action=bundles&endpoint=community&use_stage=false&include_fields%5B%5D=java_version&include_fields%5B%5D=os&include_fields%5B%5D=javafx&include_fields%5B%5D=latest&include_fields%5B%5D=ext"
HEADERS = {
'Accept': 'application/json, text/javascript, */*; q=0.01',
'x-csrf-token': '',
'x-requested-with': 'XMLHttpRequest',
'cookie': ''
,
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'
}

发送请求并解析为JSON:

1
2
3
4
def get_zulu_json():
response = requests.get(url=URL,
headers=HEADERS).json()
return response

编写测试

这样就可以把所有ZuluJDK的版本信息获取到了:

所有信息

但是这样有点尴尬,没想到有这么多,直接把我腾讯云轻量应用服务器的控制台铺满了……

可怜的小白云,没事!!!我拿PAW去帮你分担压力~~~

PAW里显示,有4473项,显然是过去所有的构建版本都在这里了。

Zulu的服务器好大……4473个JDK/JRE……起码有1T的存储空间了。

所以我们需要过滤,简称:拆对象⁄(⁄ ⁄ ⁄ω⁄ ⁄ ⁄)⁄

数据处理

处理起来很简单,观察JSON对象的属性,举例:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
{
"abi": "any",
"arch": "arm",
"bundle_type": "jdk",
"cpu_gen": [
"v8"
],
"ext": "zip",
"features": [
"jdk"
],
"hw_bitness": "64",
"id": 17865,
"java_version": [
19,
0,
0
],
"javafx": false,
"jdk_version": [
19,
0,
0,
6
],
"latest": false,
"name": "zulu19.0.21-ea-jdk19.0.0-ea.6-macosx_aarch64.zip",
"openjdk_build_number": 6,
"os": "macos",
"release_status": "ea",
"sha256_hash": "85493b2ab7bc2cba742856684730ee42a8ee71d3d0a510770a5d0071a2622903",
"support_term": "sts",
"url": "https://cdn.azul.com/zulu/bin/zulu19.0.21-ea-jdk19.0.0-ea.6-macosx_aarch64.zip",
"zulu_version": [
19,
0,
21,
0
]
},

可以看到,有extlatestname等等参数。一般JDK都是自己配置,操作系统一般也就是Windows、Linux和macOS。

不会有人是用安装器安装的吧?不会吧,不会吧,不好吧……用安装器安装,到时候卸载会不会找不到它(。 ́︿ ̀。)

macOS和Linux的ZuluJDK,通用的肯定是归档文件(tartar.gz),Windows的ZuluJDk都是zip文件,且os="windows"

所以我们过滤两次。(拆两次对象,芜湖,我好坏)

macOS/Linux

所以我们对JSON进行过滤:

1
2
3
4
5
6
7
8
9
10
11
def filter_by(zulu_info, latest=None, javafx=None, ext=None, os=None):
params = locals()
params.pop('zulu_info')
for key in params:
if params[key] is None:
continue
if zulu_info.get(key) != params[key]:
return False
return True

download_list=list(filter(lambda x: filter_by(x, javafx=True, ext="tar.gz"), zulu_json))

编辑

其中:

  • zulu_json:上文数据爬取得到的JSON(就是那个4000多对象的◡ ヽ(`Д´)ノ ┻━┻)

计算长度看看:

长度

真不错,只有342项了。

但是这里还有JRE,小伙伴还需要JRE???

直接砍了!!!并且你可以发现,这个JSON对象,数据越前,版本越新。我们就每次只缓冲下载最新版本的吧:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 用于记数
temp_list = {}
for item in filtered_list:
# 正则判断是否是JDK
if re.search(r"jdk", item['name']) is None:
# 不是JDK,直接跳过循环
continue
# 查看JDK版本(大版本,如:JDK11、JDK17等)
jdk_version_code = str(item['jdk_version'][0])
# 拼接为系统+JDK版本形式
OS_version = jdk_version_code + item['name'].split("-")[-1]
# 如果对象存在,直接跳出循环
if OS_version in temp_list.keys():
continue
else:
temp_list[OS_version] = 1,

这样,就可以保证,每个系统的每个大版本,只下载一次:

测试一下

342变20项

可以看到,这样的话342项就变成只有27项了(macOS/Windows)

Windows

Windows的过滤和下载macOS和Linux的方法一样了:

1
download_list=list(filter(lambda x: filter_by(x, javafx=True, ext="zip",os="windows"), zulu_json))

和刚刚Linux方法一样,再过滤掉JRE,只留最新版本:

使用代码

最后结果

这样看来,下载的内容不多(27+12)

下载JDK

最后,我们就是下载了。这里使用wget对数据进行下载;Python的wget模块:https://pypi.org/project/wget/

这个可不是GNU的wget工具,是用来Python里调用wget进行下载的。

安装wget模块:

1
pip3 install wget

安装wget

定义一个下载目录:

1
2
3
def has_dir(path):
if not os.path.exists(path):
os.makedirs(path)

之后不全过滤时候的代码:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
def download_by_list(filtered_list):
temp_list = {}
for item in filtered_list:
if re.search(r"jdk", item['name']) is None:
continue
jdk_version_code = str(item['jdk_version'][0])
OS_version = jdk_version_code + item['name'].split("-")[-1]
if OS_version in temp_list.keys():
continue
else:
temp_list[OS_version] = 1,
# 设置wget下载目录
save_path = "ZuluJDK_Mirror/" + jdk_version_code + "/"
# 判断目录是否存在
has_dir(save_path)
print("开始下载:" + item['name'])
# 下载
wget.download(item['url'], out=save_path + item['name'])
print("\n")
# 线程休眠
time.sleep(20)

最后效果

最后,我们编写的Python脚本:

编辑代码

使用Python命令运行:

开始下载和爬取

最后下载下来的文件:

下载下来的文件

使用Nginx做个目录映射:

目录映射

当然,我们可以使用Cron定期缓冲最新版本的ZuluJDK,这里就不演示了。

END

最后,我们就可以把Nginx目录映射的地址发给想下载ZuluJDK的小伙伴了。

另外…… 突然发现:我直接解析了ZuluJDK的直链,用Nginx进行反代……似乎更方便;还不用占服务器空间!!!

不过,还是这样好点,确保资源持久化~~~而且,腾讯云轻量应用服务器的中国香港地区硬盘资源,更充分地使用了,享受自己造“轮子”的快乐(*☻-☻*)



利用Python爬取ZuluJDK最新发布版本并下载作为镜像分享站
https://www.mintimate.cn/2022/02/10/getZuluJDK-ByPython/
作者
Mintimate
发布于
2022年2月10日
许可协议