WordPress搭配WP Super Cache + Python脚本实现暴力预缓存全站静态化

WordPress 有定时任务机制，WP Super Cache 插件就是通过这个定时任务来进行预缓存，在我使用的过程中预缓存一次最多生成十几个页面，并且在下一次定时任务运行的时候才会继续生成，效率是非常的慢，如果一直挂着 WP Super Cache 预缓存页面可以一直自动生成，但是效率还是太慢了，于是我写了一个简单的 python 脚本并且可以把 WP Super Cache 不能预缓存的分类页面也能缓存上。

代码：#

首先我们的服务器需要 python3 环境，并且我们的 WordPress 安装好了 WP Super Cache 插件，把下面的代码编辑成 page.py，用于缓存分类的分页。

import os
import requests
import time
from concurrent.futures import ThreadPoolExecutor
from itertools import islice

# 定义链接和对应的数量
links = {
    "https://a8dog.com": 60,
    "https://a8dog.com/a8": 10,
}

# 生成链接
all_links = []
for link, count in links.items():
    for i in range(1, count + 1):
        page_link = f"{link}/page/{i}" if i > 1 else link
        all_links.append(page_link)

# 将链接分组以便后续并发访问
def chunk(it, size):
    it = iter(it)
    return iter(lambda: tuple(islice(it, size)), ())

# 访问链接的函数
def visit_url(url):
    try:
        response = requests.get(url)
        print(f"Visited: {url}, Status Code: {response.status_code}")
    except Exception as e:
        print(f"Failed to visit: {url}, Error: {e}")

# 设置并发数和延迟
concurrency = 10  # 并发数
delay = 1  # 延迟时间（秒）

# 创建线程池并并发访问链接
with ThreadPoolExecutor(max_workers=concurrency) as executor:
    for chunked_links in chunk(all_links, concurrency):
        futures = [executor.submit(visit_url, url) for url in chunked_links]
        time.sleep(delay)

# 将链接写入到page.txt文件中
with open("page.txt", "w") as f:
    for link in all_links:
        f.write(link + "\n")

把代码中的链接替换成你的分类页就可以了，每一行的分类页后面数字就是你的分页数量。

比如我的分类有 10 页，那么我可以设置 15 页，后续文章多了分页多了不会缓存不上。

在把下面的代码添加到 url.py：

import requests
import xml.etree.ElementTree as ET
import threading
import time

# 设置并发数和请求间隔
CONCURRENT_REQUESTS = 10
REQUEST_INTERVAL = 1  # seconds

def fetch_sitemap(url):
    """
    获取网站地图内容
    """
    response = requests.get(url)
    if response.status_code == 200:
        return response.content
    else:
        print(f"Failed to fetch sitemap from {url}")
        return None

def extract_sitemap_urls(sitemap_content):
    """
    从网站地图内容中提取子地图链接
    """
    urls = []
    if sitemap_content:
        try:
            root = ET.fromstring(sitemap_content)
            for loc in root.findall(".//{http://www.sitemaps.org/schemas/sitemap/0.9}loc"):
                urls.append(loc.text)
        except ET.ParseError as e:
            print("Error parsing sitemap XML:", e)
    return urls

def fetch_urls_from_sitemap(url):
    """
    从网站地图中提取网页链接
    """
    sitemap_content = fetch_sitemap(url)
    if sitemap_content:
        return extract_sitemap_urls(sitemap_content)
    else:
        return []

def fetch_url(url):
    """
    发送请求到网站链接
    """
    try:
        response = requests.get(url)
        # 在这里处理你想要的响应内容
        print("Fetched:", url)
    except requests.RequestException as e:
        print("Error fetching", url, ":", e)

def main():
    sitemap_url = "https://a8dog.com/wp-sitemap.xml"  # 替换为你的网站地图链接
    sitemap_urls = fetch_urls_from_sitemap(sitemap_url)
    all_urls = []

    # 从所有子地图中提取网页链接
    for url in sitemap_urls:
        all_urls.extend(fetch_urls_from_sitemap(url))

    # 写入到url.txt文件
    with open('url.txt', 'w') as f:
        for url in all_urls:
            f.write(url + '\n')
    print("Urls extracted and written to url.txt file.")

    # 并发请求的线程函数
    def fetch_urls(urls):
        while urls:
            url = urls.pop(0)
            fetch_url(url)
            time.sleep(REQUEST_INTERVAL)

    # 以CONCURRENT_REQUESTS个线程并发发送请求
    threads = []
    for _ in range(CONCURRENT_REQUESTS):
        thread = threading.Thread(target=fetch_urls, args=(all_urls,))
        thread.start()
        threads.append(thread)

    # 等待所有线程完成
    for thread in threads:
        thread.join()

if __name__ == "__main__":
    main()

把地图地址替换成你的地图地址，会自动抓取网站的全部链接进行预缓存。

如果我们在宝塔添加定时任务选择 shell 脚本：

python3 /你的目录/page.py
python3 /你的目录/url.py

可能会出现一个报错：

Traceback (most recent call last):
  File "/a8dog.py", line 2, in <module>
    import requests
ModuleNotFoundError: No module named 'requests'

这是因为宝塔的定时任务是使用宝塔的 python 环境，没有安装 requests 模块，我们只需要随便添加一个 shell 定时任务脚本：

pip3 install requests

执行一下，然后再重新添加定时任务就可以了。

注意：#

如果你的域名有 cdn 或者防火墙，频繁的预缓存可能会出现被拦截的情况，请把 IP 加入白名单并且把修改 host 文件，把域名指向源 IP 或者 127.0.0.1，这样就不会消耗 cdn 流量。