深入异步：软件设计模式的“即发即弃” - Some-soda

深入异步：软件设计模式的“即发即弃”

DngGentle
阅读时间 3 分钟
首页 / 系统设计 / 深入异步：软件设计模式的“即发即弃”

本篇文章为Fire and Forget通信模式视频的整理稿，略有修补。

1. 即发即弃（Fire-and-Forget）技术详解：从导弹制导到计算机架构与软件工程

1.1 即发即弃概念综述

即发即弃（Fire-and-Forget）一词最初来源于军事领域，特指一种导弹制导技术。在这种制导模式下，导弹在发射后无需外部干预，例如持续的目标照射或有线制导，即可自主追踪并命中目标。这使得发射平台在发射后可以立即执行其他任务或规避敌方反击，大大提高了作战效率和安全性。如今，这个概念已经延伸到计算机科学与软件工程领域，用来描述一种类似的自主、异步的处理模式。

1.2 军事领域的应用：导弹制导技术

在军事应用中，导弹的制导方式多种多样，包括但不限于：

  • 指令制导：导弹通过接收来自发射平台或其他来源的指令来调整飞行轨迹。
  • 寻的制导：导弹利用自身的传感器（如雷达、红外线）来探测和追踪目标。
  • 惯性导航：导弹利用自身的惯性测量单元（IMU）来计算位置和速度，从而引导自身飞向目标。

而“即发即弃”通常指的是一种高级的寻的制导方式，导弹在发射后能够独立完成以下步骤：

  1. 目标捕获：导弹的导引头（例如雷达或红外成像传感器）捕获并锁定目标。
  2. 自主导航：导弹的制导系统根据目标信息，计算出最佳的飞行路径。
  3. 末端制导：导弹在接近目标的过程中，不断更新目标位置信息，并进行精确的弹道修正，最终命中目标。

这种制导方式的优势在于：

  • 发射平台安全：发射平台无需持续引导导弹，从而降低了被敌方发现和攻击的风险。
  • 多目标交战：发射平台可以迅速发射多枚导弹，攻击多个目标，提高作战效率。
  • 抗干扰能力强：导弹自主制导，减少了对外部信号的依赖，从而具有更强的抗干扰能力。

典型的即发即弃导弹包括美国的AIM-120先进中程空对空导弹（AMRAAM）和 AGM-84鱼叉反舰导弹。

1.3 从军事到计算机：即发即弃的引申意义

即发即弃的核心思想——发起操作后无需持续关注或等待结果——在计算机科学和软件工程中有着广泛的应用。这种思想可以帮助我们构建更高效、更灵活的系统。我们将从硬件层面的处理器架构和软件层面的编程模式两个角度深入探讨。

2. 处理器架构中的即发即弃：Store Queue Index Prediction (SQIP) 与 Fire-and-Forget (FnF) 方案

2.1 背景：现代处理器内存调度的挑战

现代处理器为了实现高性能，采用了多种技术，包括：

  • 乱序执行（Out-of-Order Execution）：处理器不按照程序指令的顺序执行，而是根据指令之间的数据依赖关系，尽可能地并行执行指令，从而提高指令吞吐率。
  • 多发射（Superscalar）：处理器内部有多个执行单元，可以同时发射多条指令执行。
  • 推测执行（Speculative Execution）：处理器会预测程序的分支走向，并提前执行预测的分支上的指令。

这些技术使得处理器能够实现很高的指令级并行（Instruction-Level Parallelism, ILP）。然而，这也给处理器的内存子系统带来了巨大的挑战。

在乱序执行的处理器中，加载（Load）和存储（Store）指令的执行顺序可能与程序顺序不同。为了保证程序的正确性，处理器必须维护一个存储队列（Store Queue, SQ）来记录所有已执行但尚未提交（Commit）的存储指令，并确保加载指令能够正确地从存储队列中获取数据（Store-to-Load Forwarding）。

传统上，存储队列通常使用内容寻址存储器（Content Addressable Memory, CAM）来实现。CAM能够快速查找与给定地址匹配的存储指令，但其功耗和面积开销较大，难以扩展到大容量的存储队列。

2.2 Store Queue Index Prediction (SQIP) 方法详解

为了解决传统存储队列的可扩展性问题，研究人员提出了多种优化方案，其中一种就是Store Queue Index Prediction (SQIP)。

SQIP方法的核心思想是利用加载指令和存储指令之间的局部性（Locality）：加载指令通常从相同的存储指令获取数据。

基于这个观察，SQIP方法引入了一个预测器，用来预测加载指令将从哪个存储队列条目获取数据。具体来说，预测器会为每个加载指令预测一个存储队列索引（SQ Index）。当加载指令执行时，它会使用预测的索引直接访问存储队列。

SQIP的主要组成部分包括：

  1. 预测表（Prediction Table）：存储加载指令的程序计数器（PC）与预测的SQ索引之间的映射关系。
  2. 存储队列（Store Queue）：以类似RAM的方式进行组织，每个条目存储存储指令的相关信息，如地址、数据和有效位等。
  3. 验证逻辑：当加载指令使用预测的SQ索引访问存储队列时，需要验证预测的索引是否正确。这通常通过比较加载地址和预测的存储地址来实现。

SQIP的操作流程如下：

  1. 预测：当加载指令被解码时，使用其PC查找预测表，获取预测的SQ索引。
  2. 访问：加载指令使用预测的索引访问存储队列。
  3. 验证：比较加载地址和预测的存储地址。如果匹配，则预测正确，加载指令可以直接获取数据；否则，预测错误，需要执行恢复操作。
  4. 更新：当存储指令提交时，更新预测表，记录加载指令和存储指令之间的映射关系。

SQIP的优势：

  • 降低功耗和面积：使用RAM代替CAM，降低了功耗和面积开销。
  • 提高可扩展性：RAM结构更容易扩展到大容量的存储队列。

SQIP的挑战：

  • 预测准确性：预测器的准确性直接影响性能。如果预测错误率较高，会导致频繁的恢复操作，降低性能。
  • 恢复开销：当预测错误时，需要执行恢复操作，例如重新执行加载指令和后续依赖的指令，这会带来一定的性能开销。

2.3 Fire-and-Forget (FnF) 方案：消除存储队列

基于SQIP的思想，研究人员进一步提出了Fire-and-Forget (FnF) 方案。FnF方案更加激进，它试图完全消除存储队列，从而进一步降低硬件复杂度。

FnF的核心思想是：

  • 存储指令不再需要写入存储队列，而是直接将数据写入加载队列（Load Queue, LQ）。
  • 加载指令通过预测的LQ索引直接从加载队列中获取数据。

FnF的具体操作步骤：

  1. 预测LQ索引：当存储指令被解码时，预测器会预测哪些加载指令将从该存储指令获取数据，并为每个加载指令预测一个LQ索引。
  2. 直接写入LQ：存储指令执行时，它会根据预测的LQ索引，直接将数据写入加载队列的相应条目。
  3. 加载指令执行：当加载指令执行时，它会使用预测的LQ索引访问加载队列，获取数据。
  4. 验证与恢复：与SQIP类似，FnF也需要验证预测的LQ索引是否正确。如果预测错误，需要执行恢复操作。

FnF的优势：

  • 消除存储队列：完全消除了存储队列，进一步降低了硬件复杂度。
  • 降低延迟：数据直接写入加载队列，减少了加载指令的访问延迟。

FnF的挑战：

  • 更高的预测精度要求：FnF方案对预测器的精度要求更高，因为预测错误会导致更复杂的恢复操作。
  • 更复杂的控制逻辑：需要更复杂的控制逻辑来管理加载队列和存储指令之间的依赖关系。
  • 错误预测的处理：FnF 引入了一种低开销的“预提交重执行机制”（pre-commit re-execution mechanism）来检测并修正错误。

FnF方案的性能评估：

研究表明，FnF方案在性能上优于传统的完全关联存储队列。模拟结果显示，相比于使用传统完全关联存储队列的处理器，FnF方案能够提供3.3%的性能提升。

2.4 FnF 的关键技术

  • 预测机制：通过预测存储指令的 LQ 索引来简化内存调度。预测的准确性是关键。
  • 消除存储队列：通过预测转发和简单的 LQ 写入，消除了传统存储队列中的复杂性。存储指令直接将数据写入加载队列，从而消除了存储队列的需求。
  • 低开销的错误修正机制：误预测和误转发可以通过低开销的机制来修正，确保性能不会受到影响。这种“预提交重执行机制”可以在错误发生时快速恢复，降低性能损失。

3. 软件工程中的即发即弃：异步编程模式

3.1 即发即弃编程模式概述

在软件开发中，即发即弃（Fire-and-Forget）指的是一种异步编程模式。在这种模式下，一个操作被触发后，触发者不需要等待该操作完成即可继续执行后续的代码。换句话说，触发者“发射”一个任务，然后“忘记”它，不关心任务的结果，也不等待它的完成。

这种模式在以下场景中特别有用：

  • 后台任务：例如发送邮件、记录日志、更新缓存等，这些任务通常不需要立即得到结果，可以在后台异步执行。
  • 非阻塞操作：当一个操作耗时较长时，使用即发即弃模式可以避免阻塞主线程，提高程序的响应速度和吞吐量。
  • 事件驱动架构：在事件驱动的系统中，事件的发布者通常不需要关心事件的处理结果，只需要将事件发布到消息队列或事件总线即可。

3.2 即发即弃与同步、异步编程的对比

为了更好地理解即发即弃模式，我们将其与同步和异步编程进行对比：

  • 同步（Synchronous）：在同步编程中，一个操作必须等待前一个操作完成后才能执行。例如，函数A调用函数B，函数A必须等待函数B返回后才能继续执行。
  • 异步（Asynchronous）：在异步编程中，一个操作可以与另一个操作并行执行。例如，函数A调用函数B，函数A不需要等待函数B返回即可继续执行。异步编程通常使用回调函数、Promise、async/await等机制来处理异步操作的结果。
  • 即发即弃（Fire-and-Forget）：即发即弃是一种特殊的异步编程模式，它与普通异步编程的区别在于，即发即弃模式不关心异步操作的结果。

3.3 即发即弃编程模式的实现

即发即弃模式可以通过多种方式实现，下面以Python为例介绍两种常见的实现方式：

3.3.1 多线程

import threading
import time

def long_running_task(data):
    print(f"Task started with data: {data}")
    time.sleep(5)
    print(f"Task completed with data: {data}")

def fire_and_forget_with_threading(data):
    thread = threading.Thread(target=long_running_task, args=(data,))
    thread.start()
    print("Task fired, not waiting for completion!")

if __name__ == "__main__":
    fire_and_forget_with_threading("My Data")
    print("Main program continues without waiting for the task.")
    time.sleep(6)
    print("Main program ended.")

代码讲解：

  1. long_running_task(data)：模拟一个耗时任务，接受一个数据参数。
  2. fire_and_forget_with_threading(data)：使用 threading.Thread 创建一个新线程来执行 long_running_task。thread.start() 启动线程后，主线程不会等待子线程结束，而是继续执行后续代码。
  3. 主线程在最后使用 time.sleep(6) 等待，这是为了保证在主线程结束之前，子线程有机会执行完毕，否则子线程可能还没执行完就被强制终止了。

3.3.2 消息队列

使用消息队列（如 RabbitMQ、Kafka、Redis 等）也可以实现即发即弃模式。生产者将任务发布到消息队列，消费者从队列中获取任务并执行。生产者不需要关心任务是否被执行以及执行结果。

示例（使用 Redis 和 Celery）：

服务端代码（tasks.py）：

from celery import Celery
import time

app = Celery('tasks', broker='redis://localhost:6379/0')

@app.task
def long_running_task(data):
    print(f"Task started with data: {data}")
    time.sleep(5)
    print(f"Task completed with data: {data}")
    return f"Completed task with data: {data}"

客户端代码（client.py）：

from tasks import long_running_task

result = long_running_task.delay("My Data")
print("Task fired, not waiting for completion!")
print(f"Task ID: {result.id}") # 可以获取任务ID，但我们不关心结果

代码讲解：

  1. Celery：Celery 是一个分布式任务队列，可以用来异步执行任务。
  2. @app.task：将 long_running_task 装饰为一个 Celery 任务。
  3. long_running_task.delay("My Data")：异步调用 long_running_task，Celery 会将任务发送到 Redis 队列，生产者不会等待任务执行完毕。

启动 Celery worker：

celery -A tasks worker --loglevel=info

3.4 客户端-服务器通信中的即发即弃：消息队列与异步处理

在客户端-服务器架构中，即发即弃模式可以用来提高系统的并发性和响应速度，特别是在处理耗时任务时。

3.4.1 传统同步通信的局限性

在传统的同步通信中，客户端发送请求后，必须等待服务器处理完成并返回响应。在整个过程完成之前，客户端无法关闭连接，也无法执行其他操作。这种方式虽然可靠，但效率较低，尤其是在处理时间较长或不可预测的任务时，会导致客户端长时间阻塞，影响用户体验。

3.4.2 即发即弃：异步通信的解决方案

即发即弃模式通过异步通信解决了同步通信的局限性。客户端发送请求后，不必等待服务器的响应，而是立即关闭连接或执行其他任务。服务器在后台处理请求，并通过某种通知机制（如消息队列、推送通知等）将结果返回给客户端（如果需要的话）。

3.4.3 消息队列在即发即弃模式中的作用

消息队列在即发即弃模式中扮演着重要的角色。客户端将请求发送到消息队列，服务器从队列中获取请求并异步处理。处理完成后，服务器可以将结果发送回另一个队列，客户端可以订阅该队列以获取结果（如果需要的话）。

消息队列的优势：

  • 解耦：客户端和服务器之间通过消息队列进行通信，实现了松耦合。
  • 异步处理：服务器可以异步处理请求，提高了系统的吞吐量。
  • 缓冲：消息队列可以作为缓冲区，平滑流量峰值，避免服务器过载。
  • 可靠性：消息队列通常提供消息持久化机制，确保消息不会丢失。

3.4.4 无头进程与请求超时

在传统的同步通信中，如果请求超时或没有得到及时响应，可能会产生无头进程（Headless Processes）。无头进程是指那些在没有明确控制和跟踪的情况下仍在系统中运行的进程，它们会消耗资源（如内存、I/O），但没有任何外部反馈或进程管理，可能导致系统崩溃。

即发即弃模式通过使用消息队列和请求ID来避免这种情况。每个请求都被放入消息队列，并分配一个唯一的ID。服务器处理请求后，可以将结果与请求ID一起发送回客户端。这样可以确保每个进程都有跟踪机制，避免无头进程的产生。

3.4.5 推送通知与分布式缓存

为了确保客户端能在处理完成后获得结果，即发即弃模式通常依赖推送通知机制。通过推送通知，服务器可以告诉客户端处理已经完成，客户端可以从数据库或缓存中拉取处理结果。由于推送通知本身并不传输大量数据，因此结果通常存储在临时的分布式缓存中，客户端可以随时通过查询缓存来获取最终结果。

3.5 即发即弃模式的适用场景

即发即弃模式适用于以下场景：

  • 耗时任务：当一个任务的执行时间较长时，使用即发即弃模式可以避免阻塞主线程，提高程序的响应速度。
  • 非关键任务：对于一些非关键任务，例如发送日志、发送通知等，可以使用即发即弃模式，即使任务失败，也不会影响核心业务逻辑。
  • 事件驱动系统：在事件驱动的系统中，事件的发布者通常不需要关心事件的处理结果，只需要将事件发布到消息队列或事件总线即可。
  • 微服务架构：在微服务架构中，服务之间的通信通常是异步的，可以使用即发即弃模式来实现服务之间的解耦。

3.6 即发即弃模式的优缺点

优点：

  • 提高响应速度：客户端无需等待服务器处理完成，可以立即执行其他任务。
  • 提高吞吐量：服务器可以异步处理请求，提高了系统的吞吐量。
  • 解耦：客户端和服务器之间实现了松耦合。
  • 提高可伸缩性：通过消息队列，可以方便地扩展服务器的处理能力。

缺点：

  • 复杂性：引入了异步处理和消息队列，增加了系统的复杂性。
  • 调试困难：异步程序的调试比同步程序更困难。
  • 数据一致性：需要额外的机制来保证数据的一致性。
  • 不适合需要立即返回结果的场景：如果客户端需要立即得到服务器的处理结果，则不适合使用即发即弃模式。

4. 异步通信的行为设计模式

4.1 回调（Callback）

回调是一种常见的异步编程模式。当客户端发起请求时，提供者不会阻塞客户端，而是立即返回控制权。客户端可以继续执行其他任务，直到提供者处理完请求后再调用回调函数来通知客户端。

示例代码（Java）：

calculator.add(10, 30, sum -> {
    System.out.println("Sum: " + sum);
});
System.out.println("Continuing with other tasks...");

4.2 发布-订阅（Publish-Subscribe）模式

发布-订阅模式是一种更高级的异步通信模式，它可以解决回调机制在多对多通信场景下的“回调地狱”问题。在发布-订阅模式中，发布者将消息发布到频道（Channel），订阅者订阅感兴趣的频道，从而接收消息。发布者和订阅者彼此并不知道对方，只知道通道。

4.3 行为模式的应用

发布-订阅模式的基础架构可以通过以下行为设计模式来实现：

  • 中介者模式（Mediator）：中介者负责连接发布者和订阅者。多个发布者向中介者发布消息，多个订阅者通过中介者接收消息。中介者也可以包含一些处理逻辑，如消息过滤和路由。
  • 观察者模式（Observer）：观察者模式中，订阅者向主题（Subject）注册自己，以接收来自可观察者（Observable）的消息。当主题发生变化时，所有注册的观察者都会接收到通知。
  • 命令模式（Command）：命令模式实际上是回调的一种实现，封装了一个请求。命令对象可以独立于其执行者进行存储、传递和执行。

4.4 消息基础设施的实现

为了实现异步通信，需要构建一个消息基础设施，使得对象能够通过通道进行通信。该基础设施应该能够支持对象注册、取消注册以及发布消息。

消息代理接口（Java）：

public interface Broker {
    long subscribe(Subscriber subscriber);
    void unsubscribe(long sid);
    void publish(String message, String type);
}

订阅者接口（Java）：

public interface Subscriber {
    void on(String message, String type);
}

消息代理的实现（Java）：

public class MessageBroker implements Broker {
    private final Map<Long, Subscriber> subscribers = new HashMap<>();
    private long nextSubscriberId = 1;

    @Override
    public synchronized long subscribe(Subscriber subscriber) {
        long subscriberId = nextSubscriberId++;
        subscribers.put(subscriberId, subscriber);
        return subscriberId;
    }

    @Override
    public synchronized void unsubscribe(long sid) {
        subscribers.remove(sid);
    }

    @Override
    public void publish(String message, String type) {
        subscribers.values().forEach(s -> s.on(message, type));
    }
}

为了实现非阻塞的通信，可以使用线程池来处理每个消费者的 on() 方法，这样消费者可以在不同的线程中异步执行。

4.5 模块化的消息处理

为了解决 switch 语句的问题，可以引入 Handler 接口来处理不同类型的消息。每个 Handler 只处理一种类型的消息，从而提高了代码的模块化和可维护性。

Handler 接口（Java）：

public interface Handler {
    void handle(String message);
    String getType();
}

MessageBroker 现在维护了一个 Handler 列表，并且只将消息传递给感兴趣的 Handler。

4.6 用户管理系统（UMS）与异步消息

可以将这些设计模式应用到用户管理系统（UMS）中。通过引入消息代理，UMS 的消费者（例如 UserRepositoryJournalProxy）和提供者（例如 JournalAdapter）可以解耦，实现异步通信。

例如，UserRepositoryJournalProxy 通过消息代理发布消息，而 JournalHandler 订阅并处理这些消息。

@Override
public void add(Long phone, String name) {
    broker.publish("c=repository, s=add, a=" + "&" + name, TOPIC);
    target.add(phone, name);
    broker.publish("c=repository, s=add, r=void", TOPIC);
}

通过这种方式，UserRepositoryJournalProxy 和 JournalHandler 是完全解耦的，并且可以通过消息代理异步地进行通信。如果消息代理在不同的线程中调用处理程序，那么这就实现了完整的非阻塞异步通信。

5. 总结

即发即弃（Fire-and-Forget）是一种强大的技术，从军事领域的导弹制导到计算机架构和软件工程，都有着广泛的应用。

在处理器架构中，SQIP和FnF等技术利用即发即弃的思想，通过预测和直接写入等手段，优化了内存子系统的设计，提高了处理器的性能和可扩展性。

在软件工程中，即发即弃是一种重要的异步编程模式，它可以帮助我们构建更高效、更灵活的系统。通过多线程、消息队列等技术，我们可以实现即发即弃模式，提高程序的响应速度和吞吐量。

在客户端-服务器通信中，即发即弃模式可以用来提高系统的并发性和响应速度，特别是在处理耗时任务时。消息队列在即发即弃模式中扮演着重要的角色，它可以实现客户端和服务器之间的解耦、异步处理、缓冲和可靠性。

此外，我们还探讨了异步通信的行为设计模式，包括回调、发布-订阅、中介者模式、观察者模式和命令模式。这些模式可以帮助我们构建模块化、解耦的消息基础设施，实现异步通信和系统解耦。

发射了，就不管了！