我们时常想使用一些功能, 它们可以被归类但又分散在项目的各个位置, 一般它们与核心代码无关. 例如, 我们想写追溯程序的运行状态, 一般我们会在程序运行的各个节点写下诸如 print(‘training starts....’)的代码. 这些代码与主程序无关,如果全部写在主程序里面会显得比较冗杂, 它们实现同一个功能但又分散在程序的各个位置,这时就可以用到callbacks了.

原则

首先明确callbacks的使用原则.

• 独立. callback需要保持独立的功能, callbacks 之间也不要相互调用对方的方法.
• 无顺序. 不建议callbacks之间相互依赖, callbacks之间不要有执行的先后顺序.
• 不要调用上一级的方法. 例如 on_validation_end() .

位置

要使用callbacks, 首先要明确这些钩子的位置. 官网给了一个伪代码来帮我们快速找到它们的位置.

This is the pseudocode to describe the structure of `fit_loop` and `val_loop` only

使用

from lightning.pytorch.callbacks import Callback

# 通过继承创建一个自己的Hook
class MyPrintingCallback(Callback):
    def on_train_start(self, trainer, pl_module):
        print("Training is starting")

    def on_train_end(self, trainer, pl_module):
        print("Training is ending")

# 注册自定的Hook
trainer = Trainer(callbacks=[MyPrintingCallback()])

因此到位置的时候, 程序会执行注册钩子里的代码:

# pseudocode
on_train_start() # "Training is starting"
train()
on_train_end() # "Training is ending"

内置callbacks

有一些内置callbacks实现了一些用的功能, 以下显示了一些我觉得有用的:

• EarlyStopping
• LearningRateMonitor
• ModelSummary

Ref

https://lightning.ai/docs/pytorch/stable/extensions/callbacks.html
https://lightning.ai/docs/pytorch/latest/common/lightning_module.html#hooks
https://stephencowchau.medium.com/pytorch-lightning-hooks-and-callbacks-my-limited-understanding-d8e0a56dcf2b