CosineDecay仅单次衰减不重启，需用CosineDecayRestarts实现周期性余弦退火；其通过first_decay_steps、t_mul、m_mul控制周期长度与重启起点，自定义调度器可支持预热、epoch对齐等扩展。
为什么直接用
会发现学习率不重启
很多人用
后发现：学习率只衰减一次，到训练末尾就停在最低值，不像论文里说的“余弦退火”那样周期性回暖。这是因为
本质是单周期余弦衰减（从
平滑降到 0），不是带重启的余弦退火（Cosine Annealing with Restarts）。
它适合简单衰减场景，但如果你要复现 SGDR、FastAI 或 Vision Transformer 常用的带重启余弦调度，得换方案。
用
实现真正重启式退火
是 TensorFlow 原生支持重启余弦退火的调度器，它按固定周期重置余弦曲线起点，每个周期内学习率从高到低再“热启动”到高值。
关键参数含义：
立即学习
“
Python免费学习笔记（深入）
”；
：每个周期开始时的学习率（不是全局初始值）
：第一个周期的步数（比如 1000 步）
：周期长度缩放因子（
表示等长周期；
表示后续周期翻倍）
：每个新周期起始学习率的衰减系数（
表示每轮都从相同高度重启；
表示逐轮降低起点）
示例：
这会产生：第 1 轮 500 步 → 第 2 轮 1000 步 → 第 3 轮 2000 步，且每轮起始学习率依次为 0.01 → 0.008 → 0.0064…
Python 3.14.3
微软官方的 Python 扩展，是 VS Code 安装量最高的扩展（209M+）。集成 IntelliSense（通过 Pylance）、调试（通过 Python Debugger）、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
下载
常见报错和兼容性注意点
用错参数或版本不匹配时容易出以下问题：
：传了整数如
，必须写成
训练中学习率突变为 NaN：检查
是否远小于实际训练总步数（例如设成 10，但模型跑 10000 步），会导致过早进入高频震荡阶段，数值不稳定
Keras 模型编译时报
：说明你把调度器对象直接当标量用了，正确用法是传给
（TF 2.11+ 推荐用
）
TF 2.8 之前版本不支持
小于 1 的递减重启，若需该行为，建议升级或手写
子类
什么时候该放弃内置调度器，自己写一个
内置
灵活度有限——比如你要实现“前 10% 步线性预热 + 后面接带重启余弦”，或者按 epoch（而非 step）计数，又或者想在每次重启时注入随机扰动（如 FastAI 的
+
联动），这时候就得自定义。
最小可用自定义模板（按 step 计）：
这种写法可控性强，但要注意：所有计算必须用
（静态图下推荐
），不能混用 Python 原生
或
。
最易被忽略的是：重启周期和 batch size、dataset length 的对齐——如果一个 epoch 只有 200 步，却设
，那 5 个 epoch 才完成一轮退火，容易误判收敛状态。
CosineDecaytf.keras.optimizers.schedules.CosineDecayCosineDecayinitial_learning_rateCosineDecayRestartsCosineDecayRestartsinitial_learning_ratefirst_decay_stepst_mult_mul=1.0t_mul=2.0m_mulm_mul=1.0m_mul=0.9lr_schedule = tf.keras.optimizers.schedules.CosineDecayRestarts(
initial_learning_rate=0.01,
first_decay_steps=500,
t_mul=2.0,
m_mul=0.8
)ValueError: 't_mul' must be a float greater than 0t_mul=2t_mul=2.0first_decay_stepsTypeError: cannot convert float to Tensoroptimizer.learning_ratetf.keras.optimizers.Adam(learning_rate=lr_schedule)m_multf.keras.optimizers.schedules.LearningRateScheduleCosineDecayRestartscosine_with_warmupcutmixclass CustomCosineRestart(tf.keras.optimizers.schedules.LearningRateSchedule):
def __init__(self, init_lr, period_steps, restart_mult=1.0, alpha=0.0):
self.init_lr = init_lr
self.period_steps = period_steps
self.restart_mult = restart_mult
self.alpha = alpha # 最小学习率比例
def __call__(self, step):
step = tf.cast(step, tf.float32)
cycle_step = step % self.period_steps
cycle_num = step // self.period_steps
lr_max = self.init_lr * (self.restart_mult ** cycle_num)
cosine_decay = 0.5 * (1.0 + tf.cos(np.pi * cycle_step / self.period_steps))
return lr_max * (self.alpha + (1.0 - self.alpha) * cosine_decay)
tf.* 或 np.*tf.mathmathtimefirst_decay_steps=1000