feat(tj): update unizero ppo implementation

[tAnGjIa520]

Main Changes

• Use ding library's GAE implementation: Replace custom GAE computation with ding.rl_utils.gae and ding.rl_utils.gae_data
  functions in muzero_collector
• Fix PPO value loss computation: Remove incorrect gamma^t discounting in PPO value loss calculation (world model loss
  still correctly uses gamma^t for temporal discounting)
• Fix PPO returns computation order: Compute returns before advantage normalization to prevent incorrect value calculations
• Optimize buffer and collector logic:
  • Fix data duplication issues in Segment concatenation
  • Add proper masking for variable-length sequences
  • Improve sample logic to prevent out-of-range errors
• Enhance world model training:
  • Add proper device handling and logging
  • Improve PPO loss computation with correct advantage and value target handling
  • Optimize memory management with cache clearing
• Refine training configurations:
  • Add online training config (lunarlander_disc_unizero_ppo_online_config.py)
  • Update hyperparameters (learning rate, batch size, PPO epochs)
  • Add comprehensive configuration documentation
• Update .gitignore: Add Claude Code related directories (.claude/, .omc/, codex_home/), scripts/, and docs/
• Remove docs/ from git tracking: Keep local documentation but exclude from version control
• Add comprehensive documentation:
  • Enhance CLAUDE.md with framework architecture guide
  • Add GAE computation implementation plan
  • Add online training flow documentation

主要改动

• 使用 ding 库的 GAE 实现：在 muzero_collector 中用 ding.rl_utils.gae 和 ding.rl_utils.gae_data 函数替代自定义 GAE 计算
• 修复 PPO value loss 计算：移除 PPO value loss 中错误的 gamma^t 折扣（world model loss 仍正确使用 gamma^t 进行时序折扣）
• 修复 PPO returns 计算顺序：在 advantage 归一化之前计算 returns，避免错误的值计算
• 优化 buffer 和 collector 逻辑：
  • 修复 Segment 拼接时的数据重复问题
  • 为变长序列添加正确的 mask 处理
  • 改进 sample 逻辑，避免超出范围错误
• 增强 world model 训练：
  • 添加正确的设备处理和日志记录
  • 改进 PPO loss 计算，正确处理 advantage 和 value target
  • 优化内存管理，添加缓存清理
• 优化训练配置：
  • 新增在线训练配置（lunarlander_disc_unizero_ppo_online_config.py）
  • 更新超参数（学习率、batch size、PPO epochs）
  • 添加全面的配置文档
• 更新 .gitignore：添加 Claude Code 相关目录（.claude/、.omc/、codex_home/）、scripts/ 和 docs/
• 从 git 跟踪中移除 docs/：保留本地文档但从版本控制中排除
• 添加全面的文档：
  • 增强 CLAUDE.md，添加框架架构指南
  • 添加 GAE 计算实现方案
  • 添加在线训练流程文档