Visualizations

Cheatsheets

速查表合集

Claude Code 等命令与快捷键速查（可搜索、可导出 PDF）。

Interactive

Beam Search — Token Layout & Attention Masks

Beam search 解码过程可视化：两种 token 排列方法（Incremental Append vs Beam-Grouped）对比，可展开查看每步的 attention mask 矩阵。

Documentation

Pipeline Deep Dive

TorchRec 推荐系统 Pipeline 全流程文档：初始化、Forward Hijack、Context 生命周期、Runtime Timeline、SWPipeline 框架设计与 API 参考。

Interactive

Pipeline Runtime Timeline

3 迭代展开的流水线时间线可视化（D3.js 交互），展示 4 条 CUDA Stream 上各阶段的执行时序与 wait_stream 同步依赖。

Documentation

DynamicEmb Training Pipeline

NVIDIA DynamicEmb 训练迭代五阶段（input_dist → wait_sparse → prefetch → forward → backward）序列图与文档，涵盖 CACHE / HBM_DIRECT / DEFAULT 三种 StorageMode 路径对比。

Documentation

Schedulable Pipeline Engine

recsys-examples 三层重写设计文档（中英双语切换）：HugeCTR 风格的 Task/Schedule 引擎、多线程执行器（NCCL ordered lock）、HSTU 适配层。含 UML 时序图、类图、首次 progress() 引导流程、稳态迭代、票据锁状态机与 API 示例。

Visualization

HSTU Thread-Map Presets

6 个 thread_map preset（default / by_stream / per_task / io_prefetch_compute / io_data_dist_compute / io_data_dist_prefetch_compute）的 stream × thread × lookahead 对照图。stream 和 la 固定，只有 thread 在变；一眼看出谁压在 compute 单线程、谁均衡分布。

Documentation

ShardedEmbeddingCollection 内部机制

深度解析 TorchRec ShardedEC 的模块层级、state_dict hook 流程、PyTorch 函数重写汇总，以及如何访问底层 FBGEMM TBE module。