1. 线性回归和高斯分布关系
2. 先验概率、贝叶斯概率、极大似然估计
3. HMM 隐马尔可夫模型 jieba 分词原理，拒绝采样、重要性采样、langevin采样
4. CNN 卷积计算与维度变化
5. ResNet 残差结构、SeNet 结构
6. 自回归序列 RNN、LSTM、GRU，手写 LSTM 自回归训练
7. GAN 生成对抗网络，基于minMax 优化问题
8. VAE kl 散度，证据下界，生成编码器，输出均值方差，基于一个先验的标准高斯分布经过解码器生成输出
9. word2vec 然后基于softMax, softmax 计算量很大;Hierarchical Softmax 和 negativeSample、 glove、fasttext 算法 对于每个词 要从1*D 到D*V 变换。
10. Transformer (Attention, 位置编码, layernorm, RMSNorm),FFN,MoE，sentence piece 分词等算法，自回归采样，Top-K，Top-K, beam search ，BERT，GPT，MoE 等结构
11. RLHF，DPO，RPO，SimPO 等对齐算法
12. Diffusion DDPM
13. 强化学习 Q-learning、Reinforce Actor-Critic A2C、A3C TRPO、PPO