简单了解nvidia架构历史，主要学习使用Tensor Core做计算时的数据流动和布局

CUTLASS能实现cuBLAS做不到的算子融合(最核心)，省去多次显存读写，此外，在CuTe(解决CUTLASS的Layout Algebra)基础上定义了GEMM流水线和后处理，是魔改GEMM的最佳选择之一(还有triton，但是最近听说triton不再维护了？)

CuTe解决索引计算和数据搬运问题，引入Layout的概念，并抽象了MMA的一些指令，只需提供shape和stride就能自动计算物理内存地址，省去了手动计算一维内存地址的步骤。

FlashAttentionv1实操过程，已验证！

更少的内存！更快的速度！这就是FA！

作为FlashMLA的核心之一，MLA设计了在保持性能的同时着重减少KV Cache的attention机制，十分值得细究！

参照"不归牛顿管的熊猫"的课程视频搭建的LLM2框架，目前还在对算子进行调试优化阶段

樊哲勇老师的CUDA编程教程包括CUDA编程的语法知识、优化策略及程序开发实践，对新手很友好！

mlc-llm部署

yolov5 person和帽子的分类、配置Ubuntu以及部署到香橙派上