深入学习大语言模型的核心技术与实战应用

CookLLM | CookLLM | 大模型全栈工程体系:架构、训练与应用

https://github.com/cheng-ren/cookllm-recipes

👋 课程介绍

这是一个专注于大语言模型(LLM)技术的系统化课程,带你从原理到实践,真正理解 LLM。

为什么做 CookLLM?

我曾是一名CV算法工程师。CV算法的本质就是在不断解决 corner case / bad case,从性能和速度两个维度优化。在成熟的业务中,折腾一年指标提升 1% 已经算不错了。从技术演进来看,这个领域已经进入了存量精耕的阶段。

而大模型代表的是通用能力。它在未来必然会卷进一个又一个领域,只是时间问题。我不想在“存量”里雕花,我要去“增量”里造浪。

在这浪潮里,我不想做旁观者,我想做一个亲历者。

所以我开始自学大模型技术。但很快发现,这条路并不好走:

这门课能给你什么?

课程结构

原理精讲

基础知识

系统工程

深入理解 LLM 核心算法:词元化、Attention、GPU 编程、Flash Attention

动手训练

动手训练

从零构建并训练一个小型语言模型:Tokenizer、Dataset、Model、Training

适用人群