深入学习大语言模型的核心技术与实战应用
CookLLM | CookLLM | 大模型全栈工程体系:架构、训练与应用
https://github.com/cheng-ren/cookllm-recipes
这是一个专注于大语言模型(LLM)技术的系统化课程,带你从原理到实践,真正理解 LLM。
我曾是一名CV算法工程师。CV算法的本质就是在不断解决 corner case / bad case,从性能和速度两个维度优化。在成熟的业务中,折腾一年指标提升 1% 已经算不错了。从技术演进来看,这个领域已经进入了存量精耕的阶段。
而大模型代表的是通用能力。它在未来必然会卷进一个又一个领域,只是时间问题。我不想在“存量”里雕花,我要去“增量”里造浪。
在这浪潮里,我不想做旁观者,我想做一个亲历者。
所以我开始自学大模型技术。但很快发现,这条路并不好走:
深入理解 LLM 核心算法:词元化、Attention、GPU 编程、Flash Attention
从零构建并训练一个小型语言模型:Tokenizer、Dataset、Model、Training