A roadmap to learn LLMs from scratch

前言

维度与层次

AI大模型技术雷达图从能力角度分为以下几个维度：

• 大模型基本概念和原理
• 模型架构
• 大模型高阶应用
• 大模型实战
• 算力 针对这几个维度中众多的技术点，有偏重地推荐为两个层次： 关键知识技能： 表格中标蓝加粗字体为关键的知识技能与技术点； 扩展知识技能： 未标蓝加粗的内容为推荐的扩展内容，在掌握了关键知识技能的基础上，根据业务的不同可以有选择性地挑选学习；

  雷达图的应用建议

• 知道(1)分：能说清楚是什么,解决什么问题,了解技术对应的社区的使用情况和学习路径。
• 会用(2)分：实现过对应技术的”QuickStart”,知道技术的适用场景,能照猫画虎实现需求。
• 熟练(3)分：能够在业务场景中用最佳实践解决问题,形成自己的方法论和套路。
• 掌握(4)分：熟悉技术背后原理,研究过源码,能够解决疑难问题(故障、性能优化以及扩展)。

大模型基本概念和原理

知识技能	技术点	知道	会用	熟练	掌握
前置学习	机器学习（Machine Learning，ML）	机器学习	吴恩达机器学习
	深度学习（Deep Learning，DL）	神经网络、深度学习简介
LLM基础	AI技术词扫盲	人工智能、AGI、AIGC、Large language model、NLP	Prompt engineering、过拟合、欠拟合	fine-tuning、In Context Learning, ICL、Chain-of-Thought, CoT	RLHF
	大模型简介和技术发展趋势	机器学习、深度学习发展历史	生成式AI	大语言模型简介
	人工智能与大模型基础	人工智能基础	大模型科普&电信领域实践赋能系列课程	大模型之美
LLM提示词	prompt	learnprompting、提示工程指南	如何写好prompt、ChatGPT 中文调教指南、prompt examples	openai prompt engneering	吴恩达教你写提示词
算法原理	机器学习算法	机器学习算法原理、KNN、逻辑回归、朴素贝叶斯、决策树	随机森林、回归树、支持向量机、聚类算法、PCA降维	GBDT、LightGBM、XGBoost
	深度学习算法	深度学习简介	梯度下降、损失函数、反向传播	Transformers自注意力、Transformer	迁移学习算法、联邦学习、《深度学习》中的线性代数基础

模型架构

知识技能	技术点	知道	会用	熟练	掌握
小模型架构	小模型架构	多层感知机（Multilayer Perceptron, MLP）	Long Short-Term Memory, LSTM、LeNet、AlexNet、VGGNet、Conditional GAN, CGAN、Deep Convolutional GAN, DCGAN
大模型架构	大型卷积神经网络（Large Convolutional Neural Networks）	ResNet、Inception、EfficientNet
	大型循环神经网络（Large Recurrent Neural Networks）	深层 LSTM（Deep LSTM）、深层 GRU（Deep GRU）
	Transformers	Transformer、BERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pre-trained Transformer）、T5（Text-to-Text Transfer Transformer）、BART（Bidirectional and Auto-Regressive Transformers）	GPT Models	multi head机制	昇思MindSpore技术公开课·Transformer、昇思MindSpore技术公开课·BERT
	大型生成对抗网络（Large Generative Adversarial Networks）	StyleGAN、BigGAN
	自监督学习模型（Self-Supervised Learning Models）	SimCLR、MoCo、BYOL（Bootstrap Your Own Latent）
	多模态模型（Multimodal Models）	中文多模态数据集「悟空」	中文图文表征预训练模型Chinese-CLIP

大模型高阶应用

知识技能	技术点	知道	会用	熟练	掌握
RAG	embedding	embeddings	openai embedding uc	openai embedding model
	向量数据库	向量数据库有哪些	向量数据库基本原理	基于向量数据库的大模型增强
	RAG		RAG工程：使用领域专业知识	盘古智子检索增强生成
langchain	langchain	LangChain	langChain实战
Agent智能体	Agent智能体	什么是智能体	智能体应用	多智能体、AI Agent未来发展研究方向
常用工具	常见工具	AI辅助研发基础课	AI工具集	ChatGPT技术分析	AI辅助编码实战

大模型实战

知识技能	技术点	知道	会用	熟练	掌握
开发框架	开发框架	pytorch、tensorflow、scikit-learn		搭建网络推荐系统、应用搭建
数据准备	数据准备	数据准备、数据集、数据采集	特征工程、数据治理	数据增强算法、数据增强进阶	数据增强进阶
部署模型	Hugging Face	Hugging Face	快速部署	AI绘画
	个人PC部署大模型	ollama介绍	个人PC本地安装llamma、qwen、gemma大模型
训练	训练	预训练与微调	大模型是怎样炼成的、模型微调：更好的完成领域任务	大模型微调实践课	大模型指令微调对齐语料高效自动构建
模型评测	模型评测	leaderboard、AI特性测试	模型评估方法与准则
应用开发	应用开发	AI产品化开发	大模型发展现状&云核运维智能应用的研讨	ICN-Master告警助理业务流程与实现、核心网领域大模型评测方法探索与实践	xMate：基于目标系统框架开发应用、手把手教你构建智能问答助手、coze搭建个人blog知识库、cozeAI日报Agent