AI：大模型领域最新算法SOTA核心技术要点总结(一直持续更新)、带你精细解读多篇优秀的大模型发展综述性文章、AI领域各种工具产品集合(文本/图片/编程/办公/视频/音频/多模态类)的简介之详细攻略
导读：由于ChatGPT、GPT-4近期火爆整个互联网，掀起了人工智能相关的二次开发应用的热潮，博主同时也应广大网友私信请求(太多了，无法一一回复，感谢理解！！)。在本文章中，博主将会及时、持续地更新人工智能领域最新的PTMs算法模型，以及LLMs大模型的部署实战案例。同时，博主也会特持续收集很多基于AI的产品合集，以方便广大网友试用和测试，并同时反馈产品效果，博主会及时更新产品排序。如果大家有新的AI工具，也可留言，博主会将留言的提到的AI小工具，加入到本文章内容。
………………0627更新………………
大模型领域近五年62篇论文，比如从GPT系列、BERT系列、Transformer-XL/T5，到PaLM、OPT、BLOOM、LLaMA、Alpaca、ChineseLLaMA、Vinua，一直到最近几天刚出的ChatGLM2、vLLM，各个算法的核心技术总结概览(其中Chinese Llama And Alpaca—6月15日版本值得深入研究)，终于结束了，下一步核心代码复现进行总结！
………………0713更新………………
近一段时间，不论是从外部公开发布，还是与内部各位业界大佬在线上探讨或者私下交流时，博主深深地感觉到，太卷了，大模型领域是贼卷啊，周围的业界人士，都在把玩各种tricks，博主本人是深深的感受到了……国内AI公司，不出来弄个开源模型，总感觉自己啥都不是啊……
路人甲：啥？你是搞AIGC的？别先说话，你先告诉我你是几B的？有多少亿的token？你是哪个style？用的是SwiGLU吧，RoPE吧，还有个Flash Attention，加点AMP，给个4-bit，你说！你到底有没有用Fast？ComOpt呢？有木有AimOpt？哎，你倒是，你说话呀？
………………0730更新………………
大型语言模型发展总结：现状(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库)、预训练(数据集+架构+模型训练)、适应LLMs(指令调优+对齐微调+参数高效微调+内存高效的模型自适应)、三大使用(ICT+CoT+PCT)、能力评估三种类型(基本+高级+基准)、提示设计实践指南、五大应用场景、未来六大方向
大型语言模型评估研究总结：理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性+设计更强大模型的关键工具)、评估LLMs的四大意义、三维度(What+Where+How)综述LLMs评估、LLMs大语言模型的三大关键(Transformer+RLHF+提示工程)、评估LLMs任务五大类(NLURG+REBT+SS+NS+MA+Agent)、基准测试的两类(通用任务/特定下游任务)、评估的两种方式(自动/人工)、LLMs的成功(四类)与失败(四类)案例、未来七大机遇(设计AGI基准测试+完整的行为评估+鲁棒性评估+动态与演进的评估【LLMs的记忆性导致训练数据污染】+审查评估系统本身+统一评估+超越评估)
………………0822更新………………
新增ChatGLM2、LLaMA2模型的部署、训练、推理相关实战案例，并实现本地化的知识库进行pdf文档搜索对话问答任务应用。
………………0909更新………………
新增Chinese-LLaMA-2、Baichuan-2等模型的部署、训练、推理相关实战案例。
………………0925更新………………
新增Falcon180B、InternLM-20B、FLM-101B、Colossal-LLaMA-2等模型，FlashAttention-2等优化技巧，以及Megatron-LM/Colossal-AI/DeepSpeed加速框架等使用方法。并详细解读了Chinese-LLaMA-2、ChatGLM-2、Baichuan-2等模型的预训练和微调的源代码，同时总结了企业级GPT模型的国内外两条路线涉及的代码核心要点，着重分析了当模型能力不足的时候，如何让用户更好的体验；并描述了生产环境中面临的两大挑战以及三大技术提升部署效率。
目录
相关文章
NLP：自然语言处理技术最强学习路线之NLP简介(岗位需求/必备技能)、早期/中期/近期应用领域(偏具体应用)、经典NLP架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装(更新中)
大模型领域最新算法SOTA总结
0、大模型领域近五年62篇论文核心技术总结概览——思维导图(更新中)
0728更新
0625更新
1、大型语言模型领域最新模型概述
LLMs：大型语言模型发展总结—现状(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库)、预训练(数据集+架构+模型训练)、适应LLMs(指令调优+对齐微调+参数高效微调+内存高效的模型自适应)、三大使用(ICT+CoT+PCT)、能力评估三种类型(基本+高级+基准)、提示设计实践指南、五大应用场景、未来六大方向
LLMs：大型语言模型评估研究总结—理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性+设计更强大模型的关键工具)、评估LLMs的四大意义、三维度(What+Where+How)综述LLMs评估、LLMs大语言模型的三大关键(Transformer+RLHF+提示工程)、评估LLMs任务五大类(NLURG+REBT+SS+NS+MA+Agent)、基准测试的两类(通用任务/特定下游任务)、评估的两种方式(自动/人工)、LLMs的成功(四类)与失败(四类)案例、未来七大机遇(设计AGI基准测试+完整的行为评估+鲁棒性评估+动态与演进的评估【LLMs的记忆性导致训练数据污染】+审查评估系统本身+统一评估+超越评估)
PTM：预训练大模型时代的多角度思考与辩论—大模型爆发原因、应用思考、数学思考(基于Transformer类的大模型本质上是否基于概率统计)、智能思考(GPT-4比人牛逼甚至要超越人的原因剖析/涌现能力/思维连)、LLMs当前缺点(灾难性遗忘等)之详细攻略
NLP之LLMs：大型语言模型领域LLMs技术发展史、LLMs最新模型的简介、各种维度对比(模型参数/训练时间/训练成本)、在线测试网站集合之详细攻略(持续更新)
NLP之LLMs：《Zeno Chatbot Report》的翻译与解读—CMU副教授详测七款个类ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command和ChatGPT)
NLP之LLMs：大型语言模型领域之SOTA(最先进模型的新技术)的相关术语知识、代表性算法核心技巧累计总结之详细攻略
LLMs：大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务+效率+可信度+基准指令调优+对齐)、三大类模型的使用和限制(Encoder-only、Encoder-Decoder、Decoder-only)
PTMs：预训练大模型算法衍生发展图及其参数对比、基于Transformer的三类基础架构及其代表性算法(BERT/RoBERTa/ALBERT、GPT/LLaMA系列、XLNet/BART/T5)之详细攻略
AIGC：训练GPT(预训练阶段【数据收集→token 化→超参数→批组化→评估模型→微调下游任务/少样本prompt】+SFT监督式微调阶段+RLHF【奖励建模+RL】+ChatGPT(RLHF模型)对比 Claude(SFT模型)、使用 GPT(序列采样token/token来思考【知识广博+储存大量事实+无损记忆】/思维链/ReAct+AutoGPT/指定顺序优化)
AGI：人工智能大模型领域实战篇—设计一个类似GPT-3.5/GPT-4的大模型从开发→部署→应用需要经过的八大步骤、为什么只有少数公司和机构能够承担这样的训练成本之详细介绍
LLMs：预训练大模型实现全流程详解(以LLaMA为例)—收集数据→数据预处理→模型训练与评估→模型微调与推理→模型部署→实现复杂任务之详细攻略
LLMs之ChatGPT：研究探讨国内外各大AI机构在预训练大模型领域构建或复现类似ChatGPT失败原因以及ChatGPT适用和不适用任务场景的综合梳理
LLMs：LLM在生产环境中实际应用中面临的两大挑战(内存需求+对更长上下文输入需求)+提升LLM部署效率的三大技术(低精度量化+更高效的自注意力算法Flash Attention+优化模型结构【位置嵌入/键-值缓存】)
2、LLMs领域代表性算法
9月25日，LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略
9月7日，LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻译与解读
9月20日，LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略
9月7日，LLMs之Falcon 180B：Falcon 180B的简介、安装、使用方法之详细攻略
9月6日，LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略
08月25日，LLMs之Code：Code Llama的简介、安装、使用方法之详细攻略
07月31日，LLMs：Chinese-LLaMA-Alpaca-2的简介、安装、案例实战应用之详细攻略
07月18日，LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
07月11日，LLMs之Baichuan：Baichuan-13B模型的简介(包括Baichuan-7B)、安装、使用方法之详细攻略
07月06日，LLMs之InternLM：InternLM/InternLM-7B模型的简介、安装、使用方法之详细攻略
06月25日，LLMs之ChatGLM2：ChatGLM2-6B的简介、安装、使用方法之详细攻略
06月20日，LLMs：《vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention》翻译与解读
06月15日，LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读
06月5日，LLMs：《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》翻译与解读
04月17日，Chinese LLaMA and Alpaca，LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读
03月30日，LLMs之Vicuna：《Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality》翻译与解读
03月29日，AIGC：ColossalChat(基于LLM和RLHF技术的类似ChatGPT的聊天机器人)/ColossalAI的简介、安装、使用方法之详细攻略
03月15日，AIGC之GPT-4：GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议)、使用方法、案例应用(计算能力/代码能力/看图能力等)之详细攻略
LLMs之GPT-4：基于OpenAl新增函数调用功能的简介、两种方法(原生SDK和LangChain框架)实现之详细攻略
03月14日，LLMs之Alpaca：《Alpaca: A Strong, Replicable Instruction-Following Model》翻译与解读
03月10日，LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读
02月25日，AIGC之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
11月30日，AIGC：ChatGPT(一个里程碑式的对话聊天机器人)的简介(意义/功能/核心技术等)、使用方法(七类任务)、案例应用(提问基础性/事实性/逻辑性/创造性/开放性的问题以及编程相关)之详细攻略
LLMs——1月~12月
LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读
LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读
LLMs:《OPT: Open Pre-trained Transformer Language Models》翻译与解读
LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读
3、LLMs领域大模型部署实战案例
LLMs：预训练大模型六大步骤实现全流程详解(以LLaMA为例)—收集数据→数据预处理→模型训练与评估→模型微调与推理→模型部署→实现复杂任务之详细攻略
3.1、部署ChatGLM-6B：混合精度+ZeRO+fine-tuning/P-tuning v2/LoRA
LLMs：从头到尾手把手教大家利用ChatGLM-6B模型实现训练、部署、推理(CLI/GUI)、微调(两个提效技巧+三种微调方法)图文教程之详细攻略
LLMs：基于Langchain框架利用ChatGLM大模型接入本地知识库实现问答响应项目图文教程之详细攻略
3.2、部署中文版LLaMA系列/Alpaca系列——Chinese-LLaMA-Alpaca、Chinese-Alpaca-LoRA-7b：合并权重+LoRA技巧+指令微调
LLMs：在单机CPU+Windows系统上实LLaMA模型(基于facebookresearch的GitHub)进行模型部署且实现模型推理全流程步骤的图文教程(非常详细)
LLMs：在单机CPU+Windows系统上实现中文LLaMA算法(基于Chinese-LLaMA-Alpaca)进行模型部署且实现模型推理全流程步骤的图文教程(非常详细)
LLMs：基于Chinese-LLaMA-Alpaca开源代码在Ng单卡利用LLaMA(Meta)和Alpaca(斯坦福)实现定义数据集(生成指令数据)→数据预处理(token分词/合并权重)→预训练(LoRA的参数/LLaMA的参数)→指令微调LoRA权重(继续训练/全新训练)→模型推理(CLI、GUI【webui/LLaMACha/LangChain】)
3.3、部署原始LLaMA系列/Alpaca系列——多卡并行+LoRA技巧、多卡并行+QLoRA技巧
LLMs之Alpaca_LoRA：Alpaca_LoRA简介(痛点/改进)、实战案例—基于CentOS和多卡(A800+并行技术)实现全流程完整复现Alpaca_7B—安装依赖、转换为HF模型文件、模型微调(full fine-turning+LoRA+单卡/多卡)、模型推理(CLI/llama.cpp/Docker封装)图文教程之详细攻略
LLMs之LLaMA-7B-QLoRA：基于Alpaca-Lora代码在CentOS和多卡(A800+并行技术)实现全流程完整复现LLaMA-7B—安装依赖、转换为HF模型文件、模型微调(QLoRA+单卡/多卡)、模型推理(对比终端命令/llama.cpp/Docker封装)图文教程之详细攻略
3.4、部署Vicuna：权重合并
LLMs：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部署且实现模型推理全流程步骤的图文教程(非常详细)
3.5、部署ChatGLM2
LLMs之ChatGLM2：ChatGLM2-6B的单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-tuning v2)、模型评估之图文教程之详细攻略
LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微调ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tuning V2/Freeze Tuning/全量微调】)的简介、安装、使用方法之详细攻略
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具【预训练+指令监督微调+奖励模型训练+PPO 训练+DPO 训练】)的简介、安装、使用方法之详细攻略
LLMs之ChatGLM2：基于ChatGLM Efficient Tuning(微调工具包)实现对ChatGLM2进行LoRA微调并进行推理测试图文教程之详细攻略
LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-tuning v2)、模型评估和推理之图文教程之详细攻略
3.6、部署LLaMA2
LLMs之LLaMA2：基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动WebUI服务)、同时微调LLaMA2模型(采用Conda环境安装tg webui+PyTorch→CLI/GUI下载模型→启动WebUI服务→GUI式+LoRA微调→加载推理)之图文教程详细攻略
LLMs之LLaMA2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、同时微调LLaMA2模型(配置云端环境【A100】→下载数据集【datasets】→加载模型【transformers】→分词→模型训练【peft+SFTTrainer+wandb】→基于HuggingFace实现云端分享)之图文教程详细攻略
LLMs之LLaMA2：基于LocalGPT利用LLaMA2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略
4、LLMs领域大模型训练与微调经验技巧总结
4.1、方案与流程
LLMs：预训练大模型实现全流程详解(以LLaMA为例)—收集数据→数据预处理→模型训练→模型微调与推理→模型部署之详细攻略
LLMs：基于开源大模型实现对中文语料实战应用之两类模型(国外模型方案**等、国内模型方案**等)的设计流程(重在选型思路+核心技术+实现方案)之详细攻略
4.2、训练优化技术
MLOPS：大数据/服务器下的大规模机器学习技术—并行计算技术的简介、训练大模型3+分布式并行策略：数据并行DP【MPI/Hadoop】、模型并行MP【Megatron-LM/PaLM】、管道并行PP【多核CPU/GPU】)、两种实现方式(**并行、**并行)之详细攻略
PTMs：大模型预训练技巧之ZeRO训练优化技术(DeepSpeed库-减少参数的冗余+优化**分片)的简介(四大核心技术(模型分片/梯度累积/内存优化/分布式训练)、两大优化技术(ZeRO-Offload/ZeRO-Redundancy)、ZeRO3的三个版本(参数分片→**分片→激**分片)、使用方法、案例应用之详细攻略
ML之DistributedML：分布式机器学习系统性能优化的简介(分析系统性能瓶颈)、性能调优常用库(CUDA的GPU加速+NCCL多卡通信+RDMA高性能网络传输+分布式系统性能监控)及其使用方法之详细攻略
4.4.、微调技术
PTMs之PEFT：参数高效微调PEFT方法的简介(只微调少量参数)、Transformer体系结构的核心构建块(大多PEFT方法只依赖基本的MHA+**结构)、分类与比较(加性方法【Adapter-like/****【Prompt Tuning、Prefix-Tuning、IPT】/IA3】/选择方法【Bitfit/Diffpruning/FAR/Fishmask】/基于重参数化方法【I-SAID→LORA→**】/混合方法【SparseAdapter/MAM Adapters/UniPELT/Compacter/**】)、案例实践与总结(有限计算资源下使用和微调/降低超参数敏感性的方法/低秩重参数化)
LLMs之Data：指令微调的简介、Self Instruction思想(一种生成指令数据集的方法论—主要用在指令微调阶段)的简介、Alpaca/BELLE应用、实战案例代码实现之详细攻略
4.5、训练任务
NLP：自然语言技术领域相关任务分类—七大任务(表示→**提取→**匹配→**分类→**聚类→生成→**问答)、两大层次(五种顶层应用【文本分类/生成/翻译/语音识别/手语识别】+四种底层基本【词法分析/**分析/语义分析/**抽取】)、LLMs四大类(无监督预训练/有监督微调/RL微调/多模态增强)之详细攻略
4.6、算法发展
PTMs：预训练大模型算法衍生发展图及其参数对比、基于Transformer的三类基础架构及其代表性算法(BERT/RoBERTa/ALBERT/**/**、GPT/LLaMA系列/**/**、XLNet/BART/T5/**/**)之详细攻略
5、LLMs领域大模型落地场景应用的挑战与案例经验总结
LLMs：构建用于生产的LLM应用程序的挑战与案例经验总结——prompt工程面临的挑战(自然语言的模糊性/成本和延迟/提示VS微调VS替代方案/向前和向后兼容性)、任务组合性(多个任务组成的应用/ 代理-工具-控制流)、有前景的应用案例(AI助手、聊天机器人、编程与游戏、提速学习、交互数据【不适合大量数据分析】、搜索和推荐、销售)之详细攻略
LLMs：LLMs场景实战案例应用之基于自然语言交互+SQL查询+Algorithm(构建高效数据库+快速缩小搜索范围→解决高维+高效查找)查找的内部数据搜索和问答应用案例的简介、具体实现之详细攻略
AI工具合集综合
一、AI工具产品—文本类集合
二、AI工具产品—图片、绘图类集合
三、AI工具产品—PPT类办公集合
四、AI工具产品—代码编程类集合
五、AI工具产品—音频类集合
六、AI工具产品—视频类集合
gen-2(一句话生成视频)
七、AI工具产品—多模态类集合
国内外网友提供的AI工具集导航栏(请网友自行鉴别网址安全性)
1、500+ AI工具导航大全，国内外AI工具集合网站
2、互联网前3000+人工智能工具
3、AI导航网 | 收录优质AI人工智能项目，与你一起遇见未来！
4、AI导航 - AI人工智能工具导航 | 工具达人
5、AI工具层出不穷，做一个善假于物者，了解它，学习它，应用它
6、发现全球优质AIGC工具，与创作者一同成长
7、Ai导航 | 最新最前沿的ai产品
8、AI导航网 - 人工智能领域的导航网站
相关文章
NLP：自然语言处理技术最强学习路线之NLP简介(岗位需求/必备技能)、早期/中期/近期应用领域(偏具体应用)、经典NLP架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装(更新中)
NLP：自然语言处理技术最强学习路线之NLP简介(岗位需求/必备技能)、早期/中期/近期应用领域(偏具体应用)、经典NLP架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装(更新中)_nlp算法岗位技能要求_一个处女座的程序猿的博客-CSDN博客
大模型领域最新算法SOTA总结
0、大模型领域近五年62篇论文核心技术总结概览——思维导图(更新中)
0728更新
0625更新
1、大型语言模型领域最新模型概述
LLMs：大型语言模型发展总结—现状(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库)、预训练(数据集+架构+模型训练)、适应LLMs(指令调优+对齐微调+参数高效微调+内存高效的模型自适应)、三大使用(ICT+CoT+PCT)、能力评估三种类型(基本+高级+基准)、提示设计实践指南、五大应用场景、未来六大方向
https://yunyaniu./article/details/131565801
LLMs：大型语言模型评估研究总结—理解智能本质(具备推理能力)、AI评估的重要性(识别当前算法的局限性+设计更强大模型的关键工具)、评估LLMs的四大意义、三维度(What+Where+How)综述LLMs评估、LLMs大语言模型的三大关键(Transformer+RLHF+提示工程)、评估LLMs任务五大类(NLURG+REBT+SS+NS+MA+Agent)、基准测试的两类(通用任务/特定下游任务)、评估的两种方式(自动/人工)、LLMs的成功(四类)与失败(四类)案例、未来七大机遇(设计AGI基准测试+完整的行为评估+鲁棒性评估+动态与演进的评估【LLMs的记忆性导致训练数据污染】+审查评估系统本身+统一评估+超越评估)
https://yunyaniu./article/details/13761
PTM：预训练大模型时代的多角度思考与辩论—大模型爆发原因、应用思考、数学思考(基于Transformer类的大模型本质上是否基于概率统计)、智能思考(GPT-4比人牛逼甚至要超越人的原因剖析/涌现能力/思维连)、LLMs当前缺点(灾难性遗忘等)之详细攻略
https://yunyaniu./article/details/130204199
NLP之LLMs：大型语言模型领域LLMs技术发展史、LLMs最新模型的简介、各种维度对比(模型参数/训练时间/训练成本)、在线测试网站集合之详细攻略(持续更新)
https://yunyaniu./article/details/130863144
NLP之LLMs：《Zeno Chatbot Report》的翻译与解读—CMU副教授详测七款个类ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command和ChatGPT)
https://yunyaniu./article/details/130863019
NLP之LLMs：大型语言模型领域之SOTA(最先进模型的新技术)的相关术语知识、代表性算法核心技巧累计总结之详细攻略
https://yunyaniu./article/details/130876779
LLMs：大型语言模型进化树结构图之模型(BERT-style/GPT-style)、数据(预训练数据/微调数据/测试数据)、NLP任务(五大任务+效率+可信度+基准指令调优+对齐)、三大类模型的使用和限制(Encoder-only、Encoder-Decoder、Decoder-only)
https://yunyaniu./article/details/131445465
PTMs：预训练大模型算法衍生发展图及其参数对比、基于Transformer的三类基础架构及其代表性算法(BERT/RoBERTa/ALBERT、GPT/LLaMA系列、XLNet/BART/T5)之详细攻略
https://yunyaniu./article/details/131098969
AIGC：训练GPT(预训练阶段【数据收集→token 化→超参数→批组化→评估模型→微调下游任务/少样本prompt】+SFT监督式微调阶段+RLHF【奖励建模+RL】+ChatGPT(RLHF模型)对比 Claude(SFT模型)、使用 GPT(序列采样token/token来思考【知识广博+储存大量事实+无损记忆】/思维链/ReAct+AutoGPT/指定顺序优化)
https://yunyaniu./article/details/130959866
AGI：人工智能大模型领域实战篇—设计一个类似GPT-3.5/GPT-4的大模型从开发→部署→应用需要经过的八大步骤、为什么只有少数公司和机构能够承担这样的训练成本之详细介绍
AGI：人工智能大模型领域实战篇—设计一个类似GPT-3.5/GPT-4的大模型从开发→部署→应用需要经过的八大步骤、为什么只有少数公司和机构能够承担这样的训练成本之详细介绍_一个处女座的程序猿的博客-CSDN博客
LLMs：预训练大模型实现全流程详解(以LLaMA为例)—收集数据→数据预处理→模型训练与评估→模型微调与推理→模型部署→实现复杂任务之详细攻略
https://yunyaniu./article/details/131332074
LLMs之ChatGPT：研究探讨国内外各大AI机构在预训练大模型领域构建或复现类似ChatGPT失败原因以及ChatGPT适用和不适用任务场景的综合梳理
https://yunyaniu./article/details/131155739
LLMs：LLM在生产环境中实际应用中面临的两大挑战(内存需求+对更长上下文输入需求)+提升LLM部署效率的三大技术(低精度量化+更高效的自注意力算法Flash Attention+优化模型结构【位置嵌入/键-值缓存】)
https://yunyaniu./article/details/133004502
2、LLMs领域代表性算法
9月25日，LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略
LLM之Colossal-LLaMA-2：Colossal-LLaMA-2的简介、安装、使用方法之详细攻略-CSDN博客
9月7日，LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻译与解读
LLMs之FLM-101B：《FLM-101B: An Open LLM and How to Train It with $100K Budget一个开放的LLM和如何用10万美元的预算训练训它》翻_一个处女座的程序猿的博客-CSDN博客
9月20日，LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略
LLMs之InternLM：InternLM-20B的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客
9月7日，LLMs之Falcon 180B：Falcon 180B的简介、安装、使用方法之详细攻略
LLMs之Falcon 180B：Falcon 180B的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客
9月6日，LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略
LLMs之Baichuan 2：Baichuan 2的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客
08月25日，LLMs之Code：Code Llama的简介、安装、使用方法之详细攻略
LLMs之Code：Code Llama的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客
07月31日，LLMs：Chinese-LLaMA-Alpaca-2的简介、安装、案例实战应用之详细攻略
LLMs：Chinese-LLaMA-Alpaca-2的简介、安装、案例实战应用之详细攻略_一个处女座的程序猿的博客-CSDN博客
07月18日，LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA2：LLaMA2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略_一个处女座的程序猿的博客-CSDN博客
07月11日，LLMs之Baichuan：Baichuan-13B模型的简介(包括Baichuan-7B)、安装、使用方法之详细攻略
LLMs之Baichuan：Baichuan-13B模型的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客
07月06日，LLMs之InternLM：InternLM/InternLM-7B模型的简介、安装、使用方法之详细攻略
https://yunyaniu./article/details/131692975
06月25日，LLMs之ChatGLM2：ChatGLM2-6B的简介、安装、使用方法之详细攻略
LLMs之ChatGLM2：ChatGLM2-6B的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客
06月20日，LLMs：《vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention》翻译与解读
LLMs：《vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention》翻译与解读_一个处女座的程序猿的博客-CSDN博客
06月15日，LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读
https://yunyaniu./article/details/131318974
06月5日，LLMs：《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》翻译与解读
LLMs：《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》翻译与解读_一个处女座的程序猿的博客-CSDN博客
04月17日，Chinese LLaMA and Alpaca，LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读
LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca》翻译与解读_一个处女座的程序猿的博客-CSDN博客
03月30日，LLMs之Vicuna：《Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality》翻译与解读
https://yunyaniu./article/details/130876638
03月29日，AIGC：ColossalChat(基于LLM和RLHF技术的类似ChatGPT的聊天机器人)/ColossalAI的简介、安装、使用方法之详细攻略
https://yunyaniu./article/details/130537064
03月15日，AIGC之GPT-4：GPT-4的简介(核心原理/意义/亮点/技术点/缺点/使用建议)、使用方法、案例应用(计算能力/代码能力/看图能力等)之详细攻略
https://yunyaniu./article/details/129573291
LLMs之GPT-4：基于OpenAl新增函数调用功能的简介、两种方法(原生SDK和LangChain框架)实现之详细攻略
https://yunyaniu./article/details/131326060
03月14日，LLMs之Alpaca：《Alpaca: A Strong, Replicable Instruction-Following Model》翻译与解读
https://yunyaniu./article/details/129775107
03月10日，LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读
LLMs之GLM-130B/ChatGLM：《GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL》翻译与解读_一个处女座的程序猿的博客-CSDN博客
02月25日，AIGC之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读
https://yunyaniu./article/details/129770092
11月30日，AIGC：ChatGPT(一个里程碑式的对话聊天机器人)的简介(意义/功能/核心技术等)、使用方法(七类任务)、案例应用(提问基础性/事实性/逻辑性/创造性/开放性的问题以及编程相关)之详细攻略
https://yunyaniu./article/details/128229941
LLMs——1月~12月
下边四篇论文分别从微调、模型结构、多语言模型以及模型规模等角度，探索了提高语言模型性能和泛化能力的不同方法。它们以开源的形式发布强大的语言模型，为NLP研究和应用提供了有力工具。
LLMs之InstructGPT：《Training language models to follow instructions with human feedback》翻译与解读
ML：文本、图像等数值化数据相似度计算之余弦相似度计算三种python代码实现_如何把 信息转换为余弦相似度数据_一个处女座的程序猿的博客-CSDN博客
LLMs：《PaLM: Scaling Language Modeling with Pathways》翻译与解读
https://yunyaniu./article/details/125476444
LLMs:《OPT: Open Pre-trained Transformer Language Models》翻译与解读
https://yunyaniu./article/details/126091700
LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读
https://yunyaniu./article/details/128509792
3、LLMs领域大模型部署实战案例
LLMs：预训练大模型六大步骤实现全流程详解(以LLaMA为例)—收集数据→数据预处理→模型训练与评估→模型微调与推理→模型部署→实现复杂任务之详细攻略
https://yunyaniu./article/details/131332074
3.1、部署ChatGLM-6B：混合精度+ZeRO+fine-tuning/P-tuning v2/LoRA
LLMs：从头到尾手把手教大家利用ChatGLM-6B模型实现训练、部署、推理(CLI/GUI)、微调(两个提效技巧+三种微调方法)图文教程之详细攻略
https://yunyaniu./article/details/120249551
LLMs：基于Langchain框架利用ChatGLM大模型接入本地知识库实现问答响应项目图文教程之详细攻略
https://yunyaniu./article/details/130998758
3.2、部署中文版LLaMA系列/Alpaca系列——Chinese-LLaMA-Alpaca、Chinese-Alpaca-LoRA-7b：合并权重+LoRA技巧+指令微调
LLMs：在单机CPU+Windows系统上实LLaMA模型(基于facebookresearch的GitHub)进行模型部署且实现模型推理全流程步骤的图文教程(非常详细)
https://yunyaniu./article/details/130979622
LLMs：在单机CPU+Windows系统上实现中文LLaMA算法(基于Chinese-LLaMA-Alpaca)进行模型部署且实现模型推理全流程步骤的图文教程(非常详细)
https://yunyaniu./article/details/131016046
LLMs：基于Chinese-LLaMA-Alpaca开源代码在Ng单卡利用LLaMA(Meta)和Alpaca(斯坦福)实现定义数据集(生成指令数据)→数据预处理(token分词/合并权重)→预训练(LoRA的参数/LLaMA的参数)→指令微调LoRA权重(继续训练/全新训练)→模型推理(CLI、GUI【webui/LLaMACha/LangChain】)
https://yunyaniu./article/details/131319010
3.3、部署原始LLaMA系列/Alpaca系列——多卡并行+LoRA技巧、多卡并行+QLoRA技巧
LLMs之Alpaca_LoRA：Alpaca_LoRA简介(痛点/改进)、实战案例—基于CentOS和多卡(A800+并行技术)实现全流程完整复现Alpaca_7B—安装依赖、转换为HF模型文件、模型微调(full fine-turning+LoRA+单卡/多卡)、模型推理(CLI/llama.cpp/Docker封装)图文教程之详细攻略
https://yunyaniu./article/details/131526319
LLMs之LLaMA-7B-QLoRA：基于Alpaca-Lora代码在CentOS和多卡(A800+并行技术)实现全流程完整复现LLaMA-7B—安装依赖、转换为HF模型文件、模型微调(QLoRA+单卡/多卡)、模型推理(对比终端命令/llama.cpp/Docker封装)图文教程之详细攻略
https://yunyaniu./article/details/131526139
3.4、部署Vicuna：权重合并
LLMs：在Linux服务器系统上实Vicuna-7B本地化部署(基于facebookresearch的GitHub)进行模型权重合并(llama-7b模型与delta模型权重)、模型部署且实现模型推理全流程步骤的图文教程(非常详细)
https://yunyaniu./article/details/131016620
3.5、部署ChatGLM2
LLMs之ChatGLM2：ChatGLM2-6B的单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-tuning v2)、模型评估之图文教程之详细攻略
LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-t_一个处女座的程序猿的博客-CSDN博客
LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微调ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tuning V2/Freeze Tuning/全量微调】)的简介、安装、使用方法之详细攻略
LLMs之ChatGLM：ChatGLM Efficient Tuning(一款高效微调ChatGLM-6B/ChatGLM2-6B的工具【LoRA/P-Tunin】)的简介、安装、使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具【预训练+指令监督微调+奖励模型训练+PPO 训练+DPO 训练】)的简介、安装、使用方法之详细攻略
LLMs：LLaMA Efficient Tuning(一款可高效微调【全参数/LoRA/QLoRA】主流大模型【ChatGLM2/LLaMA2/Baichuan等】的高效工具【预训练+指令监督微调+_一个处女座的程序猿的博客-CSDN博客
LLMs之ChatGLM2：基于ChatGLM Efficient Tuning(微调工具包)实现对ChatGLM2进行LoRA微调并进行推理测试图文教程之详细攻略
LLMs之ChatGLM2：基于ChatGLM Efficient Tuning(微调工具包)实现对ChatGLM2进行LoRA微调并进行推理测试图文教程之详细攻略_一个处女座的程序猿的博客-CSDN博客
LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-tuning v2)、模型评估和推理之图文教程之详细攻略
LLMs之ChatGLM2：ChatGLM2-6B本地部署之单机推理(API/CLI/GUI)、低成本部署(GPU量化部署/CPU及其量化部署/Mac部署/多卡部署)、有限资源下高效微调(全参/P-t_一个处女座的程序猿的博客-CSDN博客
3.6、部署LLaMA2
LLMs之LLaMA2：基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动WebUI服务)、同时微调LLaMA2模型(采用Conda环境安装tg webui+PyTorch→CLI/GUI下载模型→启动WebUI服务→GUI式+LoRA微调→加载推理)之图文教程详细攻略
LLMs之LLaMA2：基于text-generation-webui工具来本地部署并对LLaMA2模型实现推理执行对话聊天问答任务(一键安装tg webui+手动下载模型+启动WebUI服务)、同时_一个处女座的程序猿的博客-CSDN博客
LLMs之LLaMA2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、同时微调LLaMA2模型(配置云端环境【A100】→下载数据集【datasets】→加载模型【transformers】→分词→模型训练【peft+SFTTrainer+wandb】→基于HuggingFace实现云端分享)之图文教程详细攻略
LLMs之LLaMA2：基于云端进行一键部署对LLaMA2模型实现推理(基于text-generation-webui)执行对话聊天问答任务、同时微调LLaMA2模型(配置云端环境【A100】→下载数_一个处女座的程序猿的博客-CSDN博客
LLMs之LLaMA2：基于LocalGPT利用LLaMA2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略
LLMs之LLaMA2：基于LocalGPT利用LLaMA2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略_一个处女座的程序猿的博客-CSDN博客
4、LLMs领域大模型训练与微调经验技巧总结
4.1、方案与流程
LLMs：预训练大模型实现全流程详解(以LLaMA为例)—收集数据→数据预处理→模型训练→模型微调与推理→模型部署之详细攻略
https://yunyaniu./article/details/131332074
LLMs：基于开源大模型实现对中文语料实战应用之两类模型(国外模型方案**等、国内模型方案**等)的设计流程(重在选型思路+核心技术+实现方案)之详细攻略
https://yunyaniu./article/details/131607074
4.2、训练优化技术
MLOPS：大数据/服务器下的大规模机器学习技术—并行计算技术的简介、训练大模型3+分布式并行策略：数据并行DP【MPI/Hadoop】、模型并行MP【Megatron-LM/PaLM】、管道并行PP【多核CPU/GPU】)、两种实现方式(**并行、**并行)之详细攻略
https://yunyaniu./article/details/130312560
PTMs：大模型预训练技巧之ZeRO训练优化技术(DeepSpeed库-减少参数的冗余+优化**分片)的简介(四大核心技术(模型分片/梯度累积/内存优化/分布式训练)、两大优化技术(ZeRO-Offload/ZeRO-Redundancy)、ZeRO3的三个版本(参数分片→**分片→激**分片)、使用方法、案例应用之详细攻略
https://yunyaniu./article/details/129394042
ML之DistributedML：分布式机器学习系统性能优化的简介(分析系统性能瓶颈)、性能调优常用库(CUDA的GPU加速+NCCL多卡通信+RDMA高性能网络传输+分布式系统性能监控)及其使用方法之详细攻略
ML之DML：分布式机器学习系统性能优化的简介(分析系统性能瓶颈)、性能调优常用库(CUDA的GPU加速+NCCL多卡通信+RDMA高性能网络传输+分布式系统性能监控)及其使用方法之详细攻略_一个处女座的程序猿的博客-CSDN博客
4.4.、微调技术
PTMs之PEFT：参数高效微调PEFT方法的简介(只微调少量参数)、Transformer体系结构的核心构建块(大多PEFT方法只依赖基本的MHA+**结构)、分类与比较(加性方法【Adapter-like/****【Prompt Tuning、Prefix-Tuning、IPT】/IA3】/选择方法【Bitfit/Diffpruning/FAR/Fishmask】/基于重参数化方法【I-SAID→LORA→**】/混合方法【SparseAdapter/MAM Adapters/UniPELT/Compacter/**】)、案例实践与总结(有限计算资源下使用和微调/降低超参数敏感性的方法/低秩重参数化)
https://yunyaniu./article/details/130868699
LLMs之Data：指令微调的简介、Self Instruction思想(一种生成指令数据集的方法论—主要用在指令微调阶段)的简介、Alpaca/BELLE应用、实战案例代码实现之详细攻略
LLMs之Data：指令微调的简介、Self Instruction思想(一种生成指令数据集的方法论—主要用在指令微调阶段)的简介、Alpaca/BELLE应用、实战案例代码实现之详细攻略_一个处女座的程序猿的博客-CSDN博客
4.5、训练任务
NLP：自然语言技术领域相关任务分类—七大任务(表示→**提取→**匹配→**分类→**聚类→生成→**问答)、两大层次(五种顶层应用【文本分类/生成/翻译/语音识别/手语识别】+四种底层基本【词法分析/**分析/语义分析/**抽取】)、LLMs四大类(无监督预训练/有监督微调/RL微调/多模态增强)之详细攻略
https://yunyaniu./article/details/131039768
4.6、算法发展
PTMs：预训练大模型算法衍生发展图及其参数对比、基于Transformer的三类基础架构及其代表性算法(BERT/RoBERTa/ALBERT/**/**、GPT/LLaMA系列/**/**、XLNet/BART/T5/**/**)之详细攻略
https://yunyaniu./article/details/131098969
5、LLMs领域大模型落地场景应用的挑战与案例经验总结
LLMs：构建用于生产的LLM应用程序的挑战与案例经验总结——prompt工程面临的挑战(自然语言的模糊性/成本和延迟/提示VS微调VS替代方案/向前和向后兼容性)、任务组合性(多个任务组成的应用/ 代理-工具-控制流)、有前景的应用案例(AI助手、聊天机器人、编程与游戏、提速学习、交互数据【不适合大量数据分析】、搜索和推荐、销售)之详细攻略
https://yunyaniu./article/details/130877379
LLMs：LLMs场景实战案例应用之基于自然语言交互+SQL查询+Algorithm(构建高效数据库+快速缩小搜索范围→解决高维+高效查找)查找的内部数据搜索和问答应用案例的简介、具体实现之详细攻略
https://yunyaniu./article/details/131506163
AI工具合集综合
一、AI工具产品—文本类集合
二、AI工具产品—图片、绘图类集合
三、AI工具产品—PPT类办公集合
四、AI工具产品—代码编程类集合
五、AI工具产品—音频类集合
六、AI工具产品—视频类集合
gen-2(一句话生成视频)
超级人工智能机器人正在教会人类如何写好代码
Super Al robots are teaching humans to code well
七、AI工具产品—多模态类集合
国内外网友提供的AI工具集导航栏(请网友自行鉴别网址安全性)
备注：大家在进入以下国内外网友，所提供的网址时，切记，一定要注意查看网址是否安全哦！
1、500+ AI工具导航大全，国内外AI工具集合网站
网址：AI工具集导航 | 500+ AI工具导航大全，国内外AI工具集合网站
2、互联网前3000+人工智能工具
网址：/
3、AI导航网 | 收录优质AI人工智能项目，与你一起遇见未来！
网址：AI导航网 | 收录优质AI人工智能项目，与你一起遇见未来！
4、AI导航 - AI人工智能工具导航 | 工具达人
网址：AI导航 - AI人工智能工具导航 | 工具达人
5、AI工具层出不穷，做一个善假于物者，了解它，学习它，应用它
网址：AI中文｜AI工具集导航｜AI工具导航大全｜收录好用的AI工具 | AI工具层出不穷，做一个善假于物者，了解它，学习它，应用它
6、发现全球优质AIGC工具，与创作者一同成长
网址：AIGC工具导航 | 发现全球优质AIGC工具，与创作者一同成长
7、Ai导航 | 最新最前沿的ai产品
网址：Ai导航 | 最新最前沿的ai产品
8、AI导航网 - 人工智能领域的导航网站
网址：—AI导航网 - 人工智能领域的导航网站
AI：大模型领域最新算法SOTA核心技术要点总结(一直持续更新) 带你精细解读多篇优秀的大模型发展综述性文章 AI领域各种工具产品集合(文本/图片/编程/办公/视频/音频/多模态类)的简介之详细攻略
