自2022年11月chatgpt3.5推出后，生成式AI好像突然就火遍了全球，随后国内各路大神也如雨后春笋纷纷涌现，隔三差五总会有完爆openAI的模型出现，好奇心趋势免不了想去扒一扒大模型的底裤看看，究竟是什么原因让AI突然爆火，而AI技术的爆发难道是月亮背面的科技么，突然就爆发了？
结论：所谓的爆火原来只是因为在此之前大模型在互联网的声量不大而没有引起普通人的关注让人产生的错觉。
2024年7月10日补充，忽然想到美国人这轮加息就是从2022年3月开始的，所以我写这么多分析其实啥也不是，原来AI爆火原来只是大美利坚需要它火啊
大模型发展时间线
2017年：Transformer架构提出
- Vaswani等人提出Transformer架构，特别是自注意力机制，成为大模型的关键技术基础。
2018年：BERT发布和GPT-1发布
- Google发布BERT（Bidirectional Encoder Representations from Transformers），通过大规模预训练和微调，在多个自然语言处理任务上取得显著效果，其中BERT Base（1.1亿参数）、BERT Large（3.4亿参数）。
- OpenAI发布GPT-1 (Generative Pre-trained Transformer 1)，openAI对生成模型的早期探索（1.17亿参数）
2019年：GPT-2发布和百度的ERNIE发布
- OpenAI发布GPT-2（Generative Pre-trained Transformer 2），展示了生成高质量、连贯文本的能力，在多种生成任务上表现出色。（15亿参数）
- 百度发布ERNIE (Baidu's Enhanced Representation through Knowledge Integration)，这一年连续推出了1.0和2.0版本，结合知识图谱，提高了在自然语言理解和生成任务上的表现。在中文自然语言处理任务中取得了显著成果，受到广泛关注和应用。ERNIE 2.0有1.1亿参数。
2020年：多个重要模型发布，包括阿里巴巴的AliceMind
- NVIDIA发布A100：基于Ampere架构的A100显卡发布，专为AI训练和推理设计，具有极高的计算能力，支持更大规模的模型训练。
- Google发布Meena，展示了更自然和连贯的对话生成能力，被认为是当时最先进的对话生成模型之一。（26亿参数）
- Facebook（现Meta）发布BlenderBot，专注于对话生成，提升了对话的连贯性和互动性，在对话AI社区中引起关注。（9.4亿参数）
- OpenAI发布GPT-3，展示了前所未有的生成和理解能力，能够执行多种复杂任务，如写作、翻译、问答，引发全球范围的广泛讨论和应用热潮。（1750亿参数）
- 阿里巴巴发布AliceMind，应用于多种自然语言处理任务，展示了在中文和多语言环境下的强大能力。（具体参数未详细公开）
2021年：更多大规模模型发布
- Google发布LaMDA，专为对话设计，强调对话的逻辑性和连贯性，展示了更长时间、更有深度的对话能力。（1370亿参数）
- AI21 Labs发布Jurassic-1，在文本生成和对话任务上表现出色，提供了强大的生成能力，被认为是GPT-3的竞争对手。（1780亿参数）
- Facebook（现Meta）发布BlenderBot 2.0，进一步提升了对话的连贯性和交互性，增加了对外部知识的访问和更新功能，继续巩固了Meta在对话AI领域的地位。（28亿参数）
- 百度发布ERNIE 3.0，展示了强大的自然语言理解和生成能力，特别是在中文处理任务上取得显著进展，推动了中文大模型的发展。（1000亿参数）
- 智源研究院发布“悟道”2.0，这是一个拥有1.75万亿参数（世界第一）的超大规模中文预训练模型，这里我存疑，这样一个超越时代的超大规模模型随后就销声匿迹了，它甚至还是开源的，但github上也没几颗星，去这家公司官网看了一下，当我看到了首页C位的李开复瞬间就理解了。
2022年及之后
- OpenAI发布GPT-3.5，进一步提升了生成和理解能力，并在多个领域展示了更强的性能和更好的用户体验。（参数规模较GPT-3有所增加，但具体参数未公开）
- DALL-E 2发布，OpenAI展示了这个图像生成模型的能力，可以从文本描述生成高质量的图像，引发了艺术和设计领域的广泛讨论。
- Google发布PaLM (Pathways Language Model)，一个具有5400亿参数的模型，展示了更高效的多任务学习和推理能力，被认为是超大规模模型的新标杆。
- Stable Diffusion发布，这是一个开源的文本到图像生成模型，展示了高质量图像生成能力，在生成艺术和设计应用中获得了广泛关注。
- Meta发布OPT (Open Pre-trained Transformer)，这是一个开源的大规模语言模型，旨在推动研究和应用的开放性和透明度。（参数规模与GPT-3相当）
对于时间线的一些看法
- 国内最早入局的还是百度，在2019年就开源了自己的模型，在百度公司高层如此压榨且PUA员工的环境下，百度的员工还是如此紧跟潮流实属不易。
百度高管名言
而阿里2021年入局，只能说还算跟的紧，至于腾讯还是一贯的作风，等你们都做好了我来抄？
腾讯
- 2020年这里是一个分水岭，在这一年NVIDIA发布专为AI训练和推理设计的A100。
而openAI从参数规模上看已经远远超过所有对手，率先达到了千亿的规模，而对手却还在亿级，超过百倍。
从这个版本开始GPT不再开源。相信当时的openAI一定是发现了大模型的“突现能力(Emergent Abilities)”以及基于此让AI产生推理能力的算法，并且坚定认为其会成为自己未来的护城河而选择闭源。至此在大模型之上openAI已经领先大部分对手至少1年以上。
奥特曼同学
- 从2017年Transformer架构提出开始，陆续就有各种基于Transformer架构的模型出现，只是参数规模都还略小，使用当时的显卡V100想训练一个千亿规模的模型需要几百张，光买个显卡就要上千万更不要说训练费用了，而且彼时应该还是挖矿的高峰期，能舍得买显卡建集群而不去挖矿的人肯定被人当大傻子看。
挖矿阻碍世界发展
2020年后赶上矿难后期，显卡拿来做大规模人工智能训练合理了许多，加之NVIDIA发布专为AI训练和推理设计的A100，千亿规模的gpt3横空出世也就理所应当了。但是即使是在这个时候，愿意拿出几千万真金白银去训练一个不知道有什么用的人工智能模型还是需要相当魄力的
我承认我有赌的成分
大模型的突现能力(emergent abilities)
回顾大模型的发展时间线，不免想问大模型怎么突然就有了超能力？
这是一个好问题，但答案是没有人知道为什么。
当大语言模型的参数量级达到一定程度后，会出现一些新的推理能力，这种现象被称为“突现能力”（emergent abilities）。这些能力在较小的模型中是不存在的，但在较大的模型中突然出现。这种突现能力并非简单的性能提升，而是在模型达到特定规模后，性能从随机表现跃升到远高于随机的水平。
ar5iv（
https://ar5iv.labs.arxiv.org/html/2206.07682）这篇被引用高达1780次的论文里提到： ↗研究表明，当模型的参数量达到一定规模时，其在多步推理、复杂问题解决等任务上的表现会显著提升。例如，GPT-3在参数量达到130亿（13B）时，其在多位数加减法和一些复杂任务上的表现突然从接近随机水平跃升到明显高于随机水平。类似的现象也出现在其他模型和任务中，如国际音标的转写、单词恢复以及某些语言理解任务。
这种突现能力的出现，可能与模型在大规模训练中积累的广泛知识和更复杂的内部表示有关。随着模型规模的增加，它们能够捕捉和利用更复杂的模式和关联，从而在以前无法完成的任务上表现出色
直白点说就是“力大飞砖”，也不知道为啥反正规模到了一定程度大模型他就突然聪明起来了。而对于科研人员来说：我只是用实验证明了这个结论，但是我无法解释原因。
来自Google Research（
http://research.google/blog/characterizing-emergent-phenomena-in-large-language-models/）对AI系统透明性和可解释性的担忧 ↗目前许多AI系统，尤其是深度学习模型，都是“黑箱”模型，其内部工作机制难以解释。这种缺乏透明性的特性限制了AI在关键领域（如医疗、金融）的广泛应用，因为人们难以信任一个无法解释其决策过程的系统。
人类历史上这样的科研发现其实还有很多，类似这样知道结论但却不知道会带来什么危害的技术，例如核能技术、基因编辑技术、量化交易技术、克隆技术。
当然最贴近我们生活的例子其实是各种社交媒体的推荐算法。推荐算法是基于用户数据和行为的复杂模型。这些算法旨在增加用户的参与度，但也带来了意想不到的后果，如信息茧房、假新闻传播、社会极化等。尽管平台不断调整算法以减少这些负面影响，但其广泛的社会影响和复杂的运行机制使得完全控制和预测其后果变得极为困难。
大模型也是一样，我们创造了它，但是却不知道原理，甚至不知道它会演变成什么样子。
