程序员如何制造最简单的gpt？
大家都说gpt很火，怎么就没一个人说怎么造它呢？这种人工智能能一个人造吗？
gpt是开源的，源代码都是开放的
其实不说gpt，其他人工智能的代码基本都是开源的
因为护城河根本不是算法，算法都是公开的那么几个
护城河是数据
人家上千亿个参数，光一行数据就占多少空间，是你个人能玩的吗
更别说要把全世界能找到的资料全送进去训练，你一个人能找到多少资料呢
很多资料是付费的，比如学术论文，你有钱买吗
-=-=-=-
软件不是硬件
它边际成本为0
那么既然已经有人搞出来个复杂的版本
所有简单的版本就可以宣布死翘翘了
为什么还会有人要搞简单的版本呢
20年前就已经有人搞过简单的版本了
你确认你要搞吗
关键是简单版本的gpt，不是相对没价值，是压根就没价值
主要数据量要大阿，另外gpu要强啊，当然能一个人造啊，只是那个人要很厉害啊，像openai那个最主要的工程师
现在百度不也在做吗
- 这个问题的回答你可以参考下: https://ask.csdn.net/questions/7769580
- 这篇博客你也可以参考下：GPT-3: 最强的人工智能？
- 除此之外, 这篇博客: 【文本表征】2018年自然语言理解最火的三种方法中的 2.1 无监督预训练GPT模型 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
给定语料，使用标准的语言模型目标函数来最大化一下的似然函数：
注意，从公示中看这个是前向语言模型在GPT中，使用多层的transformer decoder去构建语言模型，对输入的tokens应用multi-head self-attention,然后再进入position-wise feedforward layers来输出目标token的分布。
谁告诉你没有一个人说怎么造gpt？
gpt3是开源的
而且现在还有了 tinygpt minigpt 等一众微缩版的gpt
https://blog.csdn.net/weixin_44599230/article/details/124103879