谷歌翻墙详细教程
挑战成功本身并不意外,但是只花费20美元、90分钟完成训练,Loss和评测还超越原版,就!有!点!过!分!了!。
不过有人按照教程用H100跑了一把,不仅训练时间更短,还更省钱了:43分钟完成,只花14美元。
但1.5B大杯版,照计算要花1周时间和2500美元谷歌翻墙详细教程,有点玩不起了,主要他手里也没有H100。
原版WebText从未公开,无法在控制变量在相同条件下实验,另外今天的互联网数据分布,也可能与5年前大不相同了。
另外有网友注意到,训练时的GPU利用效率也比OpenAI的工作高,不过Karpathy表示主要是由于用了单个云服务节点,不需要考虑服务器间通信问题。
自今年二月份再次从OpenAI辞职之后,Karpathy已经用C语言搞出不少大模型成果,从Llama到GPT玩了一遍。