大模型

最近集中体验了下vibe coding，总的结论来说：对算法工程师来说，做基础活儿很强，但短板是对深入topic的探索还比较难驾驭。 今天体验了下大神karpathy的autoresearch项目，这个项目简单概括就是写好训练脚本定好评估指标，让大模型调参，包括调学习率，模型参数等，大模型在这方面确实还是能够做得不错，比如在某个深度学习任务上的尝试结果： 可以看到经过一些尝试确实能够取得优于baseline的结果，但是有一个很明显的问题是调研的自由度的限制，当任务固定并且需要调的参数没有那么多的情况下大模型确实可以通过一些认知探索出一些不错的参数组合，一定程度上能够减轻调参负担，但是更进一步，如果我想做一些模型结构层面上的改进和探索，那它实现还是非常有局限，比如我投喂一个论文给它让他实现xx网络，它基本都写不对，甚至写出来的结果和论文差距还是比较大的，所以总结起来，目前大模型能干的还是一些比较基础的活儿，对于一些更有深度的探索能力，是比较难以简单的prompt形式获得的。另外对于大神的另一个nanochat这种小而美且比较有新意的项目，距他说他也不是用大模型写的，所以如何拥抱大模型，如何挖掘出大模型的深层次能力，还是需要继续探索的，在这个过程中也还是需要不断精进自己。 但不管怎么说，我还是非常看好大模型的，相信科技才是第一生产力！

最近读《超越百岁：长寿的科学和艺术》中有一个观点带了我一些启发，书中提到：癌症、心脏病、2型糖尿病和痴呆症被统称为“文明疾病”，因为它们似乎是与欧洲和美国的工业化和城市化进程同步传播的，现代生活提高了我们的生活水平同时也限制了我们的寿命，我们的基因和环境存在错配。 这让我不禁想起现在的我们正在经历大模型带来的变革，短期来看可能带给我们很多好处，智能平权、提高工作效率等等，但是长远来看我在想它会给我们带来什么弊端呢，类似工业革命带来的“文明疾病"这种。 我想到一个很危险的点就是它可能会影响我们深入思考的能力，当我们发现面对一个问题直接问大模型我们能够得到很不错的答案的时候我们或许就不太会自发的深度思考问题，或许现在这样说有些可笑，因为大模型有时还是很像个笨B，但随着技术的发展很难说它会不会发展到“润物细无声"的地步，到时候我们或许会沉迷在大模型营造的世界，从而逐渐丧失自己的独立深入思考能力。 结合我自己的一些经历，我发现自己在用大模型写代码的时候会更少的思考why，更倾向于满足它只要work就行，甚至有时候有一个idea用大模型完成后都不会细看它到底怎么做的，只要它work了或许就不会继续深究到底是为什么了，这无疑会限制我的思考能力，所以之后在使用大模型的时候在问它问题的同时也要保持让自己被问，这样或许才能够保持自己独立思考的能力，才能让自己不至于陷入“智能退化”的地步。