最近集中体验了下vibe coding，总的结论来说：对算法工程师来说，做基础活儿很强，但短板是对深入topic的探索还比较难驾驭。
今天体验了下大神karpathy的autoresearch项目，这个项目简单概括就是写好训练脚本定好评估指标，让大模型调参，包括调学习率，模型参数等，大模型在这方面确实还是能够做得不错，比如在某个深度学习任务上的尝试结果：
可以看到经过一些尝试确实能够取得优于baseline的结果，但是有一个很明显的问题是调研的自由度的限制，当任务固定并且需要调的参数没有那么多的情况下大模型确实可以通过一些认知探索出一些不错的参数组合，一定程度上能够减轻调参负担，但是更进一步，如果我想做一些模型结构层面上的改进和探索，那它实现还是非常有局限，比如我投喂一个论文给它让他实现xx网络，它基本都写不对，甚至写出来的结果和论文差距还是比较大的，所以总结起来，目前大模型能干的还是一些比较基础的活儿，对于一些更有深度的探索能力，是比较难以简单的prompt形式获得的。另外对于大神的另一个nanochat这种小而美且比较有新意的项目，距他说他也不是用大模型写的，所以如何拥抱大模型，如何挖掘出大模型的深层次能力，还是需要继续探索的，在这个过程中也还是需要不断精进自己。
但不管怎么说，我还是非常看好大模型的，相信科技才是第一生产力！