我想要开始真的维护一个 blog，内容是我学习和研究的过程。

学习是一个恒久的话题。而大模型已经被证明是一种好的利用数据的学习范式，但是其内在机理并不是白盒的，我们就像是在科学发现的早期阶段，虽然并未深刻解决流体的很多疑问，但已经颤颤巍巍地飞上了天空，那么这里面很多认知更多是一种经验，一种判断，一种直觉，而这些直觉有些是对的，有些是错的，能够和真实情况相印证的就会成为发现，而合理的发现往往又可以相互印证，不断导向正确的道路。

我偶尔会想，相比生物演变进化的达尔文进化论，大模型的结构其实也在进行一个进化。学术研究其实成了一种进化之路，机器学习方法在不断地演变进化。各种方法在不断地被发现不断地被淘汰，起起落落，通过人类的研究者来进行竞争，变异，适应者变成了高引用量的 paper，它的基因不断延续到后来的工作后来的模型中，不适应者被淘汰淹没在研究的长河中，只是这种天择变成了人择，变成了人类的 benchmark 和 evaluation 来决定谁去谁留，变成了人类的选择和偏好来发展chat能力或者是coding能力。但某种程度上，人类的 benchmark 往往又不见得真的是人类的主观意志决定，也许背后也存在一定的天择。

人类不断地进行筛选和变异，人类通过自己智能不断地学习和探索，去找到更好的学习范式，获得更高的智能。但到了现在，模型的规模已经非常非常大，可以认为这个种群已经非常非常小了。能够在其中竞争演变的物种并不多，因为资源非常有限，不论是算力还是智能都制约了它不能像之前一样通过放大的研究群体来演变了，变成了一些小部分尝试的迭代翻新。

这里隐含的问题是，研究者也难以纠正和判断自己的直觉，形成正确的科学认知，往往只能从开源报告，口口相传中瞥见一丝所谓最前沿模型进展的蛛丝马迹，但是实际内在真实的机理，由于模型的规模也很难真正科学地评判每一条线索，我们只是发现它似乎仍然在进化，但是这种进化已经逐渐闭塞。

但我仍想要知道，想要了解硅基智能产生的这条路线，想要建立里面的科学直觉，不仅想要进行网络的解释性，更想要去窥见人类成神之路内在核心。我想要知道，为什么我们可以创造，我们创造了什么，以及我们是如何创造的，这也是我建立这个 blog 的目的。