Scaling Law原来源于百度？！Anthropic创始人的爆料外网都震惊了

看不懂~，刚才网上百度一下发现的，不知道是不是很牛？
开山鼻祖 编辑于 2024-11-28 12:17

没错，不能傻学或者学傻了。。再就是计算不能无限进行，否则时间和资源都耗不起。。
开山鼻祖 编辑于 2024-11-30 00:09

单就scaling law这个词，早就在信息领域使用了，例如2006年在信息论中就有Capacity Scaling Laws。

有过度训练的说法，导致系统失去对长期规则的学习能力。

"Dario Amodei称，2014年与吴恩达在百度研究AI的时候，他就已经发现了模型发展的规律Scaling Law，“随着你给它们提供更多数据，随着你让模型变大，随着你训练它们的时间越来越长，模型的表现开始越来越好。当时我并没有精确地衡量，但我和同事们都非常非正式地感觉到，给这些模型的数据越多、计算越多、训练越多，它们的表现就越好。”"

恕我直言，这个规律不是明摆着的事情吗？
当然了，虽然直觉很明显，但在科学领域，理论推导和严密论证还是必要的。