
封神榜-IDEA研究院
最大的开源预训练模型体系
我们介绍K2(7B),它是一个开源语言模型,首先在收集和清理过的地球科学文献(包括地球科学开放存取论文和维基百科页面)上对LLaMA进行进一步预训练,然后使用知识密集型指令调整数据(GeoSignal)进行微调。在初步评估中,我们使用GeoBench(由NPEE和关于地质学、地理学和环境科学的AP测试组成)作为基准。与参数相似的几个基准模型相比,K2在客观和主观任务上的表现都优于基准模型。在该资源库中,我们将共享以下代码和数据。
本站玉米导航提供的K2-上海交通大学都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由玉米导航实际控制,在2024年7月8日 下午5:23收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,玉米导航不承担任何责任。