
BigBangTransformer[乾元]是基于GPTDecoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文2000亿tokens进行预训练。
模型开源后所有开发者可以:
1.可以直接调用大模型进行对话
2.在我们训练的基础上使用自由语料库继续训练
3.对大模型进行微调训练以满足各种下游任务
数据统计
数据评估
关于乾元BigBangTransformer特别声明
本站玉米导航提供的乾元BigBangTransformer都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由玉米导航实际控制,在2024年7月8日 下午5:23收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,玉米导航不承担任何责任。
相关导航

业内首个销售大模型SaaS产品

言犀
人机交互平台,懂业务更懂你

阿里云百炼
阿里云百炼是基于通义大模型、行业大模型以及三方大模型的一站式大模型开发平台。

奇智孔明
奇智孔明是制造业与工业软件领域的智能化解决方案。

百川智能
百川智能是由王小川和茹立云联合创立的通用人工智能服务公司,专注于研发并提供通用人工智能服务。公司的目标是打造中国版的OpenAI基础大模型及颠覆性的上层应用。

曹植GPT大语言模型
曹植大语言模型是国内首个垂直行业专用的自主可控的国产GPT大语言模型,由达观数据研发。这个模型可以准确完成多类型、复杂结构的长文本写作,并自动起草多种类型的文档。未来,曹...

火山方舟
火山方舟是火山引擎推出的大模型服务平台,作为一个开放的MaaS(Model as a Service)平台,其愿景是让更多的企业和个人能够轻松地接入和使用大模型技术,实现体验创新、数据驱动...

360智脑
360智脑是360公司自研的认知型通用大模型,依托于360多年积累的大算力、大数据、工程化等关键优势,集成了360GPT大模型、360CV大模型、360多模态大模型技术能力。它具备生成创作、...
暂无评论...