乾元BigBangTransformer
BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
标签:AI自然语言处理模型
BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
模型开源后所有开发者可以:
1. 可以直接调用大模型进行对话
2. 在我们训练的基础上使用自由语料库继续训练
3. 对大模型进行微调训练以满足各种下游任务

BBT-1-0.2B
2亿参数金融模型,包括三个不同预训练方式进行训练的模型, 训了600亿Tokens 。
1. BBT-1-0.2B-001:2亿参数,金融模型,T5 Decoder+Encoder架构
2. BBT-1-0.2B-002: 2亿参数,金融模型,T5+GPT
3. BBT-1-0.2B-003: 2亿参数,金融模型,T5+UL2
数据统计
数据评估
本站AIGC起点导航-专业好用的aigc应用工具分类导航网站大全提供的乾元BigBangTransformer都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由AIGC起点导航-专业好用的aigc应用工具分类导航网站大全实际控制,在2023年9月19日 上午9:22收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,AIGC起点导航-专业好用的aigc应用工具分类导航网站大全不承担任何责任。