BigBang Transformer[乾元]是基于GPT Decoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后，我们正式开源最新系列的BBT模型：BBT-1-1B，BBT-2-12B-Text，BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源，覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练，经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。
模型开源后所有开发者可以：
1. 可以直接调用大模型进行对话
2. 在我们训练的基础上使用自由语料库继续训练
3. 对大模型进行微调训练以满足各种下游任务

BBT-1-0.2B

2亿参数金融模型，包括三个不同预训练方式进行训练的模型, 训了600亿Tokens 。
1. BBT-1-0.2B-001：2亿参数，金融模型，T5 Decoder+Encoder架构
2. BBT-1-0.2B-002: 2亿参数，金融模型，T5+GPT
3. BBT-1-0.2B-003: 2亿参数，金融模型，T5+UL2

BBT-1-1B

10亿参数金融模型，T5 Encoder+Decoder架构，使用金融中文语料库1000亿tokens进行预训练，包含社交媒体，财经新闻，券商研报，公司公告财报等数据。

BBT-2-12B-Text

120亿参数基础模型，GPT Decoder-Only 架构，未经指令微调，完成700亿中文tokens预训练，模型性能还有较大提升空间，开发者可在通用模型上继续训练或进行下游任务微调。

BBT-2.5-13B-Text

130亿参数基础模型，GPT Decoder-Only 架构，未经指令微调，完成2000亿中文+英文tokens预训练。

请联系model@ssymmetry.com申请模型下载