BigBang Transformer [乾元]大模型

超对称技术公司（SuperSymmetry Technologies）专注于开发通用人工智能(AGI)技术，并将AGI技术应用于金融、制造、生物医药、教育、科学研究等不同行业。我们的使命是建设通用人工智能基础设施。

超对称技术公司基于Transformer和Decoder-Only的架构开发了BigBang Transformer「乾元」大规模预训练语言模型。2022年5月我们发布了面向金融行业应用的BBT-1,2亿和10亿参数金融模型；2023年2月我们发布了BBT-2, 120亿参数的基础大模型，并在基础模型的基础上研发了金融模型、代码模型、文生图模型。

如果最终实现AGI是攀上珠穆朗玛峰顶，那么全球各个研发团队都还在山脚,OpenAI处于最领先的位置在C1大本营，但是全体离峰顶都还很远。往上攀登的最大动力除了强大的算法实验和工程能力，还有对作为复杂系统的大模型所产生的涌现能力底层原理的研究。超对称技术公司研发团队提出了基于统计力学的相变理论来研究大模型涌现行为的临界现象，并基于量子场论的重整化机制来为大模型相变现象建立数学框架。

我们认为大模型具备发现已有人类知识库未包含的科学知识（如发现新的物理规律或证明新的数学公理）是对AGI能力的终极考验，也就是攀登珠峰过程最难的希拉里台阶。超对称公司研发的科学大模型基于亿篇以上科学论文和书籍进行训练，让模型具备从跨学科的角度给科研人员提供前沿课题的新Ideas. 为此我们号召全球的科研人员一起共建评测科学大模型新能力的评测数据集ResearchQA。未来5-10年，基于AGI技术的科学研究将带来科研生产力的大爆发，人类将迎来新一轮科学和物质世界的繁荣。

Big Bang Transformer [乾元]大模型版本Index
BBT-1-0.2B-001：2亿参数，金融模型，T5 Decoder+Encoder架构，2021年12月发布
BBT-1-0.2B-002: 2亿参数，金融模型，T5+GPT，2022年6月发布
BBT-1-0.2B-003: 2亿参数，金融模型，T5+UL2，2022年6月发布
BBT-1-1B :10亿参数，金融模型，T5 Decoder+Encoder架构，2022年5月发布

BBT-2-12B-Text: 120亿参数，基础模型，2023年2月
BBT-2-12B-Text-SFT：120亿参数，经过指令微调的基础模型，2023年3月
BBT-2-12B-TF: 120亿参数，金融模型，2023年3月
BBT-2-12B-TC：120亿参数，代码模型，2023年3月
BBT-2-12B-TC-SFT：120亿参数，经过指令微调的代码模型，2023年3月
BBT-2-12B-Image: 120亿参数，文生图模型 ，2023年2月
BBT-2-12B-Science 科学论文模型，2023年3月

BBT-2.5-13B-Text: 130亿参数的中文+英文双语基础模型，2023年4月