CREATEr – 由阿里AI科学团队领衔开发的DNA生成大模型

GENERAte器是何种设备

GENERA是阿里云飞天实验室AI for Science团队开发的一款专注于DNA序列创造和设计的生成式基因组基础模型。该模型采用Transformer解码器架构，能够处理长达98k碱基对的上下文，并拥有12亿个参数，其训练数据集包含了超过3860亿bp真核生物DNA的信息。在一系列基准测试中表现优异，GENERA不仅能生成与天然蛋白质家族结构相仿的DNA序列，在如启动子设计等应用场景中也显示出优化潜力。

GENERator的核心作用

• 生成 DNA 链条GENERator 可以创建出富含生物学术语的DNA链，这些链条能够转译成形态上类似现有种类架构的新颖蛋白质分子。该技术已证实可设计出具创新性的组蛋白及细胞色素P450家族成员。
• 设计启动子序列经过精细调整后，GENERator 能够创造具备预定活性水平的启动子序列，以此来控制基因的表现活动。实验证明了这些人工设计的启动子序列其活性表现明显不同于自然存在的样本，显示出它们在调节基因表达方面具有显著的能力。
• 基因组的解析与标注在执行基因识别与分类群归类的任务时，GENERator展现出了卓越的能力，能够快速定位基因，并准确预估其功能及解析其结构特征。
• 顺序改进GENERator 显示出在改进序列设计上的巨大潜能，它能够创建具备预定生物活性的DNA链，从而给合成生物学与基因工程技术带来创新性的解决方案。

GENERator的工作机制

• 基于 Transformer 的解码单元设计GENERator 利用 Transformer 解码框架，借助多头自我关注机制及前馈神经网路来达成高效的顺序数据建模。该解码结构能够应对较长的数据串，并在产生过程里防止获取未出现的信息，从而确保所生成的序列合乎生物学规则。
• 长时间序列的模型构建该模型配备有容纳 98k 碱基数的上下文容量，能够解析复杂的遗传架构，并在生产较长片段时确保内容的一致性与生物相关性。
• 六字符分词工具GENERator 采用了一种 6-mer 的切割方法，将 DNA 链分解成每个包含六个碱基的片段。相较于单一碱基单位与字节对编码（BPE）的分割技术，在生成任务上展现出了更优的效果，它巧妙地在序列细节展示和上下文信息覆盖之间找到了平衡点。
• 预先设定的培训方案该模型基于一个庞大的数据集合进行了初步训练，此数据集涵盖了总计 3860 亿个碱基对的真核生物脱氧核糖核酸信息。在预训练阶段，所使用的任务为下一个标记预测（NTP），其核心是通过猜测序列中的下一个核苷酸来掌握 DNA 的结构含义。
• 适应下游的应用任务GENERator 在多种后续应用中展示了卓越的能力，涵盖基因种类识别、生物类别区分及启动子构建等领域。借助精细调整，该模型能够创造具备预定活性水平的启动子链节，证明了其在控制基因表现上拥有显著效能。
• 生物科学确认由模型创造的DNA序列能够编码出与自然界中蛋白质家族具有类似构造的蛋白质。利用Progen2计算得出这些序列的困惑度(PPL)，并通过AlphaFold3预测它们的空间构型，以此来确认所生成序列在生物层面的有效性。

GENERator的工程链接

• 官方网站：访问此链接以查看相关内容 – https://generteam.github.io/ 页面提供了该项目的详细信息。
• GitHub代码库：在GitHub上的仓库地址为GenerTeam团队开发的GENERator项目页面。
• HuggingFace的模型集合：访问链接以查看由GenerTeam开发的模型集合 – https://huggingface.co/GenerTeam
• arXiv科技文章在学术预印平台ArXiv上发布了一篇新的研究论文，其在线地址为：http://arxiv.org/abs/2502.07272。请注意，直接访问PDF文件的链接格式可能有所不同。

GENERator的使用场合

• DNA序列的规划与改良GENERator 可以创造具备生物功能的DNA序列，适用于特定蛋白质系列的设计。该工具能够制造出类似自然存在的蛋白质系列构造的DNA序列，包括组蛋白及细胞色素P450家族的各种变异形式。
• 对基因序列进行解析和标注在进行基因组学的研究时，GENERator 能够迅速定位基因，并预测其功能以及描述其结构特征。
• 基因工程和合成生物技术GENERator 开发了一个创新的工具，旨在设计与改进控制基因表达的组件，例如启动子及增强子，在合成生物学以及基因工程技术领域展现出显著的应用潜力。
• 精确医学和药品开发利用生成与特定病症关联的基因序列，GENERator 能够助力于精确医学和药品开发，并且可用于创建适用于基因疗法的目标序列。
• 在生物技术领域内的序列改良GENERator 可以利用命令创建具备特定功能的DNA序列，这为生物技术领域内的序列改良开辟了新的前景。