阿里妈妈推出的电商视频生成大模型——淘宝星辰引领全新潮流

淘宝星辰究竟是何物？

淘宝星辰是由阿里妈妈推出的一款电商视频生成大模型，专为淘宝天猫商家量身定制。通过商家提供的图片或文本指令，该工具能够快速生成高质量的视频。其核心优势在于对商品展示有着更深入的理解，能够准确识别并应用适合不同商品展示的技巧；同时具备强大的多语种语义遵循能力，确保所生成视频与用户意图完美契合；此外，还遵循物理和动作规律，在画面呈现上更加流畅自然；最重要的是，它可以稳定地保持人物、商品和装饰元素清晰且完整。商家可以利用这个工具为商品详情页添加生动有趣的视频内容，从而提升商品吸引力。目前该工具已经向淘宝天猫商家开放使用。

淘宝星辰的核心特性

• 对于展示商品的技巧更加熟悉凭借丰富的电商数据和设计经验，我们能够自动识别并运用最适合各类商品展示的方式。无论是产品细节的精确呈现还是整体风格的协调统一，我们都能确保每一件商品以最佳形式展示出来。
• 更具多语种语义遵循能力的进一步提升我们对参考图片和多语种指令（中/英）有着深入的理解，能够准确捕捉文本指令中关键动作信息，并确保生成的视频与用户意图完美契合。
• 合理的物理和动作规则为了保证视频的真实感和专业度，我们必须严格遵循物理规律和动作规范。这样做可以确保画面流畅自然，避免出现与现实不符的画面效果。
• 保持稳定的个性、产品和装饰无论是人脸、商品，还是文字、贴纸等装饰元素，都要保持清晰、完整，并且不出现抖动或变形的情况，以提升视觉上的一致性。

淘宝星辰的技术机制

• 以Unet扩散模型为基础的路径淘宝星辰视频生成大模型是基于Unet Diffusion Model路线进行研发的。Unet Diffusion Model属于一种生成模型，其工作原理是通过逐步去除噪声来生成数据，从而能够学习到数据的复杂分布，并创造出高质量的视频内容。
• 独自开发的三维变分自编码器(VAE)为了更好地处理视频中的三维信息和空间结构，淘宝星辰团队研发了一种名为3D VAE（变分自编码器）的自主技术。这项技术可以对视频中的物体、场景等进行三维建模和编码，将复杂的三维信息转化为低维度的潜在空间表示。然后，通过解码器从这个潜在空间重建出高质量的视频帧，使得生成的视频在空间结构和物体形态上更加真实而自然。
• 针对生成任务的数据飞轮我们建立了一个针对视频生成任务的数据循环系统，通过持续收集、标注和利用大量的电商数据，为模型训练提供了丰富的素材和监督信息。这些数据包括各种商品的图片、视频和文本描述等内容，使得模型能够学习到不同商品展示方式、风格特点以及与用户意图之间的对应关系。因此，在生成视频时，我们能够更准确地满足电商场景下的需求。
• 多模型合作

  多种模型的协同工作淘宝星辰视频生成平台提供了多个大型模型，包括Tbstar-T2V（文本转视频）、Tbstar-I2V（图片转视频）和Tbstar-V2V（视频转视频）。这些子模型相互合作，共同完成各种视频生成任务，为用户带来更加丰富多样的功能和效果。

淘宝星辰的使用方法详解

掌握如何充分利用淘宝星辰，让您的购物体验更加便捷、高效。下面是一份详细的使用指南，帮助您快速上手。

首先，在您登录淘宝账号后，点击首页右上角的“星辰”按钮进入淘宝星辰页面。在这里，您可以看到各种个性化推荐和特别活动。

要想找到自己感兴趣的商品或品牌，请点击顶部导航栏中的“分类”按钮。在这里，您可以选择不同类别和子类别进行浏览，并且还能通过筛选条件来缩小搜索范围。

如果您对某个商品感兴趣并想了解更多信息，请点击该商品图片进入详情页。在详情页中，除了基本信息外还有用户评价、销量等相关数据供参考。如果有任何疑问或需要咨询客服，请直接与卖家联系。

当然，在购买之前我们也建议查看其他用户对该商品的评价和晒单分享。这些真实反馈将帮助你做出明智决策，并避免可能存在的风险。

另外一个重要功能是收藏夹，在浏览过程中发现喜欢但暂时不打算购买的商品可添加至收藏夹以便稍后查看和比较。

最后提醒大家注意安全问题：请确保账号密码安全，并谨慎对待涉及支付等敏感操作时所需填写信息。

总结起来就是以上几点关于如何使用淘宝星辰进行高效购物体验。祝愿大家都能找到心仪之物！

• 平台访问：访问星辰官方网站，以登录淘宝。
• 挑选功能模块：在功能模块中，选择了“图生视频”。
• 请提供您需要进行伪原创改写的具体内容。请分享一张精美的服装模特展示照片。
• 视频制作按下生成按钮，耐心等待视频生成。
• 剪辑视频在页面上自动展示生成的视频，您可以进行简单的编辑，例如添加品牌标志、调整色彩等。
• 获取和应用完成编辑后，您可以下载视频并将其嵌入到商品详情页中，或者用于社交媒体推广。
• 限制使用淘宝星辰目前仅对淘宝天猫商家提供服务，暂时无法供普通用户使用。商家必须确保其账号具备相应的权限才能使用该功能。

淘宝星辰的使用场景广泛

• 产品主图影片一家服装商家在淘宝星辰上发布了一张精美的模特展示图，通过将其转化为一个时长为5秒的视频主图，成功地提升了商品详情页的点击率和转化率。
• 引人注目的销售视频某家电子产品商家上传了多张产品图片，并利用模板视频添加了转场、特效和文字，制作成一个展示产品功能和优势的卖点视频。这个视频将被用于社交媒体推广。
• 视频内容推荐一家美妆商家在上传了多张美妆产品的图片后，利用剪辑视频的技巧，添加了解说和字幕，并将其制作成一个引人入胜的种草视频。这个视频被发布在小红书等平台上，以激发消费者购买这些产品的欲望。
• 虚拟试衣视频一家服装商家推出了一项新功能，允许用户上传虚拟试穿照片，并生成逼真的虚拟试穿视频，以展示服装的实际效果。这项创新帮助消费者更好地了解商品，减少购买时的犹豫不决。