AI Choreographer 正在参加 2020 年度 OSC 中国开源项目评选,请投票支持!
AI Choreographer 在 2020 年度 OSC 中国开源项目评选 中已获得 {{ projectVoteCount }} 票,请投票支持!
投票让它出道
已投票
AI Choreographer 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」 !
AI Choreographer 获得 2020 年度 OSC 中国开源项目评选「最佳人气项目」「最积极运营项目」 !
AI Choreographer 获得 2020 年度 OSC 中国开源项目评选「最积极运营项目」 !
授权协议 Apache-2.0
开发语言 Python 查看源码 »
操作系统 Windows
软件类型 开源软件
开源组织
地区 不详
投 递 者 御坂弟弟
适用人群 未知
收录时间 2021-09-14

软件简介

这个包包含 AI Choreographer 的模型实现和训练基础设施,包括 FACT 模型实现。

拉取代码

git clone https://github.com/liruilong940607/mint --recursive

注意这里 --recursive 很重要,因为它也会自动克隆子模块。 

安装依赖

conda create -n mint python=3.7
conda activate mint
conda install protobuf numpy
pip install tensorflow absl-py tensorflow-datasets librosa

sudo apt-get install libopenexr-dev
pip install --upgrade OpenEXR
pip install tensorflow-graphics tensorflow-graphics-gpu

git clone https://github.com/arogozhnikov/einops /tmp/einops
cd /tmp/einops/ && pip install . -U

git clone https://github.com/google/aistplusplus_api /tmp/aistplusplus_api
cd /tmp/aistplusplus_api && pip install -r requirements.txt && pip install . -U

注意如果遇到 numpy 的环境冲突,可以试试 pip install numpy==1.20

获取数据

数据在该网站

运行代码

  • 编译协议
protoc ./mint/protos/*.proto
  • 将数据集预处理为 tfrecord 

python tools/preprocessing.py \
    --anno_dir="/mnt/data/aist_plusplus_final/" \
    --audio_dir="/mnt/data/AIST/music/" \
    --split=train
python tools/preprocessing.py \
    --anno_dir="/mnt/data/aist_plusplus_final/" \
    --audio_dir="/mnt/data/AIST/music/" \
    --split=testval
  • 训练

python trainer.py --config_path ./configs/fact_v5_deeper_t10_cm12.config --model_dir ./checkpoints
  • 运行测试和评估 

# caching the generated motions (seed included) to `./outputs`
python evaluator.py --config_path ./configs/fact_v5_deeper_t10_cm12.config --model_dir ./checkpoints
# calculate FIDs
python tools/calculate_scores.py
 

 

展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论 (0)

加载中
更多评论
09/14 08:04

谷歌开源 3D 舞蹈生成模型 FACT

谷歌开源了其基于 AIST++ 的 3D 舞蹈生成模型 FACT。该模型不仅可以学习音乐-运动对应关系,还可以生成以音乐为基础的 3D 运动序列。 此前,谷歌层发布了大规模的多模态 3D 舞蹈动作数据集 AIST++,它包含了 1408 个序列中 5.2 小时的 3D 舞蹈动作,涵盖了 10 种舞蹈流派,每个序列都包括已知相机姿势的多视角视频。而 FACT 模型则可以使用使用这些数据从音乐生成 3D 舞蹈,甚至可以帮助增强一个人的编舞能力。 根据谷歌描述,该...

6
18
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
2019/02/26 17:21

Choreographer解析

Choreographer_舞蹈编导 为什么叫舞蹈编导,因为舞蹈是由节奏的,节奏是每个点位动作的快慢控制,跳舞时节奏很重要,编舞者控制节奏。视图刷新也是如此,不是说你想刷就能刷,一切要按照底层信号要求的节奏来。 理解屏幕刷新频率 刷新频率:每秒钟刷新屏幕的次数,从缓存中取出每一帧,显示到屏幕上的速度。 帧率:GPU/CPU生成每一帧画面图像,存入缓存中的速度。 一般情况下帧率是大于刷新频率的,每个设备的刷新频率固定,与硬...

0
0
发表了博客
01/06 11:01

Choreographer全解析

前言 今天继续屏幕刷新机制的知识讲解,上文说到vsync的处理,每一帧UI的绘制前期处理都在Choreographer中实现,那么今天就来看看这个神奇的舞蹈编舞师是怎么将UI变化反应到屏幕上的。 代码未动,图先行 UI变化 上期说到app并不是每一个vsync信号都能接收到的,只有当应用有绘制需求的时候,才会通过scheduledVsync 方法申请VSYNC信号。 那我们就从有绘制需求开始看,当我们修改了UI后,都会执行invalidate方法进行绘制,这里我...

0
0
2020/12/29 08:18

Choreographer全解析

点击上方蓝字关注我,每天一见,给你力量 前言 早呀各位。今天继续屏幕刷新机制的知识讲解,上文说到vsync的处理,每一帧UI的绘制前期处理都在Choreographer中实现,那么今天就来看看这个神奇的舞蹈编舞师是怎么将UI变化反应到屏幕上的。 (今天全是代码~) 代码未动,图先行 UI变化 上期说到app并不是每一个vsync信号都能接收到的,只有当应用有绘制需求的时候,才会通过scheduledVsync 方法申请VSYNC信号。 那我们就从有绘制需...

0
0
发表了博客
2019/02/24 20:04

人工智能(AI)

一、人工智能的核心——机器学习   人工智能是一个很大的圈子,但人工智能的基础是机器学习。 机器学习是什么?   其实就是人告诉机器想做什么事情,并且给它一堆数据让它模仿着去做。 机器学习需要什么?   算法、数据、程序、评估、应用。 机器学习能做什么?   机器学习在数据挖掘、图像识别、语音和自然语言处理中有着广泛应用。    机器学习流程?   一个机器学习的常规套路:   1)数据收集与预处理(数据收...

0
1
发表于数据库专区
2019/12/30 17:46

人工智能-浅谈人工智能

1 浅谈人工智能 1.1 人工智能的概述 人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学 人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来,理论和技术日益成熟,应...

0
0
2018/11/28 16:54

人工智能AI与依赖「人工」的假「人工智能」

这年头,无论什么技术总喜欢跟「人工智能」(以下简称 AI)扯上关系,但如果「人工智能」变成依赖「人工」的假 AI,就有种被欺骗的感觉了。这次被揭穿「假 AI」面目的,是在中国以语音识别技术著称的科大讯飞出问题的不是科大讯飞的语音识别,而是他们这几年大力鼓吹的翻译技术。「AI同传」,也就是我们所谓的AI同步口译。 AI 翻译:「人工智能」还是「人造智慧」? (前情提要:人类冒充 AI 又一桩!语音识别大厂「科大讯飞」的...

0
0
发表了博客
2020/06/18 08:11

人工智能AI 01人工智能入门指南

目录 如何学Python呢 Python这么多库,这么多函数,我需要都记下来吗? 人工智能我该怎么学呢? 机器学习能做什么? 机器学习流程? 机器学习我该怎么学? 现在说的很火的深度学习是什么 算法推导如何开始? 机器学习怎么动手去做? 大礼包: ,傻瓜式安装,解决上述问题 (还给我们赠送了notebook写代码环境,库安装工具等) 为什么建议使用Notebook?主要原因在于它不光能写代码,还可以做笔记 尤其是代码需要一步步执行的时候...

0
0
发表了博客
2019/03/29 11:32

什么是弱人工智能强人工智能超人工智能

  人工智能( Arti ticial Intelligence ) ,也称为机器智能,是指白人工制造出来的系统所表现的智能,所谓的智能,即指可以观察周围环境井据此做出行动以达到目的.   在人工智能的早期,那些对人类智力来说非常困难、 且对计算机来说相对简单的问题迅速得到解决,比如,那些可以通过→系列形式化的数学规则来描述的问题 AI的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务,比如,识别人们所说的话或图像...

0
1
2018/05/30 10:48

人工智能编辑平台,AI人工智能编辑机器人

编辑机器人就是通过AI技术来智能化提供文本的分类、分词、关键词提取等工作,极大提高文本处理效率。 智能化的资讯频道定制服务专家,无需人工编辑,资讯内容自动化生成。 助力资讯运营“无人化编辑”,实现内容的7*24小时实时更新,是企业内容运营的好帮手。 AI赋能 依托人工智能智能语义技术,自动生成内容资讯频道 服务多元 通过集成SDK、URL接入以及调用API等接入方式,快速组建资讯频道 千人千面 基于用户画像,提供个性化...

0
1
发表于大前端专区
2017/05/09 09:26

人工智能(AI)资料大全

这里收集的是关于人工智能(AI)的教程、书籍、视频演讲和论文。 欢迎提供更多的信息。 在线教程 麻省理工学院人工智能视频教程 – 麻省理工人工智能课程 人工智能入门 – 人工智能基础学习。Peter Norvig举办的课程 EdX 人工智能 – 此课程讲授人工智能计算机系统设计的基本概念和技术。 人工智能中的计划 – 计划是人工智能系统的基础部分之一。在这个课程中,你将会学习到让机器人执行一系列动作所需要的基本算法。 机器人人工...

0
0
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
暂无内容
0 评论
3 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部