让编舞演奏电子乐
舞者示范几个动作后,把抬手、转身和下蹲变成实时控制音轨与效果的现场演出。
舞者、现场艺人或音乐教师排练时,往往已经有一套完整的身体动作,却得腾出手去点控制器。用户先导入鼓点、人声、氛围等分轨,再为几段关键动作录一遍示范,例如抬手切入人声、转身拉长混响、下蹲压低低音。
产品从整段排练里找出彼此容易混淆的姿势,再为每个控制动作划定较稳定的身体区域。它会把手势识别结果叠在排练录像上,指出哪次转身会误触发音轨,或哪只手离镜头太远。用户可把不可靠的动作换成更清晰的姿势,再设定每次触发是切换、渐变还是短暂效果。
正式演出时,摄像头只追踪已确认的动作区域。屏幕边缘保留一条简洁状态条,显示当前启用的音轨和下一次动作会改变什么。演出结束后,用户还能回看动作与音乐变化的时间线,找出节奏最顺或最容易失误的位置。
首个版本可先支持单人、固定机位和四类常见音乐控制。它输出一套可保存的曲目配置,让同一支编舞能在下次排练或舞台上直接调用。
为什么是现在
截至8月4日观察时,gesture.live 位于 Product Hunt 新品流第3位。S1 这让更多创作者此时接触到用摄像头免手控制音乐,也更容易意识到编舞中断去点控制器的问题。
目标用户
适合已有完整编舞的独舞者、现场艺人和音乐教师。他们正把排练版本搬到舞台或课堂展示。此时动作已难大改,却仍需切音轨和调效果。固定机位下的反复排练,也给了系统校准和排错的机会。
最小切入点
浏览器端可用 MediaPipe Pose Landmarker。它能从视频返回身体关键点与可见度。S2 先限定单人、固定机位和完整身体入镜。用户为每个动作录制数次示范。系统按关键点序列做归一化与相似度比较。再用留一验证找出易混动作和稳定关节。正式模式只保留切换、渐变等四类控制。输出走本地 MIDI,音频仍交给现有 DAW。
以小博大
第一批用户可从编舞教师和现场电子艺人中寻找。用同一段舞蹈做误触前后的对照短片。公开视频重点展示排练诊断,而非普通手势炫技。再提供可下载的 Ableton 曲目配置,促使用户带着现成作品试用。
竞品与缝隙
怎么赚钱
按曲目配置收费。免费版可保存一套配置并用于排练。付费版解锁更多曲目、演出模式和录像复盘。
反方视角
误触一次就可能破坏整段演出。相似转身、宽松服装和肢体遮挡都会改变关键点。灯光、镜头高度和舞台距离也会让排练配置失效。为降低风险,用户必须反复录样和校准。这个准备过程可能比踩踏板更费时。持续显示置信度又可能分散表演者注意力。若无法提供可预期的降级方式,专业用户不会把关键控制交给它。