摄像头隔空合奏
课堂或视频活动开始时,把每个人的摄像头动作变成一个乐器声部,几分钟内组成可同步演奏的隔空乐队。
音乐老师带一班学生上远程课,或活动主持人面对一群没有乐器的人时,常常只能让大家轮流拍手。这个网页房间把每个人摄像头前的手臂、手掌或身体移动,转换成一个可听见的声部:抬手改变音高,左右移动改变节奏,靠近镜头则加重音量。
进入房间前,每位参与者做一次十秒校准,标出自己舒服的活动范围。系统按这段范围映射控制区,因此坐着参与、手臂活动有限的人,依然能完成完整旋律或节奏。老师可以把音符限制在一组和谐音阶里,避免第一次尝试就演成杂乱噪声。
房主将参与者分成鼓点、低音和旋律几个声部,还可在进行中把某人推到独奏位。画面上只显示简单的动作提示与当前节拍,声音经过同步处理后回到所有人的耳机里。活动结束后,每人能保存自己参与的声部片段,房主则得到整段合奏录音。
首版适合浏览器中的小班课堂、康复活动和线上破冰,先提供固定节拍与预设音色。它不试图替代专业乐器,而是让一群陌生人打开摄像头后,几分钟内真的合奏出一首完整小曲。
为什么是现在
一条 8 月 19 日的 Air Theremin 帖展示了用摄像头挥手演奏;截至 8 月 20 日记录为 243 points、83 comments,并位于新品流第 9 位。S1 讨论里既有人肯定响应,也有人遇到摄像头启用和追踪问题,使多人房间的校准、容错与隐私处理成为眼前问题。S1
目标用户
核心用户是带领小班远程音乐课的老师,以及线上破冰或康复活动的主持人。课程刚开始、参与者没有乐器或能力差异明显时,他们需要迅速安排人人可完成的共同任务。此时逐个教键盘会拖慢节奏,自由拍手又难形成作品。按个人活动范围校准后,带领者能立刻分配声部,让全组听见可辨认的合奏结果。
最小切入点
用 MediaPipe Hand Landmarker 读取摄像头视频中的手部关键点;官方提供 Web 与 JavaScript 包,并支持逐帧处理视频。S2 坐姿或大幅身体动作可后续接入 Pose Landmarker,首版先收窄到双手和上半身中心点。校准阶段记录每人的舒适范围,再归一化为音高、力度和节奏参数。声音由 Web Audio API 在本地合成,房间仅传输时间戳、声部和控制值。统一节拍由房主端下发,客户端按未来拍点排程播放。先提供固定速度、和谐音阶和少量音色,暂不传输连续音频。
以小博大
第一批用户可从远程音乐教师、线上团建主持人和康复活动带领者中寻找。用一个可直接加入的公开体验房,展示没有乐器的参与者完成短曲。再提供按人数和动作幅度设计的现成活动脚本,让带领者无需编曲。参与者导出的个人声部片段可带回课堂群或活动群,形成自然的二次展示。
竞品与缝隙
怎么赚钱
按房主订阅收费,参与者通过链接免费加入。基础版提供少量房间与合奏导出,付费版增加班级管理、更多预设曲目和录音保存。康复机构可按带领者席位购买,不按参与者人数计费。
反方视角
摄像头追踪会因光线、遮挡和手掌转向而短暂失效,错误音符会立刻破坏节拍。Air Theremin 的作者也提到暗光、低帧率和手掌消失带来的取舍。S1 多人合奏还受网络抖动影响,若直接传连续动作,听感容易忽快忽慢。儿童课堂和康复场景会放大摄像头权限、录制同意与数据保存压力。本地处理能减少视频外传,却无法免除房主对录音和参与者身份的管理责任。若校准仍需老师逐人排错,原本几分钟开场的优势就会消失。