新闻动态

ACT TALK | 艺术•创造力•科技讲座系列第六讲 科技创造力之声音艺术的感觉与想象

发布时间:2017-11-14浏览次数:92

2017年10月25日晚,由清华x-lab主办的“ACT TALK | 艺术·创造力·科技讲座系列” (以下简称ACT TALK)于清华大学经管学院伟伦楼409教室迎来了第六讲。本次讲座由清华电子系教授、博士生导师窦维蓓老师和其弟子清华电子系97级校友、米谟科技创始人向奕裴担任本讲主讲人,师徒二人开展了题为“科技创造力之声音艺术的感觉与想象”的互动式课堂,与清华各院系师生、行业专家、风险投资人等各界人士一同分享他们关于声音艺术与电子科技的跨界故事。

开幕:专业知识与创业思维并重

本次课堂由清华x-lab文化与体育创新中心主管、ACT TALK负责人兰天老师担任主持,清华大学经管学院清华x-lab执行主任毛东辉老师致开幕词。

毛东辉老师首先分享了清华x-lab的教育理念。“在清华,大量的理工科学生在专业知识的过程中,成长为一条腿非常强的人才,就是专业技术方面,但在商业理念、商业认知等方面是非常缺乏的。所以一条腿强不够,我们希望通过搭建清华x-lab这样一个平台,提供更多关于‘三创’的教育内容,来帮助同学们把专业技术和商业理念和思维相结合,能够往前走。”

此外,毛东辉老师指出,应辨证地看待创新创业中的冒险精神。“清华x-lab并不是一个鼓励学生去冒然创业的地方,我们只是希望能够整体上提高同学及大校友对于创新创业的认知和理解,同时也希望大家打开脑洞,激发创意和想象力。所以ACT TALK也是在此意图下发起的一个系列课堂,希望大家不只局限在原有专业,而是走进经管学院等不同院系、场所,探讨一些跨界的话题,从而激发出更好的创新。但我们学生的冒险精神、勇敢走出第一步的勇气其实还是挺欠缺的,有些同学在清华x-lab平台上兜兜转转已经不止一年了,但就是不敢迈出第一步、不敢走出校园。其实勇敢的去做一下,哪怕做一个最基本的组织、一个产品、一个项目,这个过程中的体验对自身能力的培养,是远远大于不做的。”

窦维蓓:科技和艺术结合,可以实现质的腾飞

窦老师一直在从事交叉学科的科研与教学,目前在清华大学电子系电路与系统研究所。在研究所里,窦老师是一个唯一不做电路的教授,而是以系统为主,原是数字电视系统,继而又做数字音频广播,现在跨到医学影像处理。她所在的实验室叫多模态数据处理系统实验室,多模态信号的优势就是融合,信息的融合提高了决策的效果。做跨界同样也是融合的概念。

科技和艺术融合,可以实现质的腾飞。在音频压缩的研究过程中,她深深体会到声音艺术和科技创新的密切关系。“在世界上,做音频压缩的人非常少。当工程师处理出来的结果需要听效果,但很多人对声音没有感觉。最后处理了半天听不出来效果,不知道自己的算法到底有多好、有多大的改进空间,有多少创新价值。在我们国内也是一样,我在AVS做音频专题组的组长,每次开会只有几十个人,但视频组每次开会都是上百人。” 可见学科交叉有时确实需要艺术方面的潜质。

窦老师讲了她在研制音频行业标准中的故事。中央电视台的录音师制作了声音效果非常好的音频,但是传输到家庭电视接收端后,只是十分简单的立体声。录音师辛苦的创作没有得到很好的还原和展现,尤是遗憾。所以广电总局希望我们制定一个标准,能够在家庭影音中还原录音室的制作。虽然是技术标准,但却是艺术的需求,给录音师听,这就是艺术和技术的结合:艺术要靠技术才能够展现出来,没有很好的技术就展现不出来;同时,技术就是由艺术提出需求,来使得我们的技术能有创新的创造。

声音如何成为艺术?我们能够感知到声音里面的内容和情感,而不只是声的波动。声音艺术的主体就是听音者。从音乐来讲,可能就是听音者的感受,重视他们主动聆听。其创作工具包括录音设备、电脑、效果器、采样器、唱盘、音频工程、传统乐器等,其欣赏工具包括耳机、扬声器、音乐厅(听音环境)等,如教室装有吸音设备,我们从而能够听到清晰的声音。所以,在生活中都可亲身体验声音和技术之间的关系。说到声音艺术与音频技术就会提到音频,我们常说就的是电声。音本来是机械波,采录之后转换成电信号的声音,叫电声。音频工程包括电声换能技术、音频信号处理、信息检索、存储和传输、接收和回放等整个一套系统。声音艺术创作后用麦克风采集,采集后要在有限的空间内存储,存储和传输都需要压缩,最终聆听端解码、回放、扩音,整个这一套就是音频工程。

音频的处理质量要靠人的感觉来评价,所以音频创造的原动力来自于对音频艺术的感觉和启发。窦老师又从听觉生理系统、耳蜗滤波与听觉皮层综合、物理刺激与听觉感知等层面逐级分析,指出心理声学、物理刺激和听觉感觉的相互关系,提出评价音频技术的金标准是声音的感觉,即主观的标准。它对音频技术性能提出要求,通过由不同人群对不同音频材料的试听,对比处理前后的声音质量,按照声音质量损失的程度评分,包括保真度、自然度、清晰度、易懂度这四大指标。同时,窦老师也提出听觉感知对音频技术有很多启示,如耳蜗滤波特性可以用于Gammatone听觉滤波器组,双耳效应可以在空间声学层面用于虚拟现实,遮蔽效应可以用于感知音频压缩,鸡尾酒会效应可以用于音频场景分析等等。

2000年,曾有两个学生找窦老师做毕业设计的导师。他们都是清华乐团的骨干,一个是做MIDI制作的、另一个既做音乐制作又做演奏。MIDI制作这位同学当时是窦老师的硕士研究生,现在是北京电影学院录音系的教授,他的音乐特长和技术结合在一起,使他能够很好地发挥才能。另外一个就是向奕裴同学,当时他准备去美国攻读音乐专业的硕士和博士,随后一直致力于电子音乐领域。他目前在这个领域里做了创意、创新和创业,不愧是交叉学科的人才。

向奕裴:在科技与泛娱乐中自由跨界

向奕裴曾是清华交响乐团的木管首席,非常喜欢音乐和任何跟声音有关系的东西,本科毕业于电子系后,选择了赴美继续深造电子音乐专业。他刚入学时十分关心自己的专业今后到底是干什么的。教授鼓励他去图书馆找几篇文章好好看看,自由地去探索,充分利用资源、找到有兴趣的东西后,再来寻求帮助。毕业后向奕偶然进入高通,负责手机音频系统设计架构以及声音的后期处理,回国后创立了米谟科技,做VR应用、3D声音压缩以及音频编辑器等一系列基于硬件软件算法的产品开发及推广。

向奕裴谈到跨学科专业和跨学科思维:“跨学科专业比较艰难,一定要小心,不要希望在跨学科专业中间立刻找到什么应用方向;不过跨学科思维要随时都必须具备,因为跨学科思维可以带来不少启发、突破很多壁垒,这种思维方式需要一直锻炼、是可以不断得益的。”

向奕裴与师生们分享了三个跨学科思维的故事。1、诺基亚工程师曾以多年的思维定时来思考当时刚面市的iPhone。他买来后摔到地上,看到屏幕碎了,由此认为苹果手机不足以为惧。最终,诺基亚被载有触摸屏、APP等新功能的苹果手机抢超。2、在iPhone1时代,苹果相机的运行技术不比其他品牌的手机,拍摄延时问题比较严重。高通工程师将老式相机孔缓慢关闭和张开的特效植入拍摄过程,通过模拟相机运行的美感,以弥补技术上的落后。这两个故事从不同角度说明了当技术缺憾难以克服时,工程师可以通过“欺骗”人的直观感觉,从而提升用户体验。第三个故事是 “钢铁侠”马斯克计划在地下修建可通行汽车的隧道,他没有盲目听从行业专家的说法,而是凭借跨学科思维突破行业壁垒。

米谟科技主要围绕着科技与泛娱乐创新以及开拓市场。向奕裴认为用户的感受最为重要。谈到声音在空间上升级的一般历程,现在VR/AR/MR都需要创造虚拟的声音环境,通过沉浸式加互动体验,从而构成XR声音。

关于米谟科技目前的产品和服务,首当其冲便是米谟全景声SDK,播放时不需要配备特殊的耳机,克服延迟、功耗、接口上的技术障碍,为优酷、暴风墨镜、Allwinner、三星等公司提供播放器集成、芯片映像集成、游戏引擎集成等技术;其次是基于HTC Vive的米谟 VR 音频工作站,可以让录音师在VR环境中直接编辑三维声音,极大缩短了三维音频的制作周期;此外,米谟科技推出的全球最小的Ambisonics全景声麦克风,可以和异地亲人、情侣3D对话交流。(Ambisonics是米谟科技产品的重要技术之一,原理是基于纯物理的分量,把空间中某个球面的声场振动还原出来,分量越多声场就越清晰。)最近,米谟科技为喜马拉雅的小雅AI音箱设计亲切的女声开机音,专为宅男用户设计,使他们居家感到十分亲切。

向奕裴最后说道:“我觉得音频这个领域很有意思,有一半的科技,有一半的感受。感受的东西实际上还找不到数学模型准确地描述。工程师最怕没指标,但音频中很多感受的东西是开放的。如果有一天主观的标准可以测量、用数学方法再精细概括就厉害了,我期待那一天的到来。”

Q&A

Q1:我们一直在关注VR,之前去过高通835芯片发布会,请问应用到手机上中间还需要怎样的过程?

向奕裴:835的芯片应该是我们那个组做的。现在VR技术与市场的结合度以及出货量没有问题,如高通已经发布,一般经过一到两年的测试,在技术上应该是成熟的。835芯片可能是给一体机用的,目前Google以及微软的VR已经放到操作系统层,发布出来的手机可以直接以操作系统方式支持VR;而高通更可能给予一体机直接支持。应用上,最后还需要看如何打通产品及用户市场。

Q2:目前VR技术的难点是如何介入C端市场吗?

向奕裴:目前VR面临的挑战确实是如何进入每个家庭,让用户使用起来觉得很舒服,喜欢沉浸其中。技术已不再构成壁垒,是非常成熟的。目前技术能够把VR做出来没问题,但在用户体验上还是差一大截,毕竟戴了一大块屏幕在脸上会感到热和晕以及眼部不适,可以说 VR进入C端市场的确是有挑战的。

Q3:我是清华建筑学院九字班的,本科辅修经管学院的双学位,现在一家投资公司工作。我想VR在技术层面上是十分成熟的,而投资界比较关心市场,目前我国有哪些更深层次的市场应用,以及未来前景如何?

向奕裴:例如VR全景声的市场处于种子用户期以及科技爱好者的先行期,肯定还未到大市场。各类设备里都会涵盖,音频的芯片方案直接跟硬件出货量成正比。Q4:我是清华x-lab创业团队的主要成员,作曲专业出身,并从事电子音乐创作十余年。听闻现美国不少大学让学理工科的学生都要懂音乐、学音乐,这种思维转换对将来整个科技领域人才的培养非常重要,我发现您就是这样一个人才。我很想知道您从电子专业后转到电子音乐制作专业攻读硕士和博士的心理状态转换是如何的?

向奕裴:音乐让人享受的原因不是在于听者一定要懂得音乐如何构成、或是知识型的懂音乐,而是感受到音乐的美,从另外一个维度细腻地体会和理解,从中感受愉悦和丰富的人生的体验。我到美国之前在清华学理工科的同时也十分热爱音乐,做过不少音乐领域的事情。一个是在交响乐团演出、一个是在校外做音乐编曲。之后我去美国学录音和音乐制作,发现对电脑和的跨界很感兴趣。我的教授是个数学家,他把很多模拟音乐的合成全部数字化。同时,UCSD作为加州大学圣地亚哥分校,恰好是非常前卫的一个音乐学校,我们的演出一般是实验艺术,很多“作品”是没法听的,但确实是一种值得尊敬的探索。音乐并不是一定要分成音乐、噪音或是其他,所有能发声的东西,只要以某一种方式组合,给予人们一个美的体验,都可以是音乐。

早年学音乐的时候基本都是较为感性的认知,要通过灵感调控情绪。开始做电子音乐之后,我发现从理工科的思维角度再看音乐的话还挺有意思的,能够用不同的维度把音乐拆分开来,对音乐构架和本质的认知又加深了。很多人把音乐跟建筑相互比喻,说建筑是凝固的音乐,音乐是文化的建筑。音乐有它的建构,但与理工的东西不太一样,是一个开放性的结果,没有绝对的对与错,无关听懂或听不懂,更不会说该如何去听一首歌。这相当于三度创作,一度是作曲家创作,二度是演奏家,三度是听众。曾有一个作曲教授说过不要过分强调灵感,灵感是随处可见的,看书可以,撞到墙也可以。灵感有了,反复练习找到方法论,带入到实际过程中训练和重复同样关键。创业也是一样,我的创业导师说现在去街上抓一个人就可以给你一个点子,但真正重要的是执行和对事物的认知。

Q5:您的声音技术应用基本都在娱乐和艺术方面,我认为您这个方向在工程上也可有不少应用。例如我们制造汽车的时候,目前前后雷达的区分只是音调不同。因此,3D声可在自动驾驶方面应用,对障碍物的识别比雷达区分音调会更直观一点。另外,我们在工业操作上也希望通过消噪去掉背景音,您的3D麦克风也可以予以应用。

向奕裴:对,工业上有应用更好。确实是感知的问题,感知与声音位置对应起来是很有意思的。

清华x-lab执行主任毛东辉老师开展延续探讨:我们在以色列交流的时候接触到一家做消噪的公司,所运用到的技术原理十分简单,即用声波去抵消杂音的声波。据我们所知,这个公司业务发展非常快,拿到了风险投资,商业合作开展得也十分顺利,谈一个成一个,目前还未开展到中国来。

Q6:我在经管学院做创新、创意、创业方面的教学培育工作。窦老师名师出高徒,培养了很多像向奕裴校友一样对科技(理性思维)和艺术(感性思维)相互融通的人才。作为电子系的教授,您觉得高校学生需要具备哪些素养、从而成为有创造力的跨界人才?

窦维蓓老师:其实我在1986年的时候就跨界社会学、心理学,出过一本研究科技人才修养的教材。跨界基于知识、技能和能力这三个层次:首先,学生们需要拥有宽广的知识为跨界打基础,然后还需要接受跨界的技能训练,和知识结合在一起,最终实现能力的提高。我在整个教学生涯过程中对此深有体会,有的老师说我对学生的管理太松了,但我感觉是要创造一个相对宽松的环境,因材施教。我会跟学生聊他有什么样的特长、他的知识结构,他的兴趣爱好、他今后要发展做什么,我再给他选题的建议。培养人才是我们的主要任务,我们教授做研究开创了一个领域、是给学生提供一个平台,而不是做成一个工作坊、让学生给我们打工。为学生提供一个方向,引导他们在这个领域去培养自己的技能和能力。

关于“科技”,除了理性分析与研究以对,还可以在艺术的驱动下感受与想象便是窦维蓓教授与向奕裴校友所传达的关于创造力诞生的重要理念。正是在“理性”与“感性”有意无意的碰撞下,创造力不断被锻造,赋能我们每一个人。在ACT TALK的课堂上,不同院系学科背景的师生、行业专家、投资管理从业者,以既有与崭新的视角思索并共同探讨着,亲身体验着、感受着艺术与科技交织出的美好,激发我们的想象,在创新之路上砥砺前行。

文 | 张小雨、兰天