미술사 관점에서 본 미디어로서 가상현실

Virtual Reality as Media from Art History Perspective

오경택 (번역: 윤지영)

기술이 발전함에 따라 우리는 물리적 세계에서 경험할 수 있는 예술, 창작, 헤리티지와 관련된 다양한 활동들을 가상(디지털) 플랫폼에서도 쉽게 접할 수 있게 되었다. 그 중에서도 디지털 문화 맥락에서 가상현실(VR)은 최근 많은 주목을 받고 있다. 불과 30여년 밖에 되지 않았음에도 불구하고 디지털 헤리티지와 헤리티지의 디지털화는 이미 우리 삶에 자연스럽게 자리하고 있고 관련된 연구와 문화활동이 활발하게 이루어지고 있다. 사실 동시대 사람들은 예술 작품을 감상할 때 대부분 인터넷 속, 가상 세계에 있는 디지털화된 예술 매체에 의존한다. 그 일례로, 우리는 친구들과 채팅을 하거나 예술적 관심사를 공유하는 것과 같은 방식으로 소셜 미디어에서 예술 작품을 검색하고 예술가를 팔로우 하여 그들의 활동을 쉽게 엿볼 수 있다.일부 사람들은 자신이 생활하고 있는 물리적 환경이나 매체가 아닌 가상 매체를 통해 시각적, 문화적 정체성을 확립하기도 한다. 이처럼 우리의 예술 생태계는 물리적이고 실제적인 환경이 아닌 디지털 세계에 상당 부분 의지하고 있다. 가상 미학 철학자인 Grant Tavinor는 이런 현상을 가상으로의 전환(virtual turn)으로 정의하며 “가상현실 미디어가 사용자로 하여금 실제 존재하는 환경이 아닌 다른 환경을 경험하는 듯한 인상을 받도록 하는 방식” 이라고 했다.

예술철학은 예술의 미적 경험을 탐구하는 철학의 한 분야이다. 특히 1970년대 이후 예술 철학 분야는 회화적 표현, 가상과 상상력, 예술과 감정의 관계, 예술적 존재론, 예술의 가치, 미적 특징과 같은 문제에 대한 철학적 이해를 다루며 예술과 관련한 중요한 주제를 규합했다. 이러한 철학의 이론적인 실천은 VR의 현안과 일상생활의 통합에 깊게 연관되어 있다. VR은 발전한 미디어의 한 형태로서 미학적, 시각적 가능성을 내포하고 있기 때문이다.

이 에세이에서는 미술사와 미학에서 논의된 이론을 통해 VR의 기술적인 발전에 따른 이론적 방향성을 디지털화된 시각문화 형성과 관련하여 탐구하고자 한다. VR은 실제와 가상의 (디지털화 된) 공간을 구성하는 수단으로 작용하여 예술, 헤리티지와 관련된 매개체 역할을 하고 공간 체험 자체를 전달 하기도 하며, 독특한 미적·예술적 실천을 가능케 하는 역할을 하기도 한다. 따라서 VR 미디어에서 회화, 사진 등 다양한 형태의 헤리티지에 대한 역사적, 개념적 관계, 그리고 VR에 내재된 상호 작용성이 어떻게 우리의 예술적 경험을 재구성할 수 있는지에 대해 질문하고자 한다.

Virtual Reality as Medium and Remediation

“가상성(Virtuality)”이라는 용어는 광범위하고 비일관적으로 사용되고 있다. 따라서 우리는 먼저 “가상성”의 개념을 명확히 할 필요가 있다. Jay David Bolter가 제안한 바와 같이, 가상(Virtuality)은 재매개라는 용어로 해석할 수 있다. 재매개란 어떤 물체가 사용자에게 친숙하지 않거나 사용자가 알지 못하는 형태로 수정되는 것을 말한다. 이러한 관점은 우리가 어떤 물체와 그 물체가 미디어화 된 것 사이에 가상의 연결지점을 정의할수 있음을 시사한다. Tavinor는 Pawwel Gravarkzyk의 논문을 빌려, 가상화(virtualization)를 하나의 온톨로지 영역이 다른 온톨로지 영역으로 완전히 수정되는 것이라고 설명했다. Gravarkzyk는 ‘가상(virtual)’은 한 물체의 비물리적인 형태로 여겨지며, 재매개의 본성 자체가 비물리적인 것이라고 주장한다. 그러나 그의 주장에 따르면 가상(virtuality)이란 어떤 물체의 비물리적인 형태이며 재매개의 본질은 비물리성를 띈다. 따라서 재매개에는 비현실성(unreality)이 섞여있는 것이다. 이를 피하기 위해서 우리는 재매개의 형식이 비물리적인 것이 아니며 물체의 매체가 변하는 것으로 규정해야 한다.

재매개가 이루어지면, 재매개 되는 물체는 다양한 매체/미디어에서 실체화(instantiated)된다. 그러나 우리는 이 때, 가상 환경에서의 모든 행동이 현상 또는 일시적 이미지(still image)로 간주되는 경향을 볼 수 있다. 가상화는 크게 복제(reproduction)와 표현(representation)으로 나타나는데, 복제는 어떤 물체를 그대로 가상에 복사해서 붙여놓은 것을 말한다. 이 경우에는 복제된 원본의 사회적, 문화적 맥락, 개인의 감상 영역 등 기능은 고려하지 않는다. 표현은 복제된 원본의 사회적, 문화적 맥락, 개인의 감상 영역 등의 기능을 고려해서 가상에 올려 놓을 것은 의미하는데, 이 때에 중요한 것은 해당 원본을 가상으로 재매개한 목적에 따라 복제된 물체가 원본과 달라지거나 새로운 형태로 나타날 수 있다. 사실상 가상의 공간은 어떤 목적을 가지고 의도된 공간이기 때문에 감상자로 하여금 그들이 경험하고 감상할 수 있는 영역을 의도적으로 한정한다. 그러나 재매개는 사용자가 정의하는 형식이 되어서는 안 된다. 재매개의 과정을 거친 후에 원본이 가진 기능이 유지되더라도, 재매개가 단순 복제나 복사가 되는 경우에 관람자의 감상과 경험을 제한할 가능성이 높기 때문이다. 재매개된 물체는 반드시 그 본래의 기능을 유지하고 있어야 한다. 가상화는 보편적으로 가상화된 아이템의 기능에 대한 수정가능성 포함하고 있는데, 만일 재매개된 물체가 본래의 기능을 유지하지 못한다면 해당 물체의 복제나 표현은 불가능할 것이다. 가상의 아이템이 그 원본의 기능을 잘 유지해야 하는 한 편, 가상화된 물체의 구조와 본래 기능의 부차적인 측면, 즉 원본을 현실에서 마주하는 것과 같은 다양하고 개인적인 감상과 경험의 측면은 재매개화를 통해 설계된다. 따라서 가상화는 물체의 복제와 표현 사이에 위치한다. 그러므로 재매개화가 물체의 물성을 개선하여 나타낼 수 있는 한편, 이는 단순히 원본이 재생성되는 것으로도 여겨질 여지가 있는 것이다. 반면에, 원본의 물성이 가상에서 구현 되어 사라진 경우에도 그 매체가 가진 본래의 구조와 기능은 유지된다. 기능을 가진 물체나 행위는 특정한 목적을 위해 새로운 물질로 전환되지만 질적 감상의 관점에서 이러한 전환은 물체의 본질이 보존되지 못한다는 명확한 한계로 나타난다. 다시 말하자면, 헤리티지를 새로운 물질로 전환하여 복제하는 경우에 해당 헤리티지의 구조는 상당부분 유지되기도 하나, 헤리티지로서의 다양한 기능을 내포하지는 못하는 것이다. 이처럼 재매개화는 물리적 물체의 기능들을 완전히 복제하지는 못하므로 가상화된 물체는 미학적이고 문화적인 가치가 현저히 부족하다.

그러나 우리는 우리에게 너무나 친숙한 디지털 미디어인 컴퓨터를 통해 가상화를 쉽게 접하고 있고 이에 익숙해져 있다. 컴퓨터가 인풋, 아웃풋 기기와 연결되어 있을 때, 우리 일상에서 찾아볼 수 있는 다양한 물체와 어떤 과정 또는 행동이 갖는 기능적인 효율성 같은 것들을 모니터를 통해 가시적으로 확인할 수 있다. 게다가 컴퓨터는 본질적으로 계산을 통해 어떤 기능을 가진 인공물을 수정하는데 매우 적합한 도구이다. 따라서 컴퓨터 계산과 가상화 사이의 연결지점이 발생하는 것은 매우 자연스운 일이다. 하지만 어떤 물체를 가상화한다는 것은 컴퓨터가 할 수 있는 계산의 영역보다 훨씬 더 고차원적인 과정이다. 컴퓨터는 논리적이고 계산적인 작업을 수행하거나 주어진 문제를 풀고 결과를 내놓는 기계일 뿐이다. 따라서 우리는 컴퓨터 계산을 통한 가상화를 가상화라는 큰 영역의 하위 범주에 포함해야 한다. 이 하위 영역은 컴퓨터의 기능적이고 구조적인 특성 또는 컴퓨터라는 매체를 통한 가상화를 포함한다. 가상화는 분명 컴퓨터가 할 수 있는 계산의 영역을 넘어선다. 하지만 그럼에도 불구하고 컴퓨터로 구현된 가상세계는 우리 삶과 문화에 매우 큰 영향력을 미치고 있으며, 그 잠재력 또한 매우 크다. 

Tavinor는 가상의 물체가 우리에게 익숙해지면 처음에는 가상으로만 나타났던 것이 실체화(virtually manifest) 되는 성향을 갖는다고 주장한다. 가상화는 반복적인 과정이다. 사진 또한 물체를 가상화하는 기술이지만 수십년간 반복적으로 사용되었기 때문에 사진을 통해 예술작품을 포착하는 기능에 대해 분석하는 것은 불필요한 일이다. 미술사의 관점에서 보면, 사진술은 어떤 목적을 위해 원본이 가진 문화적인 가치를 보존하도록 의도하는 특징을 가지고 있다. 가상화와 관련된 재매개의 특성은 가변적이며, 주어진 시대에 사용할 수 있는 미디어의 종류에, 그리고 그 시대에 목적을 달성하기 사용하는 관습적인 방법에  의존적이다. 새로운 것의 등장은 특정 시대가 기술적인 어려움에 직면했다는 것을 의미하며 가상성은 줄곧 문화 발전을 의미해왔기 때문에 이와 같은 과정은 원시적인 양상으로도 볼 수 있는 것이다. 

Virtual Documentation and Virtualized Objects

VR 영상 기술은 물리적 세계를 기록하고 보존하는 역할을 한다. 가상현실 기술이 물리적 세계를 인지하기 위해 또는 실제 공간에 있는 사물을 복제해서 상호작용하기 위해 사용될 때 Whitney David가 정의한 가상 이식(virtual prosthesis) 개념, 즉 물리적 세계를 가상에 이식하여 표현하기 위한 수단으로 기능한다. VR은 가상화 된 물체의 표면과 그 물체를 구성하는 공간이 주된 관심사가 되는 공간이며, VR 이미지의 표면을 예술적으로 보여주고 예술적인 가치를 내포하기 위해서 사용될 수 있는 기술이다. 물리적 세계가 혼합 현실 또는 증강 현실을 통해 표현되었을 때, 물리적 세계의 표현 위에는 시각적 요소나 정보 또는 공간적 배치와 같은 그래픽이 증강 되기도 한다. 이 외에도 다양한 VR 기록 양상이 존재하기에 향후 시간이 흐름에 따라 VR이 가진 가능성이 확인되면 우리는 VR 기록을 더 자주, 다양한 방식으로 사용하게 될 것이다.

이제 우리는 가상/디지털로 기록된 유산은 무엇을 의미하는지 살펴 볼 필요가 있다. 우리가 어떤 헤리티지를 기록할 때, 단순히 그 헤리티지의 원본이 갖는 본래의 목적을 따를 수도 있지만, 가상에서의 기록은 해당 데이터가 제작되고 있는 상황에 기인한다. 반면 우리가 앞서 복제에 대해 다루었던 것 처럼 실제성(actuality)은 무엇이 진짜인지, 즉 무엇이 우리의 상상력이나 환상을 배제한 채 진실된 실체로 남을 수 있는지와 관련이 있다. 그러나 이러한 견해는 유산을 소비하는 역사적, 사회적 방식에 따라 달라질 수 있다. 더불어, 어떤 헤리티지를 가상화하여 보존한다는 것은 그 헤리티지가 원본의 모습을 그대로 유지할 수 없음을 시사하고, 사실을 바탕으로 한다 하더라도 허구나 과장이 섞일 수 밖에 없는 다큐드라마 처럼 이미 보존되어있는 헤리티지나 기록된 문서들이 항상 진실 만을 말하지 않는다는 점을 기억해야 한다. 그러나 Derek Matrabus가 가상(fiction)과 비가상(non-fiction)의 구별 자체가 가능한지에 대한 의구심을 품었고, 특히나 그 둘을 구별하기 위한 해석을 취하는 것에 회의적인 입장이었던 것처럼 원본 헤리티지와 재매개를 통해 복원된 헤리티지를 명확하게 구분지을 수도 없다. 나는 Matrabus의 의견에 일부 동의하기는 하나, VR과 디지털화된 헤리티지가 문화적으로 가치 있는 만큼 경제적으로도 이익을 가져다 줄 수 있음을 언급하고자 한다. 왜냐하면 VR과 디지털화된 유산은 동시대의 문화적 소임을 지닐 뿐만 아니라 재매개화를 통한 특정 목적을 달성하기에 적합한 매체이기 때문이다.

VR을 통해 문화유산을 보존한 대표적인 예시로 Google Arts & Culture Open Heritage Project가 있다. Open Heritage는 웹 사이트와 VR HMD를 통해 사용하여 사용자로 하여금 항공 사진과 3D 캡처 기술로 복원된 세계 문화 유산을 체험할 수 있도록 한다. 사용자는 VR 컨트롤러를 사용하여 유적지 사이 사이를 돌아다니고 상호작용 할 수 있다. Open Heritage를 경험하는 동안에는 사용자를 위한 설명이 제공되어 해당 유적지에 대한 교육적 효과를 또한 얻을 수 있다. 이러한 측면에서 Open Heritage를 탐험하는 것은 단순히 유적지가 위치한 지역을 지구본으로 보거나 책을 읽는 등의 활동보다 더욱 실제적이라고 말할 수 있다. 더구나 3D로 복원된 유적지를 경험하는 것은 당연하게도 2D 이미지를 보는 것 보다 더 실제에 가까운 경험을 제공한다.

이 글에서 언급한 미학적, 철학적 주제와 완전히 부합하지는 않으나, VR의 광범위한 사용에 대해서도 잠시 짚고 넘어가고자 한다. VR이 여러 분야에 적용될 수 있는는 것은 VR이 가진 근본적인 특성과 관련이 있는데, 특히 VR이 예술작품 감상의 목적으로 사용될 때, VR 환경에 놓인 이미지는 단순 허구이거나 기록에 불과한 것이 아닐 뿐 더러 물리적 세계와 상호작용하기 위한 목적으로 만들어진 것도 아니다. 재매개된 것을 체험하는 것은 이미 사전에 설계된 VR 환경에서만 가능하기 때문에 VR 환경에서의 예술작품 감상은 감상자의 보는 행위(viewership)가 VR 경험으로 대체되는 양식인 것이다.

Virtual Art and Aesthetics

위에서 언급했던 것 처럼 VR은 예술의 맥락에서 사용되기 위한 특성을 갖추고 있다. VR은 예술을 목적으로 이미 많은 예술가나 전시기획자에 의해 사용되고 있다. 따라서 VR이 예술성을 가진 매체로서 잠재력이 있다는 것은 기성사실(旣成事實)로 받아들여진다. 대표적으로 영화나 디지털 아트는 VR로 표현할 수 있는 예술 장르이며, 허구와 기록 또한 예술을 목적으로 사용될 수 있다. 매체 자체로서의 VR을 예술의 관점에서 다시 보자면, VR이 행위의 매개체가 될 때 예술의 영역 안에서 VR의 특성이 얼마나 더 수용될 수 있을지에 대한 호기심이 인다.

VR 환경에서 창조적인 활동을 하는 동안에 사용자는 VR 환경 속에 위치한다. 예를 들어 VR 페인팅 어플리케이션을 통해 다양한 가상의 도구로 3D로 작품을 만들 때, 예술가들은 가상의 공간 한 가운데에 위치하게 된다. 이는 단순히 예술작품이 자신의 주위에 놓여 있는 것 그 이상의 의미를 가지고 있다. 작품을 제작하는 과정과 그 과정에서 제작되는 작품이 3D로 표현되는 것을 감안하면, 이러한 창조활동은 ‘가상 조각(virtual sculpting)이라 명명하는 것이 더 적합해보인다. 

VR은 행위를 전달하기 위한 매체로도 활용될 수 있다. 페인팅이나 영화같이 명시적으로 기록된 형태로 나타나는 예술 장르와는 달리, 행위 예술은 예술가의 행위 자체가 예술의 가치를 나타낸다. 이것이 가상현실에 구현될 때 감상자는 예술가의 행위가 아니라 예술가의 행위가 구현된 가상의 물체를 감상하게 된다. 이런 방식을 통해 감상자는 행위 예술가와 멀리 떨어져 있는 상태에서도 행위 예술을 감상할 수 있다. Smith에 따르면 춤은 가상 환경에서 표현될 수 있는 대표적인 장르 중 하나이며, 이미 가상 현실에서의 춤은 유구한 역사를 가지고 있다. VR에서 행위 예술을 감상하는 방식에는 크게 두 가지가 있는데, 하나는 방 하나 크기의 공간에서 예술가의 행위를 추적하여 가상 공간 안에 실시간으로 선보이는 방식이고, 다른 하나는 증강된 행위에 그래픽을 덧씌우거나 감상자와 상호작용할 수 있는 요소를 만들어 주는 방식이다. 예를 들어 미국인 애니메이터 Cecilia Sweetcall은 모션 캡쳐를 사용하여 VR 3D 애니메이션인 Annika를 제작했다. 이 외에도 감상자와 상호작용하여 음악을 만들어 내는 가상 악기를 활용하는 등의 행위 예술이 VR로 제작된다. 이렇게 VR은 상호작용을 포함하거나 포함하지 않는 방식으로 예술작품을 전달하는 매체가 되고,  공간을 뛰어넘은 작품 감상을 가능케 한다.

작품 제작 이외에 VR로 작품이 묘사되는 것을 미학적으로 감상하는 것 그 자체에는 어떤 의미가 있는가? 우리가 전통적인 방법으로 작품을 볼 때에는 당연하게 여기던 물질이 가진 빛을 반사하는 성질은 VR 환경에서는 적용되지 않는다. 따라서 VR로 페인팅 작품을 감상할 때는 작품의 표면에 집중해서 관찰할 필요가 없으며, VR을 통해 작품을 감상하는 사람 또한 작품의 표면을 미학적으로 바라보지 않는다는 것은 꽤나 흥미로운 지점이다. 이 지점에서 우리는 VR 감상에 대한 두 가지 의문을 제시할 수 있는데, 하나는 VR 이미지의 표면이 VR 어플리케이션, VR 게임, 그리고 디지털 아트 등을 감상할 때 영향을 미치는지에 대한 것이고, 다른 하나는 작품을 감상할 때 VR 이미지의 미적 특성이 정말로 관람자의 관심 대상인지와 관련한 보다 근본적인 ‘감상행위’에 대한 것이다. 사람은 두 개의 초점을 가지고 있기 때문에 그림에 묘사된 대상을 인식함과 동시에 작품의 표면에 있는 미적인 특성을 확인할 수 있다. 즉, 관람자들은 정물화를 관찰할 때 그림 안에 배치된 사과를 관찰하면서 동시에 그림 속 사과가 진짜 사과인 것 처럼 보이도록 만드는 붓놀림을 관찰할 수 있다. 이 두 개의 초점이 합쳐지면서 미학적인 관찰과 작품에 대한 감상을 이끌어 내는 것이다. 그렇다면 VR 환경에서 그림을 감상할 때, 감상자가 작품의 표면에 있는 특징에 집중하는가? 우리는 가상 세계의 공간적 특징과 가상 세계에 묘사된 콘텐츠의 피상을 감상하고 있는가? 물론 VR상에서의 공간은 가상환경의 표면으로 인해 구성되고 인식되기 때문에 관람자는 그 표면에 있는 특징들을 인지하기 마련이다. 하지만 이는 가상환경의 표면을 감상한다고 보기 보다는 그저 피상적인 인식과 다름 없다. 하지만 그렇다고 VR 상에서 나타나는 이미지의 표면이 단순하다는 것은 아니다. 더구나 우리는 VR상에서 그림을 관찰할 때 두 개의 렌즈를 통해 받아들여지는 두 개의 이미지가 우리의 시각에서 하나로 합쳐지고, 결국 마치 하나의 그림인 것 처럼 받아들여진다는 것을 알고 있다. 따라서 VR 이미지 속에도 관람자가 표면에서 인식하지 못한 특징들이 얼마든지 더 있을 것이다. 그러나 그 특징들이 미학적인 것으로 여겨질 수 있는지는 또 다른 문제이다.

여기서는 VR 이미지 표면과 관련된 흥미롭지만 다소 일상적이고 가벼운 예시를 하나 들고자 한다. 바로, 많은 이들이 게임이나 영상으로 접해봤을 마인크래프트VR이다. 마인크래프트 VR은 두 가지 방법으로 VR체험을 제공한다. 하나는 마인크래프트VR 그 자체에 접속하는 것이고, 다른 하나는 living room 모드를 통해 VR 환경에 접속하는 것이다. Living room 모드에 접속하면 VR 환경에서 2D 게임을 즐길 수 있는 특이한 디자인 구성을 볼 수 있는데, 방의 형태로 구현된 VR 환경에서 스크린을 통해 2D 인터페이스 버전의 마인크래프트를 즐길 수 있다. 가상의 방은 마인크래프트가 기존에 사용하는 블록쌓기 방식으로 정교하게 디자인되어 있어서 꽤나 돋보이는 시각효과를 연출한다. 마인크래프트 VR의 경우에는 미적인 요소가 사용자의 주요 관심사가 아니고 실제로도 미학적인 부분을 염두하고 만들지 않는다. 그러나 마인크래프트 VR에서 구현되어 있는 각 물체의 표면은 충분히 사용자의 시선을 끈다. 따라서 마인크래프트 VR같은 게임도 미적으로 감상할 가치가 있다고 볼 수 있는 것이다. 비단 마인크래프트 VR 뿐만 아니라 잘 알려지지 않은 다른 VR 게임들도 분명 미적으로 감상할 수 있는 특징이 내포되어 있을 것이다.

요약하자면 VR상에서의 이미지 인식은 크게 두 갈래로 정리할 수 있다. 첫 번째는 물체의 표면이다. 이 표면은 물리적 환경에서 물체를 보는 방법과 유사한 방식으로 인식 되도록 쌍안경 식의 기기(HMD)를 통해 입체감 있게 표현된다. 이런 방법을 통해 물체를 보는 것은 실제 그림을 보는 것 보다 훨씬 더 복잡한 과정을 거쳐 인식된다. 두 번째는 직관적인 3D 구성 방식이다. VR에서 비주얼 시스템은 컴퓨터 계산을 거쳐 화면을 통해 시각화되고, 스크린 상에 나타나는 이미지들은  입체로 인식되기 위해 사용자를 중심으로 일정하고 안정적으로 공간 구성을 이룬다. 우리가 다루었던 또 다른 주제는 VR상에서 의도를 가지고 만들어진 물체가 어떻게 구현되는가에 대한 것이다. 이는 사용자가 물체를 재매개할 때 이를 어떻게 정의하느냐에 따라 달라진다. 의도를 가지고 만들어진 물체들은 목적에 따라 특정 물체인 것 처럼 보이도록 묘사된다. 하지만 이마저도 말처럼 단순하게 볼 수는 없다. 이는 첫째로, 묘사된 물체가 완전히 가상인 데다, 둘째로, VR은 물리적 세계의 것을 기록하기 위해 사용되기 때문이며 셋째로, 동시에 VR은 물리적 환경에 있는 것을 묘사하기 때문에 원본-가상의 관계가 생기기 때문이다. 마지막으로, VR에 구현되는 가상의 물체는 물리적 세계의 것을 참조해서 만들더라도 문제가 발생하지 않지만 이것이 가상 환경에서 어떻게 구성되어 보여지는가는 감상행위와 관련이 있기 때문이다. 혼합된 현실이란, 이 모든 것을 잠재적으로 내포하는 공간인 것이다.

이제 VR에 대한 논의를 정리하고 이 글을 마무리 짓고자 한다. 이 글에서 우리는 VR의 두 가지 측면, 기록을 위한 실용적 VR과 물리적 세계를 연결하기 위한 연결지점으로서의 VR에 대해 살펴봤다. 이 두 가지 측면으로 미루어보아 VR은 단순히 개념적이고 추상적이며 물리적 세계를 배제한 채로 정의될 수 없으며, 따라서 VR은 물리적 현실의 토대 위에서 인식론적이면서 실용적인 주제에서 벗어나지 않는다는 것을 밝혀냈다. 하지만 다른 한 편으로는 현실에서 달아나 환상과 허구에 기댈 수 있는 요소도 가지고 있었다. VR은 예술을 포함한 다양한 분야에서 사용될 수 있는 가능성을 가지고 있는데, VR환경에서 3D 모델을 구성하는 방법과 요소는 가상 환경을 사용하는 목적이 무엇인지에 따라 달라지며, 이것이 VR의 기술적인 성질로 부터 비롯되어있다는 것을 짚어내었다.  VR 환경에서 이미지를 만들기 위해서는 물리적 세계의 것을 참조하거나, 아예 다른 매체에서 가져와 사용할 수도 있고, 3D 도구로 가상 조각(virtual sculpture)을 만들어 애초에 가상환경의 것이 원본인 이미지를 만들 수도 있다. 이처럼 다양한 방식으로 VR을 사용함에 있어서 예술가들이 과거에 그랬던 것 처럼, 대상을 현실적으로 포착하여 기록하고자 하는 욕구가 수반되어 있을 것으로 본다.

Virtual reality (VR) is a form of media within the recent widespread of digital culture trends. Various activities pertaining to artifacts, art, creation, and heritage that we experienced in the actual world are more accessible through virtual (digital) platforms. In the domains of art appreciation and practice of viewership, most people depend on digitized mediums of art, such as exploring a virtual world of the Internet. Digitization of heritage and birth of born-digital artifacts, that started only 30 years ago, have become ubiquitous elements in our lives, and some of us are likely to formulate most of their visual cultural identity through virtual mediums. Now, you can search for artworks on social media or instantaneously follow an artist's and their activities. As we utilize the same virtual media we use to chat with our friends, to communicate with or influence their artistic interests, our art ecosystem is now in a significant part distributed in digital worlds, distant from the facts of physicality, actuality, and authenticity of a physical item. A philosopher of virtual aesthetics, Grant Tavinor, refers to this phenomenon as the virtual turn – “the way that virtual reality media allow their users the impression of experiencing environments other than those in which they actually exist.”

Philosophy of art is an active sub-discipline of philosophy that explores the nature and aesthetic experience of art. Especially since the 1970s, the field has produced significant work on a wide range of subjects, and the philosophical understanding of issues such as pictorial expression, fiction and imagination, the relationship between art and emotion, artistic ontology, the value of art, and aesthetic characteristics. These theoretical and philosophical practices easily fit into current issues of VR and its integration of everyday life. VR is a clear interest in the sectors of aesthetic and visual disciplines as its development as media.

Since this essay investigates the theoretical direction of technological development of VR in the formation of digitized visual culture, it will extrapolate the theories discussed in art history and philosophical aesthetics. VR will be regarded as a medium to be understood along with art and heritage as a means of constructing real and imaginary (digitized) spaces. It will convey the sense of spatial experience itself and enable unique aesthetic and artistic practices. Therefore, I will place VR on some key issues of the philosophy of art related to these media. I will ask about the representative or descriptive nature of VR; historical and conceptual relationships to painting, photography, and other forms of heritage in VR media – how the interactivity inherent in VR can reconstruct our artistic experience.

Virtual Reality as Medium and Remediation

When we observe VR as a medium, we can clearly see it as a media of representation or documentation of the real and virtualized world. It encompasses a wide range of interpretations, interactions, and practical implementations for the represented subject matters. Plausibly, virtual reality media are a new mode of things, allow a distinctive style of experience to their observer, and give a profound sense of experiential visual realism. However, to evaluate the claim that VR media as a distinctive realistic medium, we need to understand what they are fundamentally.

Given the wide and potentially inconsistent usage of the term “virtuality”, it is necessary to clarify the concept. As suggested by Jay David Bolter, virtuality can be analyzed in terms of remediation, in which a subject matter is modified in an unfamiliar or user-unknown form. This suggests that we can define the virtual connection between an object and its mediated version. When Tavinor explicates Pawel Grabarczyk’s paper in his book, he explains that it is best to think of virtualization as a radical correction of one ontology domain into another, as one original has to exist before the remediated one. However, Grabarczyk’s claim undermines that “virtual” is seen as non-physical form of an object, and the nature of the remediation suggested is a "non-physical" one, and so the whiff of the unreality of virtual remediation remains (Tavinor). To avoid this, we need only stipulate that the form of remediation is not "non-physical" but is instead in terms of a change in material medium.

After remediation takes place, it is common for an object of the same kind to be instantiated from various materials or media. But we now see that any action counts as an event in virtuality. It is important to note that the remediation must be in a non-customary form. And it must conserve the functional organization (or the context) of a remediated object. If the first condition is not met, it is likely to produce a mere duplication or copy of the object. If the latter condition is not met, we are likely to lose representation or imitation of the object. This is because virtualization typically involves a fundamental change to how the function of the virtualized item is realized. While the overall functional efficiency of a virtual item is retained, typically, subordinating aspects of the structure and function of items are altered via the act of remediation. Therefore, virtualization is in between the reproduction and representation of an object. Although it can improve the representation of the materiality of an object, it can be seen as a mere reproduction of an original. On the other hand, in virtualization, while the loss of conventional material instantiation, structure and function are maintained. Functional objects or activities are translated into new material related to specific types of use, but for general viewership, this is often precisely the limitation for which the essence of an object may not survive. When it comes to replication of heritage objects, it may retain much of the object's structure for specified purposes, but it fails to contain the multi-faceted function as heritage. By not being able to fully replicate the functionality of the physical object, it critically lacks the aesthetic and cultural values of the object.

However, we have grown accustomed to connecting virtualization with our computers – digital media. While digital devices preserve the functional efficiency of heritage conservation in a non-customary way, the virtuality is now strongly connected to the computer. A computer is a machine that can perform logical and arithmetic operations, or instruct it to solve problems or produce results. When connected to input and output devices, these machines can exhibit functional efficiencies associated with a wide range of everyday objects, processes or activities. The accidental link between computation and virtualization exists because computers are inherently suited to correcting functional artifacts and activities. Since virtuality extends beyond the domain of computation, we can refer to specific classes of computational virtuality. This subdivision includes virtual remedies that exploit the functional and structural potential of computers or simply use the virtuality of computational media. The concept of virtualization certainly exists beyond computers, but virtualization is one of the most strikingly and potentially disruptive fields because of the fantastic potential inherent in these new machines and the radical impact these virtual machines have on our lives and cultures.

Tavinor suggests that virtual objects have the habit, after a suitable period of familiarization, of becoming actual instances of the things they at first only virtually manifest. Virtualization is a recursive process. Photography is a virtual technology, but it is redundant to analyze the function of capturing artworks through photographs because of their existence over the decades; art historical and heritage studies have come to think of it as a customary way to preserve and conserve cultural significance. 

Furthermore, the precise nature of the remediation involved in virtuality is variable and historically contingent, depending on the kind of media available at a given time, and our expectations about what is a customary way of achieving a goal. Virtuality is an aspect, perhaps or partly primitive, since the new is a symptom of our current technological predicament, and has long been a cultural evolution.

Virtual Documentation

VR imaging techniques can also be used for documentation and preservation purposes, including cases where virtual worlds are used to record the real world. When virtual technology is used to perceive and interact with the real and present world by functioning as a kind of virtual prosthesis (David). VR is where surfaces and spatial composition are the main concern or when technology is used to produce artistic surfaces and contain aesthetic values. Moreover, representations of the real world through mixed or augmented reality are superimposed onto the real world with different kinds of information, visualizations or spatial configurations. There are undoubtedly other examples of VR documentation, and more uses will emerge over time as our understanding of VR's potential evolves. 

What does it mean to virtually or digitally document heritage? We can of course simply follow the essence of the object’s actuality and reconstruction. Reconstruction deals with the contextual interpretation of data, whereas actuality is about what is real or what is real without making up or entailing imagination, as addressed before about replication of object’s materiality. But this can be problematic as the interpretation can be subject to the current state of historical or social consumption of heritage. Moreover, works of preservation, even factual documentation - apparently often contain a fictional aspect or central case of a fictional technique: for example, "reconstruction" or "docudrama" is a frequent feature of viewership and historical subjectivity. However, we should not expect a clear distinction between actuality and reconstruction work in heritage cases. Derek Matrabus was skeptical of the distinction itself between fiction and non-fiction, and in particular, was skeptical of invoking the role of interpretation to distinguish the two (Matrabus). Although, I partly agree with his claims, I wish to address the big issues of philosophical aesthetics, but to show that VR and digitized heritage can be seen as profitable as their new entrant of cultural significance, because they allow us to pertain to the current stage of cultural role and purpose of remediation. There is a distinction between the use of a medium that is oriented for the usage of heritage with the sometimes mundane reality of the case of VR depicting an object with interpretations representative of the current world. 

An example of VR used for heritage preservation is Google Arts & Culture Open Heritage Project. Open Heritage can be viewed using the web or the VR head mount gears. The observers the 3D recreated versions of world heritage sites documented using 3D capturing instruments and aerial photography. Observers to this environment can navigate the world by interacting with the architectures using a VR controller. According to the theory developed here, Open Heritage can check and learn digitized objects as user-centered descriptions of the site are provided as additional information. In a sense, this expedition is no more fiction than looking at a globe or a book about the site, and in many ways provides a more faithful depiction of the features of the world than the flat images..

There are many other documentation of heritage, transparent, or what might be more generally serious - that is, non-entertainment- uses of VR media beyond those introduced above, and no doubt many more to be discovered and developed. I want to note just one more widespread serious application of VR that does not sit squarely in the categories identified above, but which is relevant here because of its underlying assumptions about the nature of VR. This wide range of cases exists where VR is used as an art appreciation or viewing purpose. It is not the fictive or documentary information inherent in the VR image, or the uses of VR picturing to interact with the actual world; but how the VR experience might itself be of alternative use of viewership because of the kind of remediated experience it make available in the controlled and predesigned environment of VR.

Virtual Art and Aesthetics

VR has obvious artistic uses, artists and exhibitors have already embraced the medium in attractive ways. Considering the novel, documentation, and use of transparency outlined above, it is already easy to see that VR has potential as an artistic medium because of how these features have established an artistic function. Fiction and documentation have obvious artistic purposes, and perhaps the most obvious artistic use for VR is in film or digital art. By focusing on the medium itself in a way that art has often done, it questions if art can further adopt VR media. In contrast, if VR can act as a vehicle for performance.

In cases such as VR art and videos, the object of appreciation may not be included in the VR medium, where the object of appreciation is produced and interacted with. VR allows you to be positioned during the creative process. In most VR painting applications, artists have to create a 3D painting in space with a central painting using a variety of virtual brushes. Users and many artists were inexperienced in producing paintings in such an environment, where creating an image was more of "around them". In a sense, it may be more accurate to refer to these creations as virtual sculptures than paintings, given their apparent three dimensionality.

VR can also be seen as a vehicle for performance in some cases. Unlike art such as painting or film in which objects are produced, performance art is art in which the performer's actions become the focus of appreciation for the audience, and it is this object that becomes the focus of appreciation. Virtual reality has the artistic advantage of allowing audiences far away from the performance to see and appreciate the performance through a VR headset. Dancing is an obvious activity that can be traced in the space of virtual depictions, and in fact, virtual reality dancing already has a fairly long history (Smith). In a room-scale VR, the user's body movements and gestures can be tracked in a virtual space, so it seems possible to watch a live dance performance in VR. Virtual media also allows for increased dance performances by overlaying the performance with additional graphic elements or allowing audience interactivity. One example is the VR film Annika by American animator Cecilia Sweetcall, which often uses motion-captured dances to create abstract 3D animations. Other performing arts, including virtual instruments, are also possible. Virtual instruments can track a user's gestures in such a way that they can interact with the instruments depicted in VR. Virtual technology thus makes this kind of performance vehicle available, and also what traditional and non-interactive media is capable of. We can deliver these performances to a remote audience in a way we could not.

VR can be used to create works of art or artistic performances, but what can VR depictions add to the aesthetic appreciation? That VR does not require aesthetic attention to painting surfaces is a very attractive conclusion given what we know about the typically non-reflective nature of VR pictorials – users generally have no aesthetic interest in surfaces at all. This raises questions about whether the VR pictorial surface really affects the aesthetic appreciation of apps, games, and digital art works employing VR, and whether its aesthetic characteristics are the focus of attention. One advantage of both visual theories is that they can frame how viewers view the aesthetic properties of a surface while perceiving the objects depicted in the painting. So, they can see the apple depicted in the still life painting, but also the brushstrokes that give the realistic impression to the apple depiction, and these two pictorial perspectives can be combined in the aesthetic experience and appreciation of the painting. It is an interesting question whether we look at the superficial factor in our aesthetic appreciation of VR medium, and aesthetically appreciate how the spatial or depicted content of the VR world is embodied on the surface. Viewers in VR must recognize the elements of a surface because they perceive the spatial composition represented by the surface, but this is consistent with not paying much attention to the surface, or even recognizing it as a surface. We also found earlier that the pictorial surface in VR is complex, a combination of two images when viewed through a lens, and that these two images are fused together. Viewers generally do not perceive the two images as unfused, so there are probably elements of the surface that viewers are not aware of. But are there any elements of a VR surface that are seen and recognized as aesthetic.

I have a rather vulgar example that doesn't quite fit in the VR and art part. But it nevertheless shows how the surfaces depicted in the VR pictorial media stand out. In Minecraft VR, you can have a VR experience in two ways: first, from the perspective of being in the world of Minecraft itself, and second, by what is called "living room mode". The latter allows you to play 2D Minecraft on a screen in the living room in a VR living room depicted in Minecraft style. It's a weird but fun design choice made up of reflective jokes like VR Minecraft is simply playing a 2D game in a VR environment. But it also arouses interest in the quality of the surfaces and how they create the spatial impression of the room. This surface stands out because it is styled in a way that mimics Minecraft's block style (but not exactly). And in this case, even if the visible parts are out of the viewer's attention, there are many parts that are not, and it is not more difficult to see these pictorial elements than in the existing photos. The surface here stands out because it is stylized in a way that draws attention from what is depicted. As such, Minecraft VR is an example of a game that provides convincing evidence that users can aesthetically appreciate the pictorial surfaces of VR. Perhaps other VR art, lesser known than Minecraft, could have a similar effect.

In summary, there are actually two folds in the perception of VR photography, plus the recognition of intentional objects and how those present in individual cases are determined by the specific use of the medium. The first object to be recognized is the surface, which consists of a screen that can be viewed through binoculars that can see the offset side of the screen three-dimensionally. This is obviously a much more complex surface than found in other paintings. The second fold is an intuitive 3D configuration that the visual system perceives on this screen and appears to the user in an apparent egocentric space. The image of the screen is generated by itself, resulting in a consistent and stable spatial composition with stercopsis and allowing the user's apparent position to be tracked. Finally, an intentional object consists of a depicted apparent object, but this is complicated because at least four kinds of intentional relationships are possible. First, what is depicted is pure fiction; The second is that VR is used to document some real-world item that does not exist to the user; Third, VR depicts real-life objects; Finally, and somewhat unusually, a place where the problem of reference does not arise, but the apparent spatial organization itself is a VR application's and its appreciation. Mixed reality can potentially include all of these simultaneously.

We conclude from the various VR calibration implementations of egocentric interactive spaces. For example, because we have seen the practicality of VR and its frequent documentation and connections to the real world, we are far less tempted to view VR simply as "conceptual" or "abstract", or as an attempt to "exclude" the real world. I can feel it. Virtual reality (VR) is based on the facts of the real world and epistemological and pragmatic concerns, sometimes allowing fantasy flight from the world. This undeniable diversity in VR's potential uses also highlights the technical nature of VR in that the origins and methods of construction of the 3D models at the heart of VR photography vary considerably and are usually dictated by their specific use. The images themselves can be borrowed from other media, such as digitization and photos from Open Heritage; 3D scanning of real objects may start the process. Otherwise, as in paintings produced by 3D tools, creative gestures may be essential to the depiction process leaving a mark on the VR surface. Also, many of these uses may have a clear desire to harness the potential of VR to capture the subject in a realistic way.

Reference

Bolter, Jay David, and Richard Grusin. 2003. Remediation: understanding new media. Cambridge, Mass: MIT Press.

Davis, Whitney. 2018. A General Theory of Visual Culture. Princeton: Princeton University Press.

Davis, Whitney. 2017. Visuality and Virtuality: Images and Pictures from Prehistory to Perspective. Princeton (N.J.); Oxford: Princeton University Press.

Goodman, Nelson. Languages of Art: An Approach to a Theory of Symbols. Hackett, 1976.

Grau, Oliver, ed. 2007. MediaArtHistories. Cambridge, MA: MIT Press.

Kwastek, Katja. 2015. Aesthetics of interaction in digital art. Cambridge, Mass: MIT Press.

Livingstone, Margaret, and David H Hubel. 2008. Vision and Art: The Biology of Seeing. 2014th ed. New York: Abrams.

Leon Wainwright, “Globalization and Aesthetics”.

Hansen, Mark B. N. 2004. New Philosophy for New Media. MIT Press.

Manvich, Lev. 2018. AI Aesthetics. Moscow: Strelka Press.

Mitchell, W. J. T. 2018. Image Science: Iconology, Visual Culture, and Media Aesthetics.

Pearce, Marcus, Dahlia Zaidel, Oshin Vartanian, Martin Skov, Helmut Leder, Anjan Chatterjee, and Marcos Nadal. 2016. “Neuroaesthetics: The Cognitive Neuroscience of Aesthetic Experience.” Perspectives on Psychological Science 11 (March). 

Popper, Frank. 2007. From Technological to Virtual Art. Cambridge, Mass.: MIT.

Pugh, Emily. 2019. “Art History Now: Technology, Information, and Practice.” International Journal for Digital Art History, no. 4: 3.47-3.59. 

Smith, Sophy. “Dance Performance and Virtual Reality: An Investigation of Current Practice and a Suggested Tool for Analysis.” International Journal of Performance Arts and Digital Media 14, no. 2 (July 3, 2018): 199–214. Manovich, Lev. 2020. Cultural Analytics. Cambridge: Massachusetts] : The MIT Press.

Tavinor, Grant. 2021. The Aesthetics of Virtual Reality. New York: Routledge. 

Wands, Bruce. Art in the Digital Age. London: Thames and Hudson, forthcoming.

Weibel, Peter, and Timothy Druckrey, eds. 2001. Net Condition: Art and Global Media. Cambridge: MIT Press.

Wartofsky, Marx W. 1984. “The Paradox of Painting: Pictorial Representation and the Dimensionality of Visual Space.” Social Research 51 (4): 863–83.

오경택

Kyung Taek Oh

B.A. History of Art, University of California at Berkeley. 2018
M.S. Culture Technology, KAIST. 2023
Kyung Taek Oh studies digital art history and virtual museums under the domain of digital heritage. His current research focuses on developing an archival system for image networks in 3D virtual environments. He is also interested in the fields of computational aesthetic and digital artwork analytics.