구조에 증강 현실. COVID-19 팬데믹으로 인해 NAB 2020 (새 탭에서 열림) 이 취소되면서 방송 업계 전체에 충격파가 일었습니다. 매년 라스베이거스에서 개최되는 NAB Show는 160개국 이상에서 90,000명 이상이 참석하는 최대 규모의 방송 무역 박람회입니다. 1,600개의 전시업체 중 대다수가 새로운 제품과 기술을 출시하고 많은 대기업의 경우 최대 6개월의 계획이 수립됩니다. 매우 짧은 시간 내에 Panasonic Pro Video 팀은 집에서 원격으로 작업하면서 메시지를 전달할 수 있는 대안을 찾아야 했습니다.
오디오 + 비디오 + IT . 우리의 편집자는 오디오, 비디오 및 IT를 통합하는 전문가입니다. 매일 통찰력, 뉴스 및 전문적인 네트워킹을 얻으십시오. Pro AV Today 구독
NAB Show가 취소되기 며칠 전부터 Panasonic 팀은 고객이 온라인으로 방문할 수 있는 물리적 부스를 구축하는 아이디어를 포함하여 대체 이벤트를 수행하기 위한 옵션을 찾기 시작했습니다. Panasonic Pro Video 팀은 가상 프로덕션 제작을 전문으로 하는 뉴잉글랜드 기반 DisruptAR 의 CEO인 Paul Lacombe와도 논의 중이었습니다. 대학 졸업 후 General Motors에서 경력을 쌓기 시작한 Lacombe는 80년대 후반에 Silicon Graphics에서 시작하여 30년 동안 생산 업계에서 일한 후 가상 생산을 추구하기 위해 스스로 모험을 시작했습니다. DisruptAR은 더 넓은 시장에서 AR 및 VR 제작 비용을 낮추는 데 주력하고 있습니다.
- Esports Training Factory 스트리밍 인프라
- Citizen Cope, Covid-safe 콘서트 공간 데뷔
- 원격 학습: 원격 오케스트라를 작동시키는 방법
- 라이브 스트리밍을 위한 최고의 PTZ 카메라
3월 16일, 파나소닉의 미국 본사가 있는 뉴저지는 공식적으로 봉쇄령에 들어갔다. 3월 18일, Lacombe는 Panasonic 팀을 위한 첫 번째 데모 일정을 잡았습니다. NAB Show 2020은 3월 20일 취소되었습니다.
우리는 두 가지 옵션 중에서 매우 빠르게 결정을 내려야 했습니다.”라고 Panasonic 엔지니어링 매니저인 Harry Patel이 밝혔습니다. “첫 번째 옵션은 물리적으로 부스를 만들고 사회적 거리두기 요구 사항을 준수하면서 제품을 반입하고(한 번에 10명 미만) 촬영팀을 데려오는 것이었습니다. 실용적이지 않았고 집을 떠날 수는 없지만 더 높은 품질의 작업을 원했습니다. 그래서 마침내 이 가상 이벤트에 대한 아이디어가 더 논의되었고 3월 말까지 승인되었습니다.”
증강 현실 및 원격 생산
원격 생산은 새로운 개념이 아닙니다. Francis Ford Coppola 감독은 1982년 영화 One From the Heart 의 많은 장면을 세트장 근처의 예고편에서 감독하고 편집한 것으로 유명합니다. 하지만 전 세계적인 유행병이 유행하는 동안 집에서 원격으로 프로덕션을 만드는 것은 또 다른 이야기입니다. 최첨단 카메라 기술, VR 게임 엔진 및 클라우드 기반 앱을 사용해야만 가능했습니다.
Panasonic의 첫 번째 목표는 보다 시각적인 비디오 형식으로 번역된 구두 및 서면 커뮤니케이션을 통해 명확한 메시지를 만드는 것이었습니다. NAB에서 영업사원은 일반적으로 전시장에서 고객과 소통하며 각자의 문제에 대한 솔루션을 논의합니다. 마케팅 그룹 매니저 Jim Wickizer와 홍보 대행사인 Racepoint Global은 일관된 메시지를 제시할 수 있었고 개별 제품 관리자와 협력하여 올바른 요점을 제시했습니다.
Patel과 Wickizer는 또한 Lacombe의 홈 스튜디오에서 원격으로 작업하여 신제품과 기술에 대해 논의할 제품 관리자와 스튜디오 진행자 Zoe Laiz 간의 비디오 인터뷰를 만들기 시작했습니다. "우리 모두는 어려운 생산 환경을 가지고 있었지만 이 일정으로 원격으로 작업을 수행하는 것은 확실히 믿음의 도약이었습니다."라고 Lacombe는 설명합니다. "내 직감으로는 이것이 효과가 있다는 것을 알았지만 전에 한 번도 해본 적이 없다는 것이 걱정되었습니다."
원격 녹화를 위해 각 제품 관리자는 노트북, Blue Yeti USB 마이크 및 Panasonic AW-HE42 (새 탭에서 열림) Full-HD Professional PTZ 카메라를 받았습니다. HE42는 이더넷과 PTZ 가상 USB 드라이버를 통해 연결되었고 비디오는 녹화를 위해 OBS를 사용하고 원격 제어를 위해 TeamViewer를 사용하여 노트북으로 가져왔습니다.
증강 현실 및 MS 팀
커뮤니케이션, 파일 공유, 데모 보기, 원격 프로덕션 촬영 모니터링을 위해 Panasonic은 커뮤니케이션 및 협업 플랫폼인 Microsoft Teams를 사용했습니다. 하룻밤 사이에 Teams, Zoom, Ring Central 및 기타 여러 플랫폼을 통해 사람들과 기업은 집에서 안전하게 외부 세계와 통신할 수 있게 되었습니다.
제작 중에 Lacombe가 세트에서 캡처한 내용을 보기 위해 Patel은 Teams Screen 공유를 사용하여 SDI에서 USB로의 컨버터 박스로 AV-UHS500 스위처 출력을 사용하여 쿼드 분할을 생성했습니다. USB 피드는 Windows에서 카메라 피드로 제공되었으며 팀을 통해 공유되었습니다.
전문 이미징 및 시각 시스템 부문 수석 부사장인 John Baisley의 개회사 녹음을 감독하는 동안 Patel과 Wickizer는 Teams를 통해 Baisley의 거실을 실시간으로 보고 라인 읽기 오류, 배경 변경 또는 기술적인 문제인지 여부에 대한 지침을 제공할 수 있었습니다. 사운드 문제. Patel은 Teams를 통해 녹색 화면과 가상 세트 보기를 모두 관찰하여 화면 방향을 제공할 수도 있었습니다. Patel은 “Zoey가 문 바로 뒤에 서서 들어오면 샷이 좋은지 실제로 확인할 수 있었습니다.”라고 Patel은 설명합니다. “Teams를 통해 Paul에게 '조금만 오른쪽으로 이동하면 더 좋을 것 같습니다.'라고 말할 것입니다. 원격 협업 측면에서 Teams를 사용하지 않고는 불가능했을 것 같습니다.”
Wickizer는 "이 작업을 원격으로 수행하는 것이 정말 멋졌습니다."라고 덧붙입니다. “우리는 보스턴에 사람이 있었고 해리와 나는 뉴저지에 있는 우리 집에 있었고 서부 해안에 또 다른 사람이 있었습니다. 제 딸이 한 번은 지하실로 내려와서 저에게 무엇을 하고 있느냐고 물었습니다. '우리는 원격 제작을 하고 있습니다'라고 그녀에게 말했습니다. 그녀는 정말 믿을 수 없었습니다.”
Free-D와 언리얼 엔진
사실적인 VR 스튜디오 세트를 라이브 프로덕션에 통합하려면 정확한 카메라 포지셔닝 데이터를 캡처하는 것이 필수적입니다. DisruptAR는 Panasonic의 첫 번째 데모를 발표하기 전에 AW-UE150 (새 탭에서 열림) 4K Pro PTZ 카메라를 Unreal Engine (새 탭에서 열림) 에 직접 연결할 수 있는 Free-D 드라이버를 개발했습니다 . IP(UDP)를 통해 Pan/Tilt/Zoom/Iris 정보를 추가 센서나 인코더 없이 카메라에서 Unreal의 트래킹 시스템 라이브로 직접 출력하는 기능.
“Free-D는 90년대 초 BBC에서 카메라 추적 시스템 중 하나를 위한 추적 프로토콜로 사용되었습니다.”라고 Lacombe는 설명합니다. “팬, 틸트, 롤, X,Y,Z, 시야, 줌, 초점 등 6가지 자유도를 정의합니다. 이러한 값은 가상 렌더링 엔진으로 전송되고 가상 카메라에 연결되어 배경이 초당 60프레임으로 실시간으로 반응합니다.”
Lacombe에 따르면 언리얼 엔진은 The Lion King 에서 The Mandalorian 에 이르기까지 수많은 프로덕션에서 전반적으로 사용되었습니다 . "현재 대부분의 할리우드에서 사용하는 기본 기술입니다."라고 Lacombe는 말합니다. "그들은 대부분 그것을 프록시로 사용하고 있지만 목표는 '최종 픽셀'입니다. 실시간으로 시작되는 모든 것이 화면에 표시되는 것입니다."
"언리얼 엔진은 건축, CAD 시각화, 이 경우 방송 및 영화를 포함한 다른 시장에 적용된 게임 엔진입니다."라고 Lacombe는 말합니다. “우리는 초당 60프레임의 NVIDIA 그래픽 카드를 사용하여 Maya, 3D Studio Max, Blender와 같은 기존 DCC 도구에서 자산을 가져오고 시청자에게 개화, 플레어 및 디포커싱. 초당 60프레임의 포토리얼리즘과 렌더링에 도달하는 데 필요한 품질은 본질적으로 언리얼 엔진이 하는 일입니다.”
가상 세계 만들기 … 차고에서
Lacombe의 스튜디오는 크기가 20 x 24에 불과한 개조된 차고에 있으며 그의 승무원은 단 한 명의 조수로 구성되었습니다. 녹색 화면에는 Pro Cyc Portable 배경을 사용했습니다. 공간 제한으로 인해 Laiz는 몇 걸음만 걸을 수 있었기 때문에 카메라가 제한되어 있었기 때문에 AW-UE150은 작업에 완벽한 도구였습니다. 그린 스크린에 조명을 비추기 위해 Lacombe는 14인치 LED 패널을 사용했습니다. "키어가 그 그림자를 유지할 수 있도록 하나의 녹색 음영을 갖고 얼룩을 모두 없애고 싶다는 아이디어입니다."라고 Lacombe는 설명합니다. "키아웃하고 싶은 그린 하나를 선택하면 어두운 그린이 가상 세트에 겹쳐진 그림자입니다."
차고의 좁은 공간에서 작업을 하면서도 큰 스튜디오의 의욕적인 조명으로 자신의 재능을 밝혀야 했습니다. Laiz를 밝히기 위해 Lacombe는 키와 필 모두에 두 개의 LED 패널을 사용했습니다. 그는 또한 창문에서 나오는 붉은 빛을 시뮬레이션하기 위해 위에서 몇 개의 스포트라이트를 사용했습니다. "기본적으로 우리는 녹색 화면에 영향을 주지 않으면서 해당 방향과 색온도를 일치시키려고 노력하고 있습니다."라고 Lacombe는 밝혔습니다. “그린 스크린과 별개로 연기자에게 조명을 비추려고 하기 때문에 이는 어려운 일입니다. 그 LED의 헛간 문은 우리에게 더 많은 공간을 제공했지만 우리는 그린에서 멀어지고 그린에서 그녀의 옷과 피부에 대한 반사를 최소화하기 위해 고군분투했습니다.”
On set, Lacombe used two UE150 cameras: camera 1 was on the left side and camera 2 on the right. When Zoe would do her turn to face a product manager viewed on a vertical monitor, he would switch to camera two at Laiz’s eye level to get simulated product manager point-of-view. Matching eyelines is a challenge but Lacombe says could cheat it a little by knowing where his set home position was. “If you had two cameras, one was 90 degrees to the other at eight feet away and the other one is four feet away, you can measure with a tape measure and put them in the virtual world in that same position. They will adhere to each other through the laws of physics so that they look like they are in that exact position. And then you can cheat a little bit within those guidelines.”
Production Design at the Click of a Button
가상 세트의 디자인을 위해 Lacombe는 작년에 다른 고객과 함께 작업했던 수정된 디자인을 사용했습니다. 디자인은 Maya에서 수행하고 Unreal로 내보냈습니다. 가상 세트는 밤에 진행되기 때문에 처음에는 더 어둡게 보였지만 조금 더 밝게 만들기로 결정했습니다. 그는 Panasonic 로고를 추가하고 Panasonic 세트에 필수적이지 않은 요소를 제거했습니다. 그는 또한 Laiz가 그 뒤에서 걸어 나오는 바닥에서 나오는 모니터를 추가했습니다.
Lacombe에 따르면 자신만의 가상 세트를 만들 때 온라인 건축 시각화가 실제로 시작되었기 때문에 더 많은 3D 자산을 사용할 수 있습니다. 3D 라이브러리로 이동하여 3D 자산 또는 모델을 찾고 사용자 지정 요구 사항에 따라 빌드할 수 있습니다. Lacombe는 “클라이언트와 정말 앞뒤가 맞닿아 있습니다.”라고 설명합니다. “마케팅 구성 요소, 브랜딩, 모든 색상 및 재료를 추가합니다. 거기에 자산이 있으면 버튼으로 벽을 허물고, 물건을 클릭하거나 이동하고, 모니터를 모두 실시간으로 조정할 수 있습니다. '물리적 세계'에서는 상당한 시간과 비용이 소요됩니다. 물건을 만들고 나면 쉽게 조정하고 다시 돌아올 수 있습니다.”
안전한 거리 유지
버추얼 프로덕션은 수십 년 동안 경험과 개선을 통해 발전해 왔습니다. 물리적 프로덕션과 가상 프로덕션의 역할은 본질적으로 동일하지만 가장 큰 차이점은 모든 사람이 동일한 물리적 공간에서 작업한다는 것입니다. 재택근무 조례가 해제된 후에도 진정한 원격 생산이 표준이 될지는 아직 결정되지 않았습니다.
"누군가가 열쇠를 보고, 누군가가 대본을 보고, 누군가가 카메라 각도와 옷장을 보고 있는 데에는 이유가 있습니다."라고 Lacombe는 말합니다. 이러한 모든 역할은 여전히 수행되어야 하며 원격으로 수행하는 가장 좋은 방법을 찾으려고 노력하고 있습니다. 지금까지는 놀라울 정도로 잘 진행되었고 이것이 어떻게 그렇게 빨리 결합되고 자연스러운 방식으로 발전했는지에 모두 놀랐습니다. 비록 우리가 이 제작을 위해 우리가 원했던 것보다 더 많은 모자를 써야 했지만, 다음 논리적 단계는 이것을 더 많이 분배하여 다른 사람들이 프로세스를 개선하고 개선하는 데 참여하도록 하는 것입니다. 그러나 처음으로 관문 밖으로 나온 결과에 매우 만족하며 다음 단계로 나아가고 싶습니다.”
Panasonic의 가상 이벤트인 The Future of Video Production을 보려면 여기를 클릭하십시오 .
DisruptAR에 대한 자세한 내용은 www.disruptar.com (새 탭에서 열림) 을 방문하십시오 .