[Paper Review] Universal Manipulation Interface — 손에 든 그리퍼의 시연을 로봇에게 옮기는 법

Posted by Euisuk's Dev Log on November 15, 2026

YouTube에서 영상 보기

논문 개요와 전체 구조

로봇에게 공 던지기를 가르치려면 팔을 어떤 궤적으로 움직였는지와 손을 정확히 언제 열었는지가 함께 필요합니다. 사람이 카메라 앞에서 공을 던지는 영상만 있다면 이 동작을 로봇 명령으로 바꾸기 어렵습니다. 로봇을 직접 원격 조작하면 명령을 남길 수 있지만, 여러 가정과 식당에 로봇을 옮겨 시연을 모으기는 쉽지 않습니다. Universal Manipulation Interface(UMI)는 사람이 로봇 손과 비슷하게 생긴 집게를 들고 직접 시연하게 합니다. 로봇 팔을 현장에 가져가는 대신 집게에 달린 GoPro 한 대로 영상과 관성 데이터를 함께 남깁니다. arXiv v3, Figure 1과 I절

집게가 움직인 경로와 집게 폭을 영상에서 복원한 뒤, 영상과 손의 움직임을 연결하는 시각 운동 정책을 학습합니다. 로봇에 옮길 때는 시연과 비슷한 손목 시점을 만들고, 로봇마다 달라지는 센서·제어 지연을 따로 보정합니다. 논문은 컵 배치, 물체 투척, 양팔 옷 접기, 접시 설거지로 이 설계를 검토하고, 컵 배치를 처음 보는 장소와 물체로 확장합니다. 이 글은 2024년 3월 6일 공개된 arXiv v3를 기준으로 읽었습니다. 논문 버전 이력 · RSS 2024 발표 논문 · 저자 프로젝트와 시연 영상

원문 순서 질문
I Introduction 시연에 성공한 동작을 로봇이 그대로 배우기 어려운 이유는 무엇인가요?
II Related Works 원격 조작, 사람 영상, 휴대형 그리퍼는 무엇을 기록하고 어떤 장비를 요구하나요?
III Method 시연 장치와 정책의 입력·출력·시간 기준을 어떻게 맞추나요?
IV Evaluations 작업 수행, 새 환경 일반화, 수집 효율을 어떻게 나눠 보나요?
V Capability Experiments 컵 배치·투척·양팔 접기·설거지에서 각 구성 요소가 어떤 차이를 만드나요?
VI In-the-wild Generalization Experiments 다양한 장소의 시연이 처음 보는 컵과 환경에 도움을 주나요?
VII Data Collection Throughput and Accuracy 시연은 얼마나 빨리 수집되고, 추적 오차는 얼마인가요?
VIII Limitations and Future Works, IX Conclusion 적용 조건은 무엇이며 저자들은 어떤 확장을 제안하나요?
Appendix A–F 지연 측정, 수집·평가 프로토콜, SLAM, 정책 설정, 하드웨어를 어떻게 구현했나요?

핵심 기여와 혁신성

UMI에서 시연 도구와 로봇 손은 카메라를 손가락에 대해 같은 위치에 둡니다. 카메라가 집게와 함께 움직이므로 바깥에 카메라를 따로 설치할 필요가 없습니다. 155° 어안 렌즈는 옆으로 밀려난 물체를 시야에 남기고, 가장자리의 거울 두 장은 카메라 한 대에서 서로 다른 관점의 영상을 얻습니다. 영상의 특징점과 관성 측정값을 함께 맞추면 빠른 동작의 자세를 실제 길이 단위로 복원할 수 있습니다. 사람 시연의 자유도를 활용하면서 로봇이 받는 관측 형태를 시연 단계부터 만들었다는 점이 중요합니다. 원문 III-A

정책은 손끝의 전역 좌표를 요구하는 대신 지금 손끝에서 목표가 얼마나 이동하고 회전했는지를 예측합니다. 같은 컵을 잡더라도 손잡이를 시계 방향 또는 반시계 방향으로 돌리는 여러 풀이가 가능하므로, 저자는 행동의 분포에서 궤적을 생성하는 Diffusion Policy를 사용합니다. 배포할 때는 카메라에서 실제로 촬영된 시각으로 상태를 맞추고, 기기마다 목표가 이루어질 시각을 계산해 명령을 미리 보냅니다. 저자들은 이 조합으로 같은 컵 정책을 UR5와 Franka FR2에 적용했고, 투척처럼 릴리스 타이밍이 중요한 동작도 시연에서 옮겼습니다. 원문 III-B 및 V절

기술적 세부사항

손에 든 그리퍼의 MP4를 동기화된 학습 데이터로 바꾸고 로봇 지연에 맞춰 실행하는 세 단계

시연 그리퍼와 로봇의 정책을 연결하는 흐름입니다. 원문 III-A·III-B와 Figures 4–5, PDF 4–5쪽을 바탕으로 작성한 독립 도식입니다.

입력과 출력. 시연에서는 영상과 IMU(가속도계·자이로스코프)가 GoPro MP4에 들어갑니다. 동시 위치 추정 및 지도 작성(SLAM)은 영상과 관성 데이터에서 6자유도 손끝 자세를 복원합니다. 영상에 잡힌 마커로 그리퍼가 벌어진 폭도 추정합니다. 이 데이터를 변환하면 관측은 RGB 영상·손끝 자세·그리퍼 폭의 시퀀스, 정답 행동은 이후의 목표 자세·폭 시퀀스가 됩니다. 양팔 정책은 양쪽 손끝의 상대 자세도 봅니다. Diffusion Policy는 이 관측에 조건을 걸고 한 번에 여러 시점의 목표를 생성합니다. 원문 III-A·III-B

좌표계. Figure 6의 상대 궤적을 식으로 적으면 다음과 같습니다. $T_t$는 공통 기준에서 기록한 시각 $t$의 손끝 자세입니다. $T_{t_0}$는 이번 추론 구간의 기준 손끝 자세이고, $A_t$는 그 기준에서 읽은 목표 이동과 회전입니다. 로봇은 실제 기준 자세 $T_{t_0}^{\mathrm{robot}}$에 같은 상대 변환을 적용합니다. 별개의 목표마다 기준을 직전 목표로 옮기면 작은 오차도 연달아 합쳐질 수 있으므로, UMI는 예측 구간의 모든 목표를 같은 기준에 둡니다. 원문 III-B, Figure 6

$$ A_t = T_{t_0}^{-1}T_t, \qquad T_t^{\mathrm{goal}} = T_{t_0}^{\mathrm{robot}} A_t . $$

평가 단위. 컵 배치는 컵이 받침에 똑바로 놓이고 손잡이가 왼쪽 기준 ±15° 이내인지 봅니다. 투척은 시행 안의 개별 물체가 맞는 통에 들어갔는지 셉니다. 옷 접기와 설거지는 작업 전체의 완료를 관찰자가 판단합니다. 따라서 투척의 105/120과 설거지의 14/20은 각각 물체와 작업 시행을 분모로 하는 수치입니다. 원문 V절 · 부록 C

챕터별 상세 리뷰

📖 Chapter I: Introduction

저자들은 먼저 수집 장소의 다양성과 로봇으로 옮길 수 있는 동작의 다양성이 서로 다르다는 문제를 제기합니다. 기존 휴대형 그리퍼로 여러 장소를 다닐 수 있어도, 실제 배포가 집기나 느린 집어 옮기기에 집중되면 빠른 던지기나 정밀 조작은 여전히 어렵습니다. 손목 카메라를 쓰면 같은 시점의 영상을 만들 수 있지만, 좁은 시야에서는 손가락이나 물체가 작업 공간을 가립니다. 단안 시점에서 복원한 동작은 크기 모호성, 모션 블러, 부족한 시각 특징 때문에 흔들립니다. 시연에서 같이 일어난 두 동작도 카메라와 팔, 그리퍼가 서로 다른 시간에 반응하는 실제 로봇에서는 엇갈릴 수 있습니다. 여러 사람의 동작을 단순 회귀로 학습할 때에는 여러 올바른 행동 경로를 평균 낼 위험도 있습니다. 저자는 이 문제를 하드웨어에서 관측을 만드는 방식과 정책 인터페이스에서 시간을 맞추는 방식으로 나눕니다. 원문 I절

II-A Teleoperated Robot Data

행동 복제는 관측과 전문가 행동의 짝으로 정책을 학습하는 모방 학습입니다. 원격 조작은 처음부터 실제 로봇의 관측과 행동을 얻으므로 그 로봇에서 학습하기 좋습니다. 그러나 3D 마우스, VR·AR 컨트롤러, 햅틱 장치 등을 써야 하고 실제 로봇과 설치 환경을 준비해야 합니다. ALOHA·GELLO처럼 입력 동작을 직관적으로 만드는 장치도 수집 장소에 로봇이 필요합니다. 저자들은 로봇 없이 기록한 동작으로 여러 로봇에서 학습·실행할 수 있는 형태를 목표로 잡았습니다. 원문 II-A

II-B Visual Demonstrations from Human Video

사람 영상은 장소와 행동을 다양하게 얻을 수 있어 목표 함수, 물체의 조작 가능성, 시각 표현 등을 배우는 자료로 쓰입니다. 하지만 수동 촬영 영상에 동작 명령이 들어 있는 경우는 드뭅니다. 손 자세를 추정하거나 별도 로봇 시연을 섞고, 사람과 로봇 사이에 동작을 다시 매핑해야 합니다. 사람과 로봇이 보는 시점의 차이도 남습니다. UMI는 같은 형태의 그리퍼와 손목 시점을 공유하고, 영상과 관성 신호에서 조작 궤적을 추출해 이 차이를 줄입니다. 원문 II-B

II-C Hand-Held Grippers for Quasi-static Actions

기존 휴대형 도구에는 영상만으로 구조와 동작을 복원하는 SfM, RGB-D 융합, 외부 모션 캡처 등이 쓰였습니다. 각각 실제 길이 단위의 추정, 장비 비용과 휴대성, 실험실 밖에서의 사용에 제약이 있습니다. Dobb-E의 아이폰과 집게는 가정에서 시연하기 쉬운 접근이지만, 원문은 느린 단팔 조작과 환경별 미세조정에 초점을 맞춘 선행 사례로 소개합니다. UMI는 GoPro IMU를 영상에 결합해 빠른 움직임에서 미터 단위의 자세를 복원하고, 물리적 지연을 처리해 동적 동작에도 이어 쓰고자 합니다. 원문 II-C

📖 Chapter III: Method

저자들이 제시한 네 목표는 휴대성, 복잡한 동작을 기록하는 능력, 정책에 충분한 관측과 행동, 여러 연구팀이 재현할 수 있는 구성입니다. 같은 몸체 좌표를 모든 수집 장소에 정의하기 어려우므로, 하드웨어가 만들어 주는 공통 관측과 정책이 받아들일 공통 표현을 함께 설계합니다. 원문 III절

III-A Demonstration Interface Design

  1. HD1 손목 카메라. 손잡이의 트리거로 두 손가락을 여닫는 3D 프린트 평행 집게에 GoPro를 붙입니다. 양팔 동작에는 같은 도구를 하나 더 씁니다. 로봇에도 카메라와 3D 프린트 손가락의 상대 위치를 같은 형태로 맞춰 외부 카메라와 로봇 월드 좌표 사이의 보정 부담을 줄입니다. 카메라가 손을 따라 움직이면서 배경이 달라지고, 저자는 이를 배경에 대한 의존을 낮추는 요인으로 봅니다. Figure 2 및 III-A
  2. HD2 넓은 시야. 155° 어안 영상은 중심부 해상도를 보존하고 주변부를 압축합니다. 이를 큰 화각의 핀홀 이미지로 펴면 주변이 크게 늘어나고 중심의 작업 영역이 작아집니다. UMI 정책은 왜곡을 펴지 않은 어안 영상을 받습니다. 넓은 화면은 물체를 더 오래 볼 수 있게 하고 SLAM의 특징점과 프레임 사이 겹침에도 도움이 됩니다. 원문 Figure 3
  3. HD3 거울이 만든 시차. 두 거울은 주변부 영상 안에 광학 중심이 다른 가상 시점을 만듭니다. 정면에서 접시의 오염이 가려져도 옆 거울에는 보일 수 있습니다. 실제 깊이 센서를 추가하지 않고 RGB 영상에서 시차를 활용할 단서를 얻습니다. 반사 패치의 방향을 뒤집고 좌우 패치를 교환해 직접 영상과 물체 방향을 맞춥니다. 원문 Figure 4 및 V-A
  4. HD4 관성 정보를 쓰는 추적. ORB-SLAM3 기반 단안 시각·관성 SLAM이 영상과 MP4의 IMU 측정을 함께 최적화합니다. 빠르게 움직이거나 무늬가 없는 책상을 바라봐 영상 추적이 잠시 불안정할 때 관성 신호가 추적을 지탱합니다. 결합 추정으로 미터 단위 크기를 얻어 손끝 궤적과 두 집게 사이의 자세를 계산할 수 있습니다. 원문 III-A HD4
  5. HD5 연속적인 집게 폭. 마커를 이용해 손가락 사이 너비를 프레임마다 추적합니다. 물체마다 폭이 다른 투척에서 이런 신호는 어느 순간 물체를 놓았는지 기록하는 데 쓰입니다. 95A TPU 손가락은 물체에 닿으면 변형되므로 더 좁은 폭을 명령해 변형 정도를 달리할 수 있습니다. 힘 신호는 따로 측정하지 않으며 저자는 이 변형을 이용한 간접적인 파지력 제어로 설명합니다. 원문 III-A HD5와 부록 F
  6. HD6 로봇 제약에 맞춘 필터링. 배포 로봇의 베이스 위치와 기구학을 알면 SLAM으로 복원한 절대 손끝 궤적의 실행 가능성을 검사할 수 있습니다. 사람이 보여준 모든 경로가 특정 로봇의 도달 범위·관절 구조와 맞지는 않으므로, 실행 가능한 시연을 고르는 단계입니다. 논문의 휴대형 집게는 780 g, 손가락 이동 범위 80 mm이며 인쇄 그리퍼 부품은 73달러, GoPro와 부속은 298달러입니다. 원문 III-A HD6·하드웨어 사양

III-B Policy Interface Design

PD1.1 관측 지연 보정. 시연 영상, 관성 데이터, 영상에서 구한 너비는 같은 기준 시각을 사용할 수 있습니다. 실제 로봇에서 RGB, 손끝 자세, 집게 폭은 별개 센서와 제어기를 거쳐 도착합니다. UMI는 먼저 스트림별 지연을 측정합니다. 추론 때 대개 가장 느린 카메라의 촬영 시각을 기준으로, 자세와 너비 스트림을 그 시각에 선형 보간합니다. 양팔 카메라는 시간상 가장 가까운 프레임을 짝짓고, 원문은 이 방식에서 최대 1/60초의 어긋남을 보고합니다. 원문 III-B PD1.1

PD1.2 행동 지연 보정. 마지막 관측의 촬영 시각 $t_{\mathrm{obs}}$부터 펼친 궤적은 코드가 출력을 얻는 시각 $t_{\mathrm{out}}$에 이미 일부 지나가 있습니다. 기기 $d$에 명령을 보낸 뒤 실제 동작까지 추가로 $\ell_d$가 필요하면, 목표에 가장 빨리 닿을 수 있는 시점은 $t_{\mathrm{act},d}$입니다. Figure 5의 설명을 식으로 옮기면 아래와 같습니다. 목표 시각 $\tau$가 이보다 더 뒤에 있을 때만 실제 명령을 예약하고, 그보다 앞선 목표를 건너뜁니다. 목표 자세와 폭은 같은 시점에 이루어져야 하므로 팔과 집게에는 각자의 실행 지연만큼 다른 시각에 명령합니다. 원문 Figure 5와 III-B PD1.2

$$ t_{\mathrm{act},d} = t_{\mathrm{out}} + \ell_d, \qquad t_{\mathrm{send},d} = \tau - \ell_d \quad (\tau > t_{\mathrm{act},d}). $$

촬영에서 추론과 실행 지연을 지나며 이미 늦은 목표와 남은 목표를 가르는 시간축

팔과 집게별로 실행 가능한 목표 시각을 고릅니다. 원문 Figure 5와 III-B, PDF 5–6쪽을 바탕으로 작성한 독립 도식이며 시간 간격은 실측값을 나타내지 않습니다.

PD2.1 상대 행동, PD2.2 상대 자기 상태. 정책은 예측 경로의 모든 3차원 위치와 회전을 추론 시작 시점의 손끝을 공통 원점으로 표현합니다. 과거에 측정한 손끝 자세도 현재 손끝 기준으로 바꿉니다. 관측 두 스텝을 주면 두 자세의 차이에서 움직임 방향과 속도 단서를 얻을 수 있습니다. 손목의 RGB 영상과 이 표현의 조합은 전역 베이스 위치에 대한 의존을 줄입니다. 저자는 로봇 베이스가 움직여도 목표가 도달 범위 안에 있으면 작업을 이어가는 사례를 Figure 10에 제시합니다. 원문 Figure 6과 PD2.1–2.2 · Figure 10

PD2.3 두 그리퍼의 상대 자세. 각 새 장소에서 먼저 지도를 만들고, 두 카메라의 시연 영상을 같은 지도에 따로 재위치시킵니다. 공통 지도에서 왼손과 오른손 자세를 $T_L$, $T_R$로 쓰면 왼쪽 손 기준의 오른손 자세는 $T_L^{-1}T_R$입니다. 두 카메라의 시야가 거의 겹치지 않아도 이 값으로 다른 손이 어느 위치까지 왔는지 정책이 받을 수 있습니다. 배포 실험에서는 두 팔과 두 집게의 행동을 중앙 정책 하나가 예측합니다. 원문 III-B PD2.3 및 V-C

📖 Chapter IV: Evaluations

평가를 읽을 때 먼저 세 질문을 구분할 필요가 있습니다. 수행 능력은 시연한 환경에서 초기 자세와 물체 위치를 바꿔도 계획한 작업이 되는지 봅니다. 일반화는 새 물체와 장소에서 추가 학습 없이 실행하는지 봅니다. 수집 효율은 정해진 시간 안에 모은 시연의 수와 복원한 손끝 자세의 정확도를 각각 봅니다. Figure 7의 네 작업은 방향 맞추기, 빠른 릴리스, 양팔 협응, 여러 단계의 연속 실행이라는 서로 다른 요구 조건을 담고 있습니다. 원문 IV절과 Figure 7

📖 Chapter V: Capability Experiments

네 과제는 시연을 모은 환경에서 평가합니다. 초기 물체·로봇 자세는 여럿으로 바꾸되 같은 과제의 모든 방법이 동일한 초기 상태를 쓰도록 기준 이미지에 맞추었습니다. 이 설계는 비교 대상에 유독 쉬운 시작 위치가 배정될 가능성을 줄입니다. Figure 8의 전체 성적을 아래처럼 옮겼습니다. 투척 분모는 물체 수이고, 나머지는 작업 시행 수입니다. 원문 V절 및 Figure 8, PDF 8쪽

과제 시연 수 UMI 같은 과제의 비교 조건
컵 배치 305개, 2명 UR5 20/20 (100%) 같은 체크포인트로 Franka FR2 18/20 (90%)
동적 투척 280개 105/120개 (87.5%) 같은 정책에서 지연 보정 제거 69/120개 (57.5%)
양팔 옷 접기 250개, 2명 14/20 (70%) 집게 간 상대 자세 제외 6/20 (30%)
설거지 258개, 1명 CLIP 사전학습 ViT-B/16 14/20 (70%) 처음부터 학습한 ResNet-34 0/10 (0%)

V-A Cup Arrangement

목표는 에스프레소 컵을 받침에 똑바로 놓고 손잡이를 로봇 기준 왼쪽 ±15° 이내로 맞추는 것입니다. 컵 몸통을 직접 잡는 동작과 옆에서 밀어 돌리는 동작이 섞입니다. 손잡이가 로봇 반대쪽을 향할 때 양방향 회전이 모두 답이 될 수 있어, 입력 하나에 여러 유효 궤적이 존재하는 사례이기도 합니다. 시연 305개로 학습한 정책은 UR5에서 20/20이었고, 동일 체크포인트를 Franka FR2에 옮겼을 때 18/20이었습니다. Franka의 두 실패는 관절 한계 위반으로 보고됐습니다. 원문 V-A와 Figure 8

컵 배치 변경 조건 성공 원문에서 확인한 현상
어안 영상 대신 69° × 69° 영상 11/20 (55%) 컵·받침이 시야 밖에 나가고, 물체가 보이는 상황에서도 떨리는 동작이 관찰됨
직전 목표 기준 델타 행동 16/20 (80%) 목표를 한 스텝씩 상대적으로 표현
베이스 기준 절대 자세 5/20 (25%) 동작 편향이 관찰됐으며, 저자는 SLAM과 로봇 좌표의 보정 오차를 가능한 원인으로 지목
거울 없음 18/20 (90%) 손목 카메라 직접 영상 사용
반사 패치 그대로 입력 17/20 (85%) 직접 영상과 거울 속 물체 방향이 반대
패치 반전 및 양쪽 교환 20/20 (100%) 직접 영상과 시각적 물체 방향을 맞춤

위 표는 Figure 8과 V-A의 수치와 설명을 다시 정리한 것입니다. 69° 조건은 다른 카메라를 장착한 비교가 아니라 원래 영상의 왜곡을 펴고 잘라 시야를 제한한 조건입니다. 절대 자세 비교에서는 공통 마커로 로봇과 SLAM 좌표를 보정했습니다. 논문은 더 좋은 보정으로 결과가 나아질 가능성을 열어 둡니다. 거울 비교에서는 직접 영상과 반사 영상에서 움직임의 방향이 다르면 인코더가 혼동할 수 있다는 저자 해석을 제시합니다. 원문 V-A와 Figure 8

V-B Dynamic Tossing

야구공·오렌지·사과는 둥근 통에, Duplo 블록 세 개는 사각 통에 던집니다. 두 통은 로봇 팔이 물체를 든 채 직접 내려놓을 수 없는 위치에 있습니다. 시연 280개에는 한 번에 한 물체를 집는 경우와 여러 물체를 집는 경우가 섞입니다. 측정한 관측·행동 지연을 쓰면 105/120개를 올바른 통에 던졌습니다. 같은 체크포인트에서 측정 지연만 모두 0으로 두면 69/120개였고, 성공률 차이는 30%p였습니다. 보정 없는 조건도 물체를 집을 수 있었지만 팔 속도가 불안정해지고, 팔과 집게의 실행 시간차로 물체를 놓는 순간이 어긋났습니다. 원문 V-B 및 Figure 8 · 지연 제거 비교 설명

V-C Bimanual Cloth Folding

두 팔로 스웨터 소매들을 안에 넣고, 밑단을 들어 올려 접고, 90° 돌린 다음 다시 반으로 접습니다. 두 팔과 두 집게의 시퀀스를 정책 하나가 함께 생성합니다. 시연은 2명이 250개를 수집했고 옷의 위치·회전과 소매 상태를 바꿨습니다. 집게 간 자세를 학습과 평가 양쪽에서 빼면 6/20, 포함하면 14/20이었습니다. 대표적인 실패는 밑단을 들 때 한 팔이 먼저 움직여 반대쪽이 천을 놓치는 경우입니다. 전체 정책은 양팔이 먼저 잡을 위치에 도달하기를 기다렸다가 동시에 천을 집는 행동을 보였습니다. 원문 V-C

V-D Dish Washing

설거지는 수도꼭지를 열고 접시와 스펀지를 집은 뒤, 오염이 없어질 때까지 씻고 닦고, 접시와 스펀지를 내려놓고 수도를 잠그는 일곱 단계입니다. 접시를 한 손에 잡은 채 다른 손으로 흐르는 물에 맞춰 스펀지를 움직이며, 수도꼭지에는 부드러운 집게의 수동 순응성이 쓰입니다. 케첩 양상과 도구 위치, 수도꼭지 각도를 바꿔 258개를 수집했습니다. 추가 오염이 생기면 다시 닦는 회복 동작도 시연에 포함했습니다. 원문 V-D

CLIP 사전학습 ViT-B/16을 미세조정한 정책은 14/20, 처음부터 학습한 ResNet-34 정책은 0/10이었습니다. 저자는 후자가 접시나 스펀지 위치 변화에 반응하지 않는 행동을 관찰했다고 보고합니다. 이 비교에서는 모델 구조와 사전학습 유무가 함께 달라집니다. 머스터드와 초콜릿·캐러멜 시럽, 추가 오염에 대응하는 사례도 있지만, 원문은 이를 Figure 10의 정성 시연으로 제시합니다. 원문 V-D 및 Figure 10

📖 Chapter VI: In-the-wild Generalization Experiments

3명이 12인시 동안 가정, 사무실, 식당, 야외를 포함한 물리적 장소 30곳에서 컵 배치 시연 1,400개를 기록했습니다. 본문은 수집에 사용된 색·모양·재질이 다른 컵 15개를 언급합니다. 부록 Figure A2는 별도로 구매한 20종 중 훈련용 18종과 시험용 2종을 배정했다고 설명합니다. 수치의 기준이 다르므로 수집 기술과 구매·배정 기술을 각각 읽었습니다. 대규모 실험과 실험실 데이터 비교에는 같은 CLIP 사전학습 ViT-L/14 인코더를 사용했습니다. 원문 VI절 · 부록 Figure A2

카페 야외의 금속 테이블에서는 훈련 컵 5종과 새로운 컵 2종을, 물이 흐르는 검은 분수대에서는 훈련 컵 3종과 새로운 컵 2종을 실험했습니다. 각 환경의 컵 종류마다 시작 자세가 다섯 가지입니다. 새 컵 둘은 진한 파란색과 갈색 고리 무늬로 각각 훈련 데이터와 달랐습니다. 카페의 행인, 분수대의 색과 물 때문에 배경과 표면 조건도 바뀝니다. 새 환경과 물체를 함께 시험하는 장면을 만들되, 이미 본 컵의 결과도 따로 집계했습니다. 원문 VI절과 Figure 9

학습 데이터와 평가 컵 카페 테이블 분수대 합계
현장 데이터 · 훈련 컵 16/25 12/15 28/40 (70%)
현장 데이터 · 처음 보는 컵 6/10 9/10 15/20 (75%)
현장 데이터 · 전체 22/35 21/25 43/60 (71.7%)
실험실 데이터만 사용 · Figure 9의 비교 시도 0/10 0/10 0/20 (0%)

Figure 9의 환경별 실험 수를 재정리한 표입니다. 실험실 데이터 정책은 같은 사전학습 인코더에도 새 환경에서 컵으로 접근하지 못했다고 저자들은 설명합니다. 두 조건은 수집 환경뿐 아니라 데이터 규모도 다릅니다. 결과는 두 수집 조건의 차이를 보여 주며, 표의 0/20과 43/60은 서로 다른 시행 수에서 얻었습니다. 원문 Figure 9 및 VI절

📖 Chapter VII: Data Collection Throughput and Accuracy

처리량. 같은 조작자가 15분 동안 맨손, UMI, SpaceMouse 원격 조작으로 시연을 수집했습니다. 작업 초기화, 물체 재배치, 로봇 오류 복구 시간도 포함했습니다. Figure 11의 시간당 처리량(CPH)은 컵 배치에서 UMI 111, 맨손 231, 원격 조작 35입니다. 투척에서는 각각 149, 237, 0입니다. 컵 배치에서 UMI의 수집 속도는 원격 조작의 세 배가 넘었고, 원격 조작으로는 15분 안에 성공한 투척 시연을 한 건도 얻지 못했습니다. 맨손은 물체를 바로 재배치할 수 있어 리셋도 빨랐습니다. 원문 VII절 및 Figure 11

정확도. 모션 캡처를 정답으로 삼은 별도 데이터에는 단일 집게 과제 7개와 양팔 집게 과제 7개가 있습니다. 단일 집게의 절대 궤적 오차(ATE) 평균은 위치 6.1 mm와 회전 3.5°입니다. 양팔에서 두 집게 사이의 상대 자세 오차(RPE) 평균은 위치 10.1 mm와 회전 0.8°입니다. 앞의 위치 수치는 집게 하나의 궤적에 대한 것이고, 뒤 수치는 두 집게의 상대 관계에 대한 것입니다. 원문 VII절 및 Figure 12

📖 Chapter VIII: Limitations and Future Works

저자는 세 가지 제약을 명시합니다. 첫째, 수집 당시 배포 로봇의 관절 제약을 몰라 나중에 불가능한 궤적을 거릅니다. 저자들은 해당 로봇에서 재현하기 어려운 시연에서도 기술을 옮기는, 로봇 몸체의 제약을 고려한 학습을 제안합니다. 둘째, SLAM은 장면에 시각 특징이 충분해야 하므로 흰 벽처럼 무늬가 없는 환경에서 어렵습니다. 저자는 고정 외부 카메라와 추가 마커를 활용하는 방안을 제시합니다. 셋째, 손으로 직접 시연하는 편이 아직 빠릅니다. 그리퍼의 무게와 크기, 사람 손보다 적은 자유도를 이유로 들며, 가벼운 재질과 인체공학적 설계 또는 사람 동작에서 옮겨갈 수 있는 로봇 손을 연구 방향으로 적습니다. 원문 VIII절

📖 Chapter IX: Conclusion

UMI는 같은 형식의 관측과 동작 정보를 만들고, 서로 다른 로봇에 적용하는 정책 인터페이스를 구성했습니다. 논문은 설거지·양팔 접기·투척을 예로 들어 손에 든 장치가 복잡한 행동을 학습할 정도의 정보를 남긴다고 정리합니다. 저자들은 표준 MP4를 그대로 전송할 수 있다는 성질에서, 여러 지역의 비전문가가 분산 수집에 참여할 가능성을 봅니다. 조립 문서, 코드, 실험 영상은 저자 프로젝트에 연결돼 있습니다. 원문 IX절 · 저자 프로젝트

📖 Chapter A: Latency Measurement

  1. Camera Latency Measurement. GoPro Hero 9의 영상은 Media Mod와 HDMI 캡처 카드를 지나 컴퓨터에 도달합니다. 모니터에 현재 시각을 나타내는 QR 코드를 보여 주고, 수신 영상에서 그 코드를 읽습니다. $t_{\mathrm{recv}}$는 영상 또는 상태가 소프트웨어에 도착한 시각, $t_{\mathrm{display}}$는 QR에 기록된 시각, $\ell_{\mathrm{display}}$는 화면 갱신 지연입니다. 원문 부록 A.1과 Figure A1
  2. Proprioception Latency Measurement. Franka FR2처럼 기기가 타임스탬프 $t_{\mathrm{robot}}$을 제공하면 수신 시각과의 차이에서 상태 관측 지연 $\ell_{\mathrm{obs}}$을 구합니다. 타임스탬프가 없는 UR5와 Schunk WSG-50의 상태 관측 지연은 ICMP 왕복 시간의 절반으로 근사합니다. 원문 부록 A.2
  3. Gripper Execution Latency Measurement. 사인파 형태로 목표 그리퍼 폭을 보내고 되돌아온 실제 폭 시계열과 가장 잘 정렬하는 시간 이동을 찾습니다. 그 전체 지연 $\ell_{\mathrm{e2e}}$에서 관측 지연을 빼면 기기의 행동 지연 $\ell_{\mathrm{action}}$이 됩니다. 원문 부록 A.3
  4. Robot Execution Latency Measurement. 로봇 팔도 목표 손끝 자세와 측정 자세 시계열을 비교합니다. 저자들은 안전을 위해 이때 목표 궤적을 직접 원격 조작해 생성했습니다. 원문 부록 A.4
$$ \begin{aligned} \ell_{\mathrm{camera}} &= t_{\mathrm{recv}}-t_{\mathrm{display}}-\ell_{\mathrm{display}},\\ \ell_{\mathrm{obs}} &= t_{\mathrm{recv}}-t_{\mathrm{robot}},\\ \ell_{\mathrm{action}} &= \ell_{\mathrm{e2e}}-\ell_{\mathrm{obs}}. \end{aligned} $$

📖 Chapter B: Data Collection Protocol

수집은 양팔 카메라 시계 동기화, 그리퍼 폭 보정, 지도 작성, 시연 녹화 순입니다. 양팔 GoPro는 스마트폰의 시각 QR 코드로 내부 시계를 맞추며 단팔 수집에서는 생략합니다. 폭 보정은 집게를 다섯 번 열고 닫는 영상으로 제조 편차를 반영합니다. 새 장소에서는 약 1분 동안 필요한 공간을 천천히 훑고 작업 때 자주 볼 부분을 추가로 촬영합니다. 필요하면 지도 촬영 때 마커를 두고 시연 때는 치웁니다. 원문 부록 B, PDF 15쪽

한 시연을 MP4 하나로 기록하므로 파일 시작·끝이 에피소드 경계가 됩니다. 두 손을 쓰는 경우에는 GoPro 음성 명령으로 녹화를 조작합니다. 변환 과정은 카메라 일련번호로 좌·우 그리퍼를 식별한 뒤 영상을 시간에 맞게 쌍으로 묶고 SLAM과 마커 검출로 행동을 복원합니다. 원문 부록 B, PDF 16쪽

📖 Chapter C: Evaluation Protocol

  1. Initial State Selection. 시작 자세와 물체 배치를 여러 가지로 선정하고 후보 자세를 원격 조작으로 점검해 기구학적으로 가능한지 확인합니다. 평가 운영자는 외부 카메라의 기준 이미지를 보고 시행별 초기 상태를 맞춥니다. 원문 부록 C.1
  2. Termination Criteria. 시행은 안전 우려, 로봇 자체 오류, 시간 제한, 과제 완료로 종료합니다. 시간 제한은 보통 과제 시간 중앙값의 3–5배로 설정했고, 안전과 성공에는 운영자 판단이 개입합니다. 원문 부록 C.2
  3. Success Criteria. 컵 손잡이는 왼쪽 ±15°를 허용하며, 새 환경에서는 시행마다 처음 집게가 본 방향으로 ‘왼쪽’을 정합니다. 투척 물체가 통 바닥에 닿은 뒤 튀어나와도 성공으로 셉니다. 옷의 양 소매가 안에 들어 있고 접힌 투영 모양이 몸통 약 4분의 1 크기의 사각형과 비슷해야 합니다. 설거지는 접시가 깨끗한 상태로 꽂혀 있어야 하며 5 mm 미만 얼룩은 허용합니다. 이 판정 기준을 알면 성공률이 무엇을 측정했는지 구체적으로 이해할 수 있습니다. 원문 부록 C.3, PDF 16–17쪽

📖 Chapter D: SLAM System Details

저자는 빠른 손 동작에서 ORB-SLAM3의 단안·관성 초기화가 길어지거나 불안정해 앞부분에 카메라 자세가 없는 문제가 있었다고 보고합니다. Map as Initialization은 미리 촬영한 지도를 불러와 위치를 찾고, 이후에는 정상 SLAM을 이어가면서 새 특징점을 추가하고 최적화합니다. 위치 추정 결과를 기존 지도에 고정하는 기본 모드와 달리, 조작으로 장면이 바뀌는 상황을 다룹니다. Marker-enhanced Initialization은 멀리 있는 특징점이나 반복 무늬로 대응이 모호할 때 크기를 아는 마커를 지도 작성에 넣어 가능한 초기 해석을 줄입니다. 실제 시연 영상에는 이 초기화 마커를 남기지 않습니다. 원문 부록 D

📖 Chapter E: Policy Implementation Details

  1. Vision encoder. 그림에서 내용이 복잡한 작업에는 CLIP 사전학습 ViT를 사용하며 이미지 인코더 학습률은 행동 생성부의 10분의 1입니다. 현장 컵 배치의 ViT-L/14는 영상 관측을 한 스텝만 사용하지만 자기 상태 입력은 여전히 두 스텝입니다. 투척과 옷 접기에는 사전학습 없는 ResNet-34가 쓰였습니다. 원문 부록 E.1 및 Table A1
  2. Frequency. 대부분 과제의 관측·행동은 10 Hz이고 빠른 반응이 필요한 투척은 20 Hz입니다. Table A1에서 모든 과제의 행동 구간은 6스텝이고, DDIM 스케줄러는 학습 확산 50스텝과 추론 16스텝을 사용합니다. 원문 부록 E.2 및 Table A1
  3. Speed. 목표 자세 시퀀스를 실제로 재생할 간격은 시연과 다르게 설정할 수 있습니다. 투척은 릴리스 속도를 유지하려고 사람 시연과 같은 속도를 씁니다. 나머지 과제에서는 절반 속도로 실행했을 때 동작이 부드러웠습니다. 저자는 남은 시간 보정 오차가 원인일 수 있다고 설명합니다. 원문 부록 E.3
  4. Image Augmentation. 논문은 0.95 비율 무작위 크롭, −5°~5° 무작위 회전, 밝기·대비·채도·색조 변화로 이미지 관측을 다양화합니다. 원문 부록 E.4

📖 Chapter F: Hardware Implementation Details

  1. Soft Compliant Fingers. 95A TPU를 인쇄한 리브 구조는 끝부분이 버티도록 하면서도 물체 표면에 맞춰 손가락이 일부 변형되도록 합니다. 시연과 배포는 같은 형태의 손가락을 씁니다. 저자들은 변형이 수도꼭지 돌리기나 탁자에서 얇은 옷감을 집는 접촉 동작에도 도움이 된다고 설명합니다. 원문 부록 F.1 및 Figure A3
  2. Franka Mount. 원문은 FR2의 손끝 피치 제약을 고려해, WSG-50 그리퍼를 플랜지에 대해 90° 회전시키는 어댑터를 제작했다고 설명합니다. 같은 체크포인트를 다른 로봇에 올리는 실험에도 장착 형상과 도달 범위를 맞추는 작업이 있었습니다. 원문 부록 F.2

실험 결과 심층 분석

투척에서는 실행 시점의 비교가 분명합니다. 저자는 학습된 가중치를 그대로 두고 관측·행동 스트림의 지연값을 0으로 바꿨습니다. 105/120개 대 69/120개의 차이는 센서와 팔, 집게가 다른 타이밍으로 움직일 때 나타난 차이입니다. 여섯 물체가 같은 시행에 속하므로, 이 120개를 모두 독립적인 시행으로 해석할 근거는 없습니다. 컵의 절대 좌표 비교는 기준 마커 보정도 필요했으므로, 그 5/20에는 표현과 보정 조건이 함께 반영됩니다. 원문 V-A·V-B 및 Figure 8

양팔 실험은 두 손의 관계를 입력으로 주는 효과를 봅니다. 두 팔이 서로 다른 카메라를 받기 때문에 한 손이 잡을 위치에 도달했는지 다른 손의 영상만으로 알기 어려운 경우가 있습니다. 상대 자세를 넣은 조건은 14/20, 뺀 조건은 6/20이었으며 저자는 밑단 잡기에서 드러난 시간차를 관찰했습니다. 반면 설거지에서 ViT와 ResNet 비교는 인코더 용량과 사전학습을 함께 바꿉니다. 성공률 차이를 두 요인 중 하나에 배정하기는 어렵습니다. 원문 V-C·V-D

현장 데이터 평가의 분모는 두 장소의 60회입니다. 학습에 쓰인 컵과 처음 보는 컵을 모두 다른 장소로 가져가 시험했습니다. 처음 보는 컵의 15/20이 이미 본 컵의 28/40보다 높지만, 이 비교만으로 새 컵이 더 다루기 쉽다고 일반화할 수 없습니다. 장소마다 서로 다른 컵과 초기 자세를 평가했고 정책 성능 차이의 유의성 검정이나 신뢰구간은 논문에 보고되지 않았습니다. 보고된 성공률은 지정된 초기 조건과 부록 C의 운영자 판정 기준에서 나온 관찰값입니다. 원문 VI절 및 Figure 9 · 평가 규칙

기술적 함의와 응용

시연을 실제 장치로 옮기는 모방 학습에서는 어떤 모델을 쓰는지와 함께 시연 관측이 배포 관측과 어떻게 연결되는지가 중요합니다. UMI에서는 손목 카메라의 관점을 맞추고, 손끝 자세를 같은 상대 기준으로 바꾸고, 실행 시점을 기기마다 보정했습니다. 세 조건은 각각 시야, 좌표, 시간에서 발생하는 차이를 줄입니다. 컵 배치와 투척을 함께 보면 느린 작업에서의 공간 표현과 빠른 작업에서의 시간 표현을 따로 설계한 이유를 이해할 수 있습니다. 원문 III절과 V절

휴대형 시연 장치가 유용한 상황은 로봇을 여러 장소에 설치하기 어려우면서 동작의 방향과 속도까지 기록해야 하는 경우입니다. 이 논문의 장점은 손목 시점의 영상, 미터 단위 궤적, 연속 그리퍼 폭을 같은 수집 과정에서 남긴다는 데 있습니다. 같은 모델을 배포한 두 로봇의 관절 범위와 장착 조건, 캡처·명령 지연을 따로 확인한 사례는 하드웨어를 바꿀 때 어떤 부분을 손봐야 하는지도 보여 줍니다. 원문 Figures 2·5·8, 부록 A·F