RT-2

구글 딥마인드🇬🇧 영국RT (Robotics Transformer) 계열

행동 생성 (VLA)발표일 2023.07가중치 비공개

웹 규모 이해·계획 (VLM) 모델(PaLI-X, PaLM-E)에 로봇 액션을 텍스트 토큰으로 공동학습시켜 'VLA'라는 개념을 정립한 모델. 미학습 물체·지시에 대한 일반화를 크게 향상.

파라미터: 55공식
제어 빈도: 3공식
적용 로봇: —
벤치마크 결과: —

공식 자료프로젝트 페이지 robotics-transformer2.github.io 논문 arxiv.org

무엇인가

행동 생성 (VLA) — Vision-Language-Action. 영상과 지시를 받아 로봇의 팔·손 동작으로 바꾸는 AI.
발표일 2023-07
가중치 비공개 — 설명·결과만 공개됨

확인된 정보

사양 9개 항목 중 7개에 값이 있음
공식 공식 7개: 구조, 파라미터 (B), 제어 빈도 (Hz), 학습용 데이터셋, 적용 로봇 형태, 추론 하드웨어 외 1개
값 확인일 2023-07 · 값마다 출처는 아래 '구조와 학습' 표

확인이 필요한 정보

값 없는 기본 사양 (공개 자료에서 찾지 못함): 입력
수록된 로봇과의 연결 기록 없음 — 쓰이지 않는다는 뜻이 아니라 공개 자료에서 찾지 못했다는 뜻이에요

어떤 모델인가

RT-2는 Google DeepMind가 2023년 7월 28일 공개한 행동 생성 (VLA) 모델로, 인터넷 규모의 시각·언어 이해를 로봇 제어로 바로 옮기려 했으며 논문에서 이런 모델을 '시각-언어-행동(VLA) 모델'이라고 처음 이름 붙였다. 카메라 이미지와 자연어 지시를 받는 대형 이해 모델 PaLI-X(55B, 비교 실험용 5B)와 PaLM-E(12B)를 백본으로 쓰고, 로봇 동작(계속·종료 여부, 위치·회전 변화, 그리퍼 상태)은 RT-1과 같은 방식으로 이산화한 숫자 토큰 문자열로 바꿔 언어처럼 생성한다. 학습에는 RT-1 때 로봇 13대로 17개월 동안 사무실 주방에서 모은 실제 시범 데이터와 웹 규모 시각 질의응답 데이터를 함께 써서 공동 파인튜닝했다.

DeepMind는 6,000회가 넘는 실제 로봇 시험을 했고, 처음 보는 상황의 성공률이 RT-1의 32%에서 62%로, 시뮬레이션 Language Table 벤치마크에서는 90%로 올랐다고 발표했으며, 기호 이해·추론·사람 인식 같은 창발적 능력과 행동 전에 계획을 언어로 먼저 쓰는 chain-of-thought 변형도 보여 줬다. 프로젝트 페이지와 블로그는 모델 가중치나 코드 공개를 안내하지 않는다.

회사 공식 페이지와 논문을 바탕으로 정리했어요. 성공률·최초 같은 표현은 회사 발표예요.

구조와 학습

공식보도루머추정— 값 없음

구조	PaLI-X / PaLM-E 이해·계획 (VLM) 모델, 액션을 256-bin 이산 토큰으로 출력공식
파라미터 (B)	55공식
제어 빈도 (Hz)	3공식
학습용 데이터셋	RT-1 로봇 데이터(13대, 17개월) + 웹 VQA·캡션 데이터 공동 파인튜닝공식
적용 로봇 형태	Everyday Robots 모바일 매니퓰레이터공식
추론 하드웨어	멀티 TPU 클라우드 서비스공식
발표 벤치마크	미학습 시나리오 성공률 62% (RT-1 32%)공식

출처 3건

robotics-transformer2.github.io [1]
arxiv.org [1]
deepmind.google [1]

한눈에 읽기