TrackVLA
행동 생성 (VLA)발표일 2025.05가중치 비공개
갤봇·베이징대의 로봇 시점 시각 추적(사람·물체 따라가기) 행동 생성 (VLA) 모델로, 하나의 LLM 백본이 대상 인식과 앵커 기반 확산 궤적 플래너를 공유해요. 코드는 공개됐으나 체크포인트는 미공개로 집계돼요.
- 파라미터
- 7추정
- 제어 빈도
- 10공식
- 적용 로봇
- —
- 벤치마크 결과
- —
B (10억 개)
Hz · 행동 출력 빈도
윙치키에 연결된 로봇
수록된 점수
공식 자료프로젝트 페이지 pku-epic.github.io논문 arxiv.org코드 저장소 github.com
한눈에 읽기
무엇인가
- 행동 생성 (VLA) — Vision-Language-Action. 영상과 지시를 받아 로봇의 팔·손 동작으로 바꾸는 AI.
- 발표일 2025-05
- 가중치 비공개 — 설명·결과만 공개됨
확인된 정보
- 사양 9개 항목 중 8개에 값이 있음
- 공식 공식 7개: 구조, 입력, 제어 빈도 (Hz), 학습용 데이터셋, 적용 로봇 형태, 추론 하드웨어 외 1개
- 값 확인일 2025-05 · 값마다 출처는 아래 '구조와 학습' 표
확인이 필요한 정보
- 추정 값: 파라미터 (B)
- 수록된 로봇과의 연결 기록 없음 — 쓰이지 않는다는 뜻이 아니라 공개 자료에서 찾지 못했다는 뜻이에요
어떤 모델인가
TrackVLA는 베이징대 PKU-EPIC 연구실이 갤봇(Galbot)·베이항대 등과 함께 만든 행동 생성 (VLA) 모델이다. 로봇이 1인칭 카메라 영상만으로 지정한 대상을 찾아 계속 따라가는 '로봇 시점 시각 추적'용으로 만들었다. 영상 프레임과 추적 지시문을 받으면 Vicuna-7B 기반 LLM 백본 하나가 두 가지 일을 한다.
언어 헤드로는 대상을 알아보고, 앵커 기반 diffusion transformer 액션 헤드로는 이동 경로점을 출력한다. 시각 인코더 EVA-CLIP은 학습 내내 고정해 두었다. 학습에는 약 170만 개 샘플로 된 학습용 데이터셋을 썼다.
Habitat 3.0을 확장한 시뮬레이션에서 만든 추적 샘플과 사람 인식·영상 질의응답 샘플을 1:1로 섞었다. 연구진은 Gym-UnrealCV 공개 벤치마크에서 zero-shot으로 기존 방법을 앞섰다고 주장한다. Unitree Go2 사족보행 로봇 실험에서는 원격 RTX 4090 서버에서 약 10FPS로 추론했고, 가림이나 빠른 움직임 속에서도 대상을 따라갔다고 밝혔다.
CoRL 2025 논문이다. 평가 벤치마크 EVT-Bench는 CC BY-NC-SA 4.0으로 공개됐지만, TrackVLA 체크포인트는 공개되지 않았다.
회사 공식 페이지와 논문을 바탕으로 정리했어요. 성공률·최초 같은 표현은 회사 발표예요.
구조와 학습
| 구조 | 공유 LLM 백본(Vicuna-7B, 비전 인코더 EVA-CLIP 고정) + 대상 인식 헤드 + 앵커 기반 확산 궤적 플래너공식 |
|---|---|
| 입력 | 1인칭 RGB 프레임 시퀀스, 대상 외형을 설명하는 언어 지시공식 |
| 파라미터 (B) | 7추정 |
| 제어 빈도 (Hz) | 10공식 |
| 학습용 데이터셋 | 로봇 시점 시각 추적 샘플 85.5만 + 영상 질의응답(인식) 샘플 85.5만, 총 약 170만공식 |
| 적용 로봇 형태 | Unitree Go2 사족보행 로봇(Intel RealSense D455 카메라)공식 |
| 추론 하드웨어 | 원격 서버 NVIDIA RTX 4090공식 |
| 발표 벤치마크 | EVT-Bench(논문에서 제안) SR: STT 85.1 · DT 57.6 · AT 50.2; Gym-UnrealCV 제로샷(단일 대상 SR 1.00, 방해물 0.91, 미학습 물체 1.00)공식 |