OpenVLA

OpenVLA는 Stanford·UC Berkeley·Toyota Research Institute·Google DeepMind·Physical Intelligence·MIT 연구진이 2024년 6월 공개한 70억 파라미터 오픈소스 행동 생성 (VLA) 모델로, Prismatic-7B 이해·계획 (VLM) 모델을 바탕으로 했다. SigLIP과 DINOv2를 합친 비전 인코더가 카메라 이미지를 읽으면 Llama 2 7B 언어모델이 언어 지시와 함께 처리해 동작을 토큰으로 예측하고, 이 토큰을 연속 동작으로 바꿔 로봇에 보낸다. 학습에는 Open X-Embodiment의 실제 로봇 조작 궤적 약 97만 개를 썼고, A100 GPU 64장으로 15일이 걸렸다.

연구진은 29개 과제에서 파라미터가 7배 많은 비공개 모델 RT-2-X보다 절대 성공률이 16.5%p 높았고 새 환경 미세조정에서는 Diffusion Policy보다 20.4% 앞섰다고 보고했지만, 인터넷 지식이 필요한 의미 일반화에서는 RT-2-X가 더 나았다고 밝혔다. LoRA로 파라미터의 약 1.4%만 학습해도 전체 미세조정과 비슷한 성능을 냈고, 소비자용 GPU 미세조정과 양자화 추론이 가능하며, 체크포인트와 PyTorch 학습 코드가 공개됐다.