崗位職責(zé)：
1、 前沿算法研究與開發(fā)：
· 方向一（VLA）： 研究、復(fù)現(xiàn)并創(chuàng)新基于視覺-語言-動作（VLA）模型的端到端決策控制算法。訓(xùn)練能夠?qū)⒆匀徽Z言指令、多模態(tài)感知信息直接映射為機(jī)器人動作或技能序列的大模型。
· 方向二（分層控制）： 設(shè)計并實現(xiàn)機(jī)器人的分層決策與控制架構(gòu)（如：LLM+VLA+Low-level Policy的三層架構(gòu)），包括高層任務(wù)規(guī)劃、中層技能序列生成與低層閉環(huán)控制之間的接口與協(xié)調(diào)機(jī)制。
· 探索大型語言模型（LLM）或大型視覺-語言模型（LVLM）作為機(jī)器人“任務(wù)規(guī)劃大腦”的應(yīng)用，實現(xiàn)基于場景理解的零樣本（Zero-shot）或少樣本（Few-shot）任務(wù)分解與規(guī)劃。
2、 負(fù)責(zé)機(jī)器人具身操作任務(wù)的強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)算法設(shè)計、開發(fā)和優(yōu)化；
3、 仿真與真實世界驗證：利用高逼真度仿真環(huán)境（如Isaac Sim, Unity, Mujoco）進(jìn)行大規(guī)模算法訓(xùn)練、測試和驗證，特別是在長尾場景下的表現(xiàn)；設(shè)計和實施Sim-to-Real遷移方案，解決真實世界中的不確定性等問題，確保算法的魯棒性和實用性。
4、 研究多模態(tài)學(xué)習(xí)方法，結(jié)合視覺、觸覺、力反饋提升機(jī)器人決策能力； 包括VLM的訓(xùn)練與微調(diào)，實現(xiàn)模型實際場景的落地需求，多模態(tài)數(shù)據(jù)集的構(gòu)建、清洗等，提升算法性能和決策質(zhì)量等。