本发明公开了一种用于混合现实的人机交互设备与方法,结合了手机上对于平面交互界面的交互习惯和交互方式与混合现实中采用比较普遍的通过手柄对于三维物体进行交互的方式;本发明通过将现在大多数人都比较习惯的触摸屏设备集成在交互设备上,能够实现高效率的与平面界面进行交互,并且对于大多数经常接触智能手机的人群来说,学习成本非常低;对于混合现实系统中的三维物体,通过切换设备的操作模式,也可以轻松进行交互.本发明自由切换的工作模式能够适应混合现实中的大部分交互任务,并且保证用户的舒适与轻松,提升交互效率的同时,不会让用户感觉过多的疲劳.