如福爾摩斯等偵探或警探類的影視作品中，時常充斥著堆放滿桌的文件，以及牆上用圖釘及紅線搭建成的各節點關係網絡圖等。由此可見「視覺輔助」對大多數人的邏輯思考極為重要。電影「Iron Man (鋼鐵人)」中，主角 Tony Stark 在研發武器時，總是會使用立體投影的方式將虛擬的零件攤開擺放，並實際用手對空操作，包括拖拉物件、旋轉展示物件、沙盤演算實驗等。 這樣子的作法不但可以不被硬體裝置的操作限制，也更加直覺，對邏輯思考更有幫助。
許多 AR(擴增實境) 及 VR(虛擬實境) 技術所發展的應用早已普及，世界各地學者也多次嘗試將這些技術用於各式的操作訓練上，如消防演練、駕駛路考模擬、飛機模擬飛行等，但卻較少用於如手術模擬及一些較為細節的工程領域。這是因為傳統的 AR 技術仰賴 2D 影像辨識的運算，若想單純透過辨識 2D 影像繪製出 3D 建模，那結果將會是不準確且高誤差的。雖說 AI(人工智能) 技術強大，能用於矯正這些辨識誤差，但也實在難以達到高準確度的判斷，因此若將該科技就此用於手術模擬上，那將導致不可靠的訓練結果。本研究所提出的概念為，與其完全依賴影像辨識，不如將影像辨識與動作捕捉配備混合使用。
在大多數的外科手術上，快速了解患者身體狀況是極為重要的一環，過程往往需要爭分奪秒。本研究認為若是能將 X 光等影像透視技術與動作捕捉服裝結合，使 AI 透過影像辨識渲染出患者軀體的 3D 物件外，同時透過動作捕捉服裝取得患者肢體 3D 建模，將兩者數據交叉比對及校正，那麼將大大增加該患者軀體之 3D 物件的渲染準確度。甚至透過動作捕捉服裝監測患者的肢體運動，可以判斷出關節及肌肉分布，進行二次的校正，將 3D 建模準確度最佳化。最後，在擁有患者準確的軀體 3D 建模後，手術醫生便能在手術前事先於沙盤軟體模擬各種手術的細節操作，如落刀點、角度、力道等，以此增加實際手術時的成功機率。
