Post on 05-Jan-2016
description
Personal Rehabilitation Exercise Assistant with Kinect and
Dynamic Time Warping
Chuan-Jun Su
International Journal of Information and Education Technology, Vol. 3, No. 4, August 2013
復健醫學◦ 傳統的復健治療◦ 以家庭為背景的復健治療
提出使用 Dynamic Time Warping 演算法及fuzzy Logic 完成透過 Kinect 以家庭為背景的復健治療方法
研究背景
相關研究
Kinect 簡介
Kinect
3D 深度影像 ( 透過左右兩顆鏡頭 )
彩色影像 ( 透過中間那顆 RGB 鏡頭 )
聲音 ( 透過陣列式麥克風 )
馬達
歐氏距離可以簡單的比較兩個序列,但是每個病患完成同樣動作的時間會有所不同。
因此透過需要不具有上述歐氏距離的方法,來確認患者與標準動作的正確性,這邊使用到 DTW 演算法來完成。
DTW(Dynamic Time Warping)動態時間校正演算法
定義 : 用來測量時間或速度可能會有所不同的兩個序列彼此間的相似性。
最初是用來進行語音識別的技術,後來應用到許多領域。
DTW(Dynamic Time Warping)動態時間校正演算法 (續 )
當醫生在復健治療評估動作正確性時往往是根據自己的經驗,不能設定一個標準值。
與傳統邏輯差別在於,傳統二元邏輯不是真就是假,模糊邏輯則可能有一個值,並取其在某範圍之間
因此希望透過收集醫師的經驗以及 DTW 演算法的數據幫助建立模糊推理的算法
模糊邏輯
研究方法
近年來已演變為一個可行的替代住院復健方式,其目的為提供一種在家庭復健治療的服務◦ 肌肉力量和耐力訓練◦ 治療性訓練◦ 平衡訓練◦ 行走訓練◦ 物理治療◦ 復健醫學
以家庭為基礎的復健治療
系統架構圖為使用者提供透過 Kinect 在家進行復健治療的功能
使用資料庫、使用者資料
包含了幾個功能, (1) 擷取使用者的動作 (2) 重播使用者在家進行的情形 (3) 復健治療評估功能
(1) 擷取使用者的動作◦ 透過 Kinect 擷取並記錄
儲存擷取到的骨架三維座標資訊
以 Kinect為基礎的復健管理模組
(2) 重複播放功能◦ 允許使用者播放在醫院的復健醫療影片◦ 記錄使用者在家進行復健治療的影片◦ 供之後進行復健治療的評估
以 Kinect為基礎的復健管理模組
(3) 復健治療評估
以 Kinect為基礎的復健管理模組
DTW(Dynamic Time Warping)動態時間校正演算法
有二個向量 X 和 Y ,其長度分別為 m 和 n , DTW 的目的就是希望找出一條路徑 P 經過 p1,p2,p3….pk ,其中 pk
的形式為 (xi,yj) , i 表示向量 X 中第 i 個點, j 表示 Y 中第 j 個點。
端點關係 :DTW 計算須滿足起始點是 p1=(x1,y1) 及終點是 pK=(xm,yn)
局部關係 :DTW 計算滿足當 pk=(xi,yj), 其鄰近點需為pk+1=(xi’,yi’) , i<=i’<=i+1 ,j<=j’<=j+1
DTW(續 )
Dist(P)=
Dist(pki,pkj) 為任一可計算二點距離的方式, Dist(P)為 DTW 演算法計算結果。
Dist(P) 越低,代表其相似程度越高
K
kkjki ppDist
1
),(
DTW(續 ) 進行 DTW 計算時通常會先建立一個矩陣 D ,其維
度為 m*n ,接著根據端點關係的條件來填入D(1,1) ,然後再根據遞迴的方式,逐行或逐列算出D(i,j) 。
因此在實際計算時,通常會使用遞回的方法進行運算,如下表示 :D( i , j )=Dist( i , j )+min[D( i-1 , j ), D( i , j-1 ), D( i-1 , j-1 )]
A-向量 a1 a2 a3 a4
x座標 2 5 3 7
y座標 3 4 2 5
假設 A,B 兩向量如下表 :
B-向量 b1 b2 b3
x座標 6 4 2
y座標 4 2 2
首先我們會算出 A 及 B 向量中,任二點彼此間所花費的距離成本
12.4)43(62 22
a1 a2 a3 a4
b1
b2
b3
a1=(2,3),b1=(6,4)
距離成本
2.24
1
1
2.24
3.61
3.61
1
1
1.414
4.24
5.83
DTW結果
C 1 2 3 4
1
2
3
D( i , j )=Dist( i , j )+min[D( i-1 , j ), D( i , j-1 ), D( i-1 , j-1 )]
C 11=(a1, b1)C12=(a2, b1)+ C 11
C13=(a3, b1)+C12
C14=(a4, b1)+ C13
C21=(a1, b2)+C11
C22=(a2, b2)+ Min(C11,C21,C12)
C23=(a3, b2)+ Min(C12,C13,C22)
C21=(a4, b2)+ Min(C13,C14,C23)
C31=(a1, b3)+C21
C32=(a2, b3)+ Min(C21,C22,C31)
C33=(a3, b3)+ Min(C32,C22,C23)
C34=(a4, b3)+ Min(C23,C33,C21)
左手關節點座標
DTW 結果
通常醫師在進行治療時通常根據經驗來判斷,以”你的手臂位置太高”,”你移動得太快”等字詞來表示
輸出入定義輸入軌跡 : 相似、不相似輸入速度 : 速度太快、恰到好處、太慢輸出評價 :優秀、良好、不好
模糊規則 :規跡相似和速度恰到好處 -> 評價是優秀規跡相似或速度太慢 -> 評價是良好規跡不相似或速度太快 -> 評價是不好
模糊推理的設計
用來儲存復健治療資料以及用戶資訊
活動資料 : 儲存所有復健的活動紀錄,醫師可為他們的復健活動進行修改
使用者資料 : 儲存使用者的姓名、性別、身高體重等等以及在家進行治療的紀錄
資料儲存庫模組
在家進行復健治療能加快恢復 KRHD 可以幫助病人準確的復健治療 可以解決不便前往診所定期治療的問題
結論