簡介
蘋果官方為我們提供了簡單手勢的識別器,但對于圖形手勢,例如五角星、三角形等的識別,就需要自己實(shí)現(xiàn)了。通過識別這些手勢,可以去執(zhí)行特定的操作,或是輸入公式、釋放魔法等,可以為App增光添彩。
下載與使用
該框架已經(jīng)上傳到github,點(diǎn)擊這里前去下載,歡迎Star!
有關(guān)該框架的使用在github上已經(jīng)寫明,這里不再贅述,本文主要介紹的是圖形手勢識別的實(shí)現(xiàn)原理與框架的結(jié)構(gòu)。
框架的結(jié)構(gòu)
一個圖形手勢是一條曲線,可以用采樣點(diǎn)來描述,存儲采樣點(diǎn)的類為SGGesturePoint,使用它替代CGPoint,更符合面向?qū)ο蟮牟僮饕?guī)范。
采樣點(diǎn)的集合為SGGestureSet,它用于記錄所有采樣點(diǎn)以及手勢的名稱,以及標(biāo)準(zhǔn)化以后的手勢向量。
手勢向量使用SGGestureVector存儲,向量通過將所有采樣點(diǎn)的(x,y)坐標(biāo)依次插入并標(biāo)準(zhǔn)化得來,手勢向量用于進(jìn)行余弦相似度計(jì)算。
用于標(biāo)準(zhǔn)化集合、生成向量、保存、加載與識別手勢的類為SGGestureManager,它是一個單例對象,正常使用中只需要關(guān)心manager和set兩個對象,其他對象由manager負(fù)責(zé)管理。
手勢采樣的過程
1.采樣
Demo中給出的是使用UIPanGestureRecognizer完成的采樣,每個采樣點(diǎn)都是一個CGPoint,將其包裝秤NSValue并且存儲在數(shù)組中。
2.生成集合
使用SGGestureSet的gestureSetWithName:points:方法,傳入手勢的名稱與采樣點(diǎn)(NSValue數(shù)組),即可使用采樣點(diǎn)初始化一個集合。
3.重新采樣
將集合中的所有采樣點(diǎn)構(gòu)成的圖形看作折線,根據(jù)所需要的采樣密度確定采樣間距interval,并在原曲線上生成均勻分布的采樣點(diǎn),生成采樣點(diǎn)的代碼如下,代碼后將結(jié)合圖例進(jìn)行講解。
// to resample the curve, calculate the length of the curve
SGGestureSet *tempSet = *set;
double sumLength = 0;
for (int i = 1; i < tempSet.countPoints; i++) {
SGGesturePoint *pt1 = [tempSet pointAtIndex:i];
SGGesturePoint *pt2 = [tempSet pointAtIndex:i - 1];
sumLength += [pt1 distanceTo:pt2];
}
// resample with sample uniform distributed points
SGGestureSet *resampleSet = [SGGestureSet gestureSetWithName:tempSet.name];
double Interval = sumLength / self.samplePointCount;
double D = 0;
SGGesturePoint *p1 = [tempSet pointAtIndex:0];
[resampleSet addGesturePoint:p1];
for (int i = 1; i < tempSet.countPoints;) {
SGGesturePoint *p2 = [tempSet pointAtIndex:i];
double d = [p1 distanceTo:p2];
if ((D + d) >= Interval) {
double k = (Interval - D ) / d;
double x = p1.x + k * (p2.x - p1.x);
double y = p1.y + k * (p2.y - p1.y);
SGGesturePoint *p = [SGGesturePoint gesturePointWithCGPoint:CGPointMake(x, y)];
[resampleSet addGesturePoint:p];
D = 0;
p1 = p;
}else{
D += d;
p1 = p2;
i++;
}
}
其中D用于折現(xiàn)拐點(diǎn)后確定下一采樣點(diǎn)的距離,d為原集合中的相鄰采樣點(diǎn)間距,下圖是某圖形手勢的局部折線圖。
第一次進(jìn)入循環(huán)時(shí),P1為原集合的第一個采樣點(diǎn)(也是重新采樣集合的第一個點(diǎn)),P2為原集合的第二個采樣點(diǎn),他們之間的距離P大于重新采樣的采樣點(diǎn)間距interval,這時(shí)D=0,D+d=d>interval,因此進(jìn)入if分支。

接下來根據(jù)interval與d的比例關(guān)系求出x、y的步進(jìn)值,從而得到下一個重新采樣點(diǎn)的坐標(biāo)點(diǎn),并且這個點(diǎn)作為新的P1。

以此類推,由于折線段的長度比interval大的多,因此能夠分布許多新采樣點(diǎn),直到P1足夠接近P2,使得interval>d,如下圖所示。

這時(shí)下一個采樣點(diǎn)應(yīng)該落在下一個折線段上,并且為了保證均勻分布,下一個采樣點(diǎn)距離折線段拐點(diǎn)的距離應(yīng)該減去當(dāng)前P1到P2的距離,這就是D的作用了。下圖說明了這個計(jì)算的目的。

這時(shí)候會進(jìn)入else分支,將P1更新為P2坐標(biāo),并且將d累加到D中,需要注意的是,下一個P2的坐標(biāo)并不是原集合中的點(diǎn),而是根據(jù)D計(jì)算出的點(diǎn),因此應(yīng)該跳過原集合中的下一個點(diǎn),這就是i++的作用。如果曲線有足夠多的短折線段,則會不斷的進(jìn)入else分支,一直累加d,直到滿足新采樣點(diǎn)間距,也就是D+d>=interval,才生成一個新的采樣點(diǎn),本圖中的情況僅僅計(jì)算了一次D就進(jìn)入了下一條比較長的折線段,這時(shí)候清空D,開始在折線段上分布采樣點(diǎn),如下圖所示。

經(jīng)過多次這樣的運(yùn)算,就可以完成均勻分布的重新采樣了,之后使用的是重新采樣點(diǎn)的集合。
4.曲線位置的標(biāo)準(zhǔn)化
將集合中的x、y分別求平均值,得到曲線的重心,根據(jù)重心坐標(biāo)將曲線移動到坐標(biāo)原點(diǎn),得到標(biāo)準(zhǔn)位置的曲線。
5.曲線尺寸的標(biāo)準(zhǔn)化
根據(jù)曲線的外接矩形與標(biāo)準(zhǔn)尺寸將曲線上的每個點(diǎn)進(jìn)行比例運(yùn)算,即可得到縮放到標(biāo)準(zhǔn)尺寸的曲線。
6.曲線轉(zhuǎn)角的標(biāo)準(zhǔn)化
根據(jù)曲線上的第一個采樣點(diǎn)與中心的連線的角度對曲線進(jìn)行標(biāo)準(zhǔn)化,設(shè)當(dāng)前角度為iAngle,目標(biāo)角度為r,則如下圖所示經(jīng)過坐標(biāo)變換將曲線旋轉(zhuǎn)到紅色位置。

7.生成向量
為了進(jìn)行后續(xù)運(yùn)算,需要將二元采樣點(diǎn)集化為一元集合,也可以看做多維向量,方法是依次將采樣點(diǎn)的x、y坐標(biāo)插入一元集合,并對向量進(jìn)行標(biāo)準(zhǔn)化,每個向量代表一個手勢,可用于后續(xù)的比較運(yùn)算。
手勢識別的過程
對于需要識別的手勢,先經(jīng)過上面的運(yùn)算得到手勢向量,然后將這個手勢向量與手勢庫中的向量逐一進(jìn)行余弦相似度的運(yùn)算,余弦相似度比較的是向量的夾角,夾角越小則越相似,根據(jù)一定的閾值來篩選出符合條件的所有手勢,并在遍歷結(jié)束后取最優(yōu)(運(yùn)算結(jié)果最?。┑淖鳛槠ヅ浣Y(jié)果。
余弦相似度的計(jì)算代碼如下:
- (double)cosDistanceWithVector1:(SGGestureVector *)vec1 vector2:(SGGestureVector *)vec2 {
double a = 0;
double b = 0;
for (int i = 0; i <= vec1.length - 1 && i <= vec2.length - 1; i+=2) {
a += [vec1 doubleAtIndex:i] * [vec2 doubleAtIndex:i] + [vec1 doubleAtIndex:i + 1] * [vec2 doubleAtIndex:i + 1];
b += [vec1 doubleAtIndex:i] * [vec2 doubleAtIndex:i + 1] - [vec1 doubleAtIndex:i + 1] * [vec2 doubleAtIndex:i];
}
double angle = atan(b / a);
return acos(a * cos(angle) + b * sin(angle));
}
識別一個手勢的代碼如下,先標(biāo)準(zhǔn)化手勢集合并得到向量,然后在手勢庫中篩選,最后選擇最優(yōu)結(jié)果。
- (NSString *)recognizeGestureSet:(SGGestureSet *)set {
[self standardizeSet:&set];
SGGestureVector *vec1 = [set getVector];
SGGestureSet *bestSet = nil;
double minD = CGFLOAT_MAX;
for (int i = 0; i < self.gestureSets.count; i++) {
SGGestureSet *libSet = self.gestureSets[i];
SGGestureVector *vec2 = [libSet getVector];
double D = [self cosDistanceWithVector1:vec1 vector2:vec2];
if(D <= self.threshold && D < minD){
minD = D;
bestSet = libSet;
}
}
return bestSet.name;
}
手勢的存取
以上介紹的每一個與存儲有關(guān)的類都遵循NSCoding協(xié)議,將每一個標(biāo)準(zhǔn)化的SGGestureSet存入到數(shù)組中,并將數(shù)組利用NSKeyedArchiver歸檔存儲到磁盤,需要讀取時(shí)再通過NSKeyedUnarchiver反歸檔即可。