HarmonyOS成功繁难的图像识别
HarmonyOS成功繁难的图像识别
本案例基于最近邻分类器这一分类器算法模型，在HarmonyOS上成功了繁难的图像识别。理想上，最近邻分类器用在图像识别上的灵便度并不高（失误率还是有点大的），而笔者编写这个案例的初衷，是为了能体验最近邻分类器的思想，以及探求如何在HarmonyOS中处置图像数据。开发环境要求
注释
上方是关于最近邻分类器的一个繁难例子：
假定在传送带上有两种鱼，区分是鲈鱼（seabass）和鲑鱼（salmon）。如今咱们须要用光学传感器对传送带上的鱼按种类启动分类，因此须要设计一个分类器，无妨设计一个最近邻分类器。假设咱们只思考鱼的两个特色——宽度和鱼身的亮度，如今咱们选取十条鲈鱼和十条鲑鱼启动特色提取，并建设一个平面直角坐标系（y轴用于示意宽度特色的数值，x轴用于示意亮度特色的数值，这样就导致了一个二维特色空间），再将每条鱼的由其宽度值和亮度值确定的坐标在图中显示进去。
图中，白色点代表鲑鱼样本的特色向量，蓝色点代表鲈鱼样本的特色向量，它们都属于被训练的数据。当检测设施失掉了某条种类未知的鱼的亮度特色和宽度特色时，最近邻分类器所要做的是：先将此种类未知的鱼的亮度值和宽度值示意成特色空间上的向量P，而后计算向量P与每个已训练样本向量的距离。其中，距离驳回欧式范数，在二维空间中计算公式为：
由于先前已训练了20项数据，所以咱们可以失掉20项距离数据，将它们示意为d1, d2, ... ,d20。接着，分类器经过逐项比拟失掉最小距离di(i∈[1,20]∩N)，这象征着第i个已训练样本是未知种类的鱼的最近邻。因此，当第i个已训练样本属于鲈鱼种类时，上述种类未知的鱼将被分类为鲈鱼，否则分类为鲑鱼。
基于最近邻分类器的图像识别算法
找出被测样本的最近邻后，咱们便可以仰仗此最近邻启动图片分类。
─entry/src/main├─ module.json5├─ resources│├─ zh_CN│├─ rawfile││├─ p1.png││├─ p2.png││├─ p3.png││├─ p4.png││├─ p5.png││├─ p6.png││├─ s1.png││└─ s2.png│├─ en_US│└─ base└─ ets├─ XL_Modules│└─ XL_Image_NNC.ts├─ pages│└─ Index.ets└─ entryability└─ EntryAbility.ts在本案例中，不论是用于训练分类器的图片还是待检测的图片，都须要提早放入Demo
的rawfile目录下的。假设要失掉某个图像资源，咱们只要要知道此图像的称号（字符串数据），而后经过资源治理者模块resourceManager即可取得。如下给出以失掉rawfile目录下名为'p1.png',大小为100px乘100px的图片资源为例，须要编写的关系操作语句。
let context = getContext(this)const resourceMgr = context.resourceManagerconst imageSource = image.createImageSource(buffer)const pixelMap = await imageSource.createPixelMap();由于咱们须要做图像处置，所以还须要创立一个ArrayBuffer实例（buffer对象），并读取PixelMap实例的数据至buffer中。这样，buffer就是一个贮存了p1.png图像数据的BGRA_8888格局的数组（也可以称之为向量）了。
let dim = 100*100*4//维度let buffer = new ArrayBuffer(dim)await pixelMap.readPixelsToBuffer(buffer).catch(err => {console.error(`err: +${err}`)})由于buffer是BGRA_8888格局的数组，所以buffer中第i，i+1，i+2, i+3(i∈[0,dim/4-1])区分代表某个像素点蓝色重量（B），绿色重量(G)，白色重量(R)和透明度重量(A)。由于本案例的图像识别是在灰度图的基础上启动的，所以咱们还须要将BGRA_8888格局的数组转化为灰度值数组。
RGB图转灰度图并不难，只要要将每个像素点的蓝色，绿色和白色重量加权求和，就可以失掉每个像素点的灰度值。其中，灰度值 = (白色通道值 * 0.299) + (绿色通道值 * 0.587) + (蓝色通道值 * 0.114)。这里的加权系数是依据人眼对不同色彩敏感度的差异来确定的。
XL_Image_NNC.ts
import image from '@ohos.multimedia.image';import common from '@ohos.app.ability.common';//所操作图片的尺寸(图片的宽高分歧)const OPERATION_SIZE = 100/* * 函数名: Get_NumberType_Array_MinValue_Index * 形容: 前往输入的number型Array中数值最小的元素所在索引 */function Get_NumberType_Array_MinValue_Index(arr:Array<number>):number{let location:number = 0for(var i = 0; i < arr.length; ++i){if(arr[i]<arr[location]){location = i}}return location}//最近邻分类器才干接口interface I_Nearest_Neighbor_Classifier{train(context:common.Context,Train_Data:Array<string>)identify(test_data:string)}/* * 类名: XL_Image_NNC * 形容: 基于最近邻分类器的图像识别模块 */class XL_Image_NNC implements I_Nearest_Neighbor_Classifier{//日志标签private TAG:string = '------[XL_Image_NNC] '//BGRA_8888图对应向量的规模private dim_rgb:number = 4*(OPERATION_SIZE**2)//灰度图对应向量的规模private dim_gray:number = OPERATION_SIZE**2//RGB图向量转化为灰度图向量时, 三原色(red green blue)通道值各自占灰度值的权重, 并且满足R_Weight + G_Weight + B_Weight = 1private R_Weight:number = 0.299private G_Weight:number = 0.587private B_Weight:number = 0.114//已添加的图像向量的汇合(BGRA_8888)private Trained_Data_RGB:Array<Uint8Array> = []//已添加的图像向量的汇合(灰度图)private Trained_Data_Gray:Array<Uint8Array> = []//存储距离(欧式范数)的数组private Distance_Array:Array<number> = []//贮存资源治理模块的变量private resourceMgr = null/** 方法名: train* 形容: 为分类器填充数据, 使得分类器失掉监视形式识别的配置* 参数: context: UIAbility的高低文对象Train_Data: 待训练的图片集（图片须要提早贮存在rawfile目录下）*/public async train(context:common.Context,Train_Data:Array<string>) {//经过context失掉ResourceManager(资源治理模块)this.resourceMgr = context.resourceManager//遍历和处置待输入的图片数据for (var item of Train_Data) {//经过resourceMgr的getRawFileContent方法(填入图片的文件名字符串),失掉rawfile目录下某个图片所资源对应的UintArraylet rawData = await this.resourceMgr.getRawFileContent(item)//经过先前失掉的UintArray创立ImageSource实例let imageSource = image.createImageSource(rawData.buffer)//经过ImageSource实例创立像素表let pixelMap = await imageSource.createPixelMap()//将像素表读取到新建的ArrayBuffer变量中let buffer = new ArrayBuffer(this.dim_rgb)await pixelMap.readPixelsToBuffer(buffer).catch(err => {console.error(this.TAG+`err: +${err}`)})//最后将ArrayBuffer携带的RGB型图像向量存入Trained_Data_RGB（向量汇合）中this.Trained_Data_RGB.push(new Uint8Array(buffer))}//将失掉的RGB型图像向量汇合转化为灰度型图像向量汇合for(var element of this.Trained_Data_RGB){let GrayScaleVector = new Uint8Array(this.dim_gray)let index:number = 0//遍历RGB型图像向量的元素for(var i = 0; i < element.length; i++){if((i+1)%4 == 0){//失掉像素点的R,G,B通道值, 将他们加权求和失掉灰度值var grayScale = this.R_Weight*element[i-3]+this.G_Weight*element[i-2]+this.B_Weight*element[i-1]//存储GrayScaleVector[index++] = grayScale}}//最后将GrayScaleVector携带的灰度型图像向量存入Trained_Data_Gray（向量汇合）中this.Trained_Data_Gray.push(GrayScaleVector)}}/** 方法名: identify* 形容: 基于已失掉的数据，成功监视形式识别，前往输入样本的最近邻在Trained_Data_Gray中的索引* 参数: test_data: 待识别的图片（图片须要贮存在rawfile目录下）*/public async identify(test_data:string):Promise<number>{//扫除意外状况if(this.resourceMgr == null){console.error(this.TAG+'Please train the image>同往期一样，笔者青眼于将新开发的配置集成到一个ts文件里并导出，以繁难治理与保养。在本模块中，配置被集成在类XL_Image_NNC中，其中，train方法用于为分类器训练数据（只管不触及迭代的环节，权且将其称为"训练"吧），identify办规律是基于已训练的数据启动图像分类。
