onnxruntime 12.1 + nnapi 比 ncnn+ gpu更快

[WangHHY19931001]

expectation | 诉求 | 期待する

ncnn+gpu比onnxruntime 12.1 + nnapi 快

model | 模型 | モデル

assets.zip
其中inference_slim.onnx是飞浆ocr导出onnx+onnxslim的结果

detail | 详细描述 | 詳細な説明

期望寻找原因并解决。
ncnn模型来源：
https://zhuanlan.zhihu.com/p/1913269254393956146

https://github.com/nihui/ncnn-android-ppocrv5

[WangHHY19931001]

使用ndk：
27.2.12479018
git节点：
d68ea6b
编译参数如下：
cmake -G "Unix Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_TOOLCHAIN_FILE=%ANDROID_NDK%/build/cmake/android.toolchain.cmake -DCMAKE_MAKE_PROGRAM="%ANDROID_NDK%/prebuilt/windows-x86_64/bin/make.exe" -DANDROID_ABI="arm64-v8a" -DNCNN_DISABLE_RTTI=OFF -DBUILD_SHARED_LIBS=OFF -DNCNN_SHARED_LIB=OFF -DNCNN_OPENMP=ON -DANDROID_PLATFORM=android-29 -DNCNN_VULKAN=ON ..

[liuzikai0709]

您好想请教一下，通过ndk编译的libncnn.a在AOSP环境下使用，会报错缺少ndk相关的函数定义，难道静态库打包没有被打包在一起吗，是有额外的flags控制吗？

[WangHHY19931001]

您好想请教一下，通过ndk编译的libncnn.a在AOSP环境下使用，会报错缺少ndk相关的函数定义，难道静态库打包没有被打包在一起吗，是有额外的flags控制吗？

请使用cmake + findpackage方式来使用，不要直接link对应a文件

[futz12]

https://github.com/futz12/ncnn/tree/layer_norm

这个分支实现了layernorm的gpu版本，或许可以更快一点？