下載MNN開(kāi)源框架
- git clone https://github.com/alibaba/MNN.git
-下載下來(lái)以后進(jìn)入project/android項(xiàng)目。新建一個(gè)build的文件夾。 - 編譯MNN需要自己配置好NDK環(huán)境和cmake環(huán)境變量。
cmake ../../../
-DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake
-DCMAKE_BUILD_TYPE=Release
-DANDROID_ABI="arm64-v8a"
-DANDROID_STL=c++_static
-DMNN_USE_LOGCAT=false
-DMNN_BUILD_BENCHMARK=ON
-DMNN_USE_SSE=OFF
-DMNN_SUPPORT_BF16=OFF
-DMNN_BUILD_TEST=ON
-DANDROID_NATIVE_API_LEVEL=android-21
-DMNN_BUILD_FOR_ANDROID_COMMAND=true
-DNATIVE_LIBRARY_OUTPUT=. -DNATIVE_INCLUDE_OUTPUT=. $1 $2 $3 $4 $5 $6 $7
make -j4
-編譯完成以后得到
image.png
- libMNN_Express.so和libMNN.so主要用到這兩個(gè)產(chǎn)物。
然后下載MNN-LLM框架
- https://github.com/wangzhaode/mnn-llm.git
- 然后把MNN框架的兩個(gè)so文件（libMNN_Express.so和libMNN.so）拷貝到libs文件夾下面下面去。
-
把MNN框架下面的include/MNN文件加載拷貝到mnn-llm的include下面。
image.png - 編譯build MNN-llmandroid部分。
mkdir android_build
cd android_build
cmake .. \
-DCMAKE_TOOLCHAIN_FILE=$ANDROID_NDK/build/cmake/android.toolchain.cmake \
-DANDROID_STL=c++_static \
-DANDROID_ABI="arm64-v8a" \
-DANDROID_NATIVE_API_LEVEL=android-21 \
-DCMAKE_BUILD_TYPE=Release \
-DBUILD_FOR_ANDROID=ON
make -j4
-用Android studio打開(kāi)MNN-llm 下面的android工程，把libMNN_Express.so和libMNN.so/拷貝到v8下面。
-下載qwen-1.8b模型文件，在adored工程目錄下面創(chuàng)建assert文件，把模型文件拷貝進(jìn)去。
運(yùn)行到手機(jī)上去。
image.png
