編輯點(diǎn)評(píng)：將語(yǔ)言模型直接引入手機(jī)的安安裝應(yīng)用程序。

PocketPal AI本地大模型是卓版最新一個(gè)手機(jī)上直接運(yùn)行的本地AI對(duì)話工具，這個(gè)軟件可以讓你無(wú)需連接網(wǎng)絡(luò)久等與其他的版本AI大模型進(jìn)行聊天和交流，本地部署方法需要根據(jù)流程進(jìn)行摸索，下載可以在本地增加一個(gè)最近十分熱門的安安裝deepseek，這樣就不會(huì)卡頓的卓版最新進(jìn)行使用了。

部署方法

1.百度找到精品下載

2.在精品網(wǎng)中搜索PocketPal，版本點(diǎn)擊下載

3.打開(kāi)軟件點(diǎn)擊Models，下載點(diǎn)+，安安裝點(diǎn)Hugging Face搜索大模型

4.盡量下載名字帶Q4_NL（4bit量化 normal 壓縮）的卓版最新模型，回答比較精準(zhǔn)。版本

5.解釋一下部分量化標(biāo)識(shí)命名規(guī)則：NL 平衡精度與速度（Normal）、下載M 中等優(yōu)化（middle）、安安裝 XS 極致壓縮（Extra Small）、卓版最新K 極限壓縮（K-special）、版本Qx 量化位數(shù)（手機(jī)上運(yùn)行 Q4 最佳）。

6.在加載好模型後在Settings中把N PREDICT設(shè)置為4096。

如果遇到問(wèn)題請(qǐng)發(fā)到評(píng)論區(qū)，我會(huì)試著解決。

PocketPal AI是什麼軟件

PocketPal AI 是一款袖珍型 AI 助手，由直接在手機(jī)上運(yùn)行的小型語(yǔ)言模型 （SLM） 提供支持。PocketPal AI 專為 iOS 和 Android 設(shè)計(jì)，讓您無(wú)需互聯(lián)網(wǎng)連接即可與各種 SLM 進(jìn)行交互。

軟件特色

離線 AI 協(xié)助：直接在您的設(shè)備上運(yùn)行語(yǔ)言模型，無(wú)需互聯(lián)網(wǎng)連接。

模型靈活性：下載並在多個(gè) SLM 之間進(jìn)行交換，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。

Auto Offload/Load：當(dāng)應(yīng)用程序在後臺(tái)運(yùn)行時(shí)，通過(guò)卸載模型來(lái)自動(dòng)管理內(nèi)存。

推理設(shè)置：自定義模型參數(shù)，如係統(tǒng)提示符、溫度、BOS 令牌和聊天模板。

實(shí)時(shí)性能指標(biāo)：在 AI 響應(yīng)生成期間查看每秒令牌數(shù)和每個(gè)令牌的毫秒數(shù)。

使用流程

下載模型

點(diǎn)擊漢堡菜單

導(dǎo)航到 “Models” 頁(yè)麵

選擇您想要的型號(hào)並點(diǎn)擊下載

加載模型

下載後，點(diǎn)擊 Load 將模型導(dǎo)入內(nèi)存?，F(xiàn)在您可以聊天了！

技巧

在 iOS 設(shè)備上，Apple 的 GPU API （Metal） 默認(rèn)處?kù)都せ顮顟B(tài)。如果您遇到任何問(wèn)題，請(qǐng)嚐試停用它。

iOS 金屬

自動(dòng)卸載/加載

為了保持設(shè)備平穩(wěn)運(yùn)行，PocketPal AI 可以自動(dòng)管理內(nèi)存使用情況：

在模型頁(yè)麵上啟用 “Auto Offload/Load” （默認(rèn)情況下是）

該應(yīng)用程序?qū)⒃卺崤_(tái)卸載模型

當(dāng)您返回時(shí)，它會(huì)重新加載（對(duì)於較大的模型，請(qǐng)等待幾秒鍾）

高級(jí)設(shè)置

單擊 V 形圖標(biāo)可訪問(wèn)高級(jí) LLM 設(shè)置，例如：

溫度

BOS 代幣

聊天模板選項(xiàng)

等。

最後，讓我們聊聊吧！

加載模型後，前往 “聊天” 頁(yè)麵並開(kāi)始與加載的模型交談！

此時(shí)還會(huì)顯示 generation performance （生成性能） 指標(biāo)。如果有興趣，請(qǐng)觀察聊天氣泡以獲取實(shí)時(shí)性能指標(biāo)：每秒令牌數(shù)和每個(gè)令牌的毫秒數(shù)。

重要提示：截至目前，我還沒(méi)有找到一種簡(jiǎn)單的方法來(lái)從生成的響應(yīng)中選擇和複製文本，同時(shí)保留文本格式，尤其是 Markdown 支持。

同時(shí)，以下是當(dāng)前用於複製文本的選項(xiàng)：

段落級(jí)複製：長(zhǎng)按特定段落可複製其內(nèi)容。

完整響應(yīng)複製：使用文本氣泡底部的複製圖標(biāo)複製 AI 生成的整個(gè)響應(yīng)。

我知道這些選項(xiàng)可能並不理想，這是我使用其他應(yīng)用程序的挫敗感之一。複製部分文本的困難曾經(jīng)是 ChatGPT 等聊天應(yīng)用程序特別煩人的方麵。

開(kāi)發(fā)商： PocketPal AI 是使用 React Native 構(gòu)建的。找到一種平衡文本選擇和保留格式（尤其是 Markdown 支持）的簡(jiǎn)單解決方案對(duì)我來(lái)說(shuō)一直很棘手。如果您有這方麵的經(jīng)驗(yàn)，我很樂(lè)意聽(tīng)取您的意見(jiàn)！

更新日誌

v1.15.1

專長(zhǎng)：支持Gemini 3.5閃光。

專長(zhǎng)：提升美人魚(yú)圖的渲染穩(wěn)定性。

修複：修複 Markdown 內(nèi)聯(lián)數(shù)學(xué)渲染問(wèn)題。

修複：修複 Claude 和 OpenAI 工具調(diào)用繼續(xù)過(guò)程中缺失的功能/工具調(diào)用塊。

修複：修正統(tǒng)計(jì)熱力圖中的日期漂移。

v1.13.0

變化

專長(zhǎng)（店鋪）：在#629中為美國(guó)高級(jí)好友添加深度鏈接購(gòu)買按鈕

feat（Android）：添加權(quán)重重裝切換，並在#637中優(yōu)化MMAP/重新打包

feat（perf）：在 #644 中添加內(nèi)存分析流水線

feat：在#597中添加兼容OpenAI的遠(yuǎn)程服務(wù)器支持

來(lái)自 #633 的 Hosted Weblate 翻譯更新

翻譯更新來(lái)自托管Weblate，來(lái)源於#646

修正（Android）：在#645中正確調(diào)整外部顯示器的顯示密度

修複（存儲(chǔ)）：在 #630 中保留應(yīng)用重啟期間的用戶線程計(jì)數(shù)

修正#596中型號(hào)下拉菜單無(wú)法在短手機(jī)上滾動(dòng)到底部的問(wèn)題

版本 v1.11.16

變化

任務(wù)/更新 e2e 測(cè)試 2 by #541

修複方法：#543 中通過(guò)基於互助的串行化防止模型切換時(shí)的內(nèi)存泄漏

版本 v1.11.13 

任務(wù)：升級(jí)RN 0.82，llama.rn，並在#523修複

版本 v1.11.12

專長(zhǎng)：在#515中將llama.rn升級(jí)至0.10.0-rc.3

版本 v1.11.11

變化

修複：通過(guò) #504 將 llama.rn 更新到 0.9.2 版本

1.11.2

feat：重構(gòu)設(shè)備檢查 （GPU ...） 並在 #446 中為 OpenCL 要求添加詳細(xì)消息

版本 v1.10.24

壯舉：通過(guò) #413 升級(jí) llama.rn

v1.10.22

雜務(wù)：將應(yīng)用程序信息占位符圖標(biāo)替換為 #400

專長(zhǎng)：在 #410 中升級(jí) llama.rn

1.10.21

壯舉：添加UI控製

版本 v1.10.19

壯舉：通過(guò) #393 升級(jí) llama.rn

v1.10.17

壯舉：在 #381 中為 PAL 添加導(dǎo)入/導(dǎo)出

[壯舉]：改進(jìn)中文本地化翻譯 （0715） by in #373

雜務(wù)：通過(guò) #387 升級(jí) llama.rn

v1.10.16

壯舉：在 #380 中同步 llama.rn -> llama.cpp以支持 LFM2

版本 v1.10.15

Feat： 新增思考控製

v1.10.13

修複：useChatSession 中聊天消息重複的問(wèn)題

V1.10.9

Feat： 升級(jí) llama.rn （因此llama.cpp） 以支持 GEMMA 3N by

1.10.7

壯舉：通過(guò)為視覺(jué)模型添加選擇退出

v1.10.0

更新 dependencys 

Feat： 改進(jìn)中文本地化翻譯 

雜務(wù)：去掉多餘的 JA： '日本語(yǔ) （JA）'

Feat： 通過(guò) IN 為 Android 添加備份和恢複支持 

feat： 添加 Lookie Pal

1.9.4

修複（Android）：阻止 app resume 時(shí)恢複

feat： 如果 content 為空，則不渲染

修複：文本生成過(guò)程中 token 缺失/重複 

1.9.0

特點(diǎn)： 在中為門控模型訪問(wèn)添加 HF 令牌身份驗(yàn)證

1.8.15

Feat： 添加預(yù)設(shè)補(bǔ)全設(shè)置

1.8.12

feat： 添加 iPad 支持 by in #249

重構(gòu)：使用 IN #250 使用基於基準(zhǔn)測(cè)試的模型改進(jìn)內(nèi)存需求檢查

feat： 添加 Thought 標(biāo)簽並同步 llama.rn by in #251

修複（iPad）：新增對(duì) Upside Down Orientation 的支持 by IN #253

1.8.5

修複：改進(jìn) Android 版本跨 Edge 到 Edge Display 的實(shí)現(xiàn)

v1.6.9

修複：在 ChatGenerationSettingsSheet 中使用 processedSettings

1.6.7

修複（Android）：刪除 llama.rn 的 FP16 編譯器標(biāo)誌以解決 Deepseek