安卓載安裝版最本下新版
編輯點(diǎn)評(píng):將語(yǔ)言模型直接引入手機(jī)的安安裝應(yīng)用程序。
PocketPal AI本地大模型是卓版最新一個(gè)手機(jī)上直接運(yùn)行的本地AI對(duì)話工具,這個(gè)軟件可以讓你無(wú)需連接網(wǎng)絡(luò)久等與其他的版本AI大模型進(jìn)行聊天和交流,本地部署方法需要根據(jù)流程進(jìn)行摸索,下載可以在本地增加一個(gè)最近十分熱門(mén)的安安裝deepseek,這樣就不會(huì)卡頓的卓版最新進(jìn)行使用了。
部署方法
1.百度找到精品下載
2.在精品網(wǎng)中搜索PocketPal,版本點(diǎn)擊下載
3.打開(kāi)軟件點(diǎn)擊Models,下載點(diǎn)+,安安裝點(diǎn)Hugging Face搜索大模型
4.盡量下載名字帶Q4_NL(4bit量化 normal 壓縮)的卓版最新模型,回答比較精準(zhǔn)。版本
5.解釋一下部分量化標(biāo)識(shí)命名規(guī)則:NL 平衡精度與速度(Normal)、下載M 中等優(yōu)化(middle)、安安裝 XS 極致壓縮(Extra Small)、卓版最新K 極限壓縮(K-special)、版本Qx 量化位數(shù)(手機(jī)上運(yùn)行 Q4 最佳)。
6.在加載好模型後在Settings中把N PREDICT設(shè)置為4096。
如果遇到問(wèn)題請(qǐng)發(fā)到評(píng)論區(qū),我會(huì)試著解決。
PocketPal AI是什麼軟件
PocketPal AI 是一款袖珍型 AI 助手,由直接在手機(jī)上運(yùn)行的小型語(yǔ)言模型 (SLM) 提供支持。PocketPal AI 專為 iOS 和 Android 設(shè)計(jì),讓您無(wú)需互聯(lián)網(wǎng)連接即可與各種 SLM 進(jìn)行交互。
軟件特色
離線 AI 協(xié)助:直接在您的設(shè)備上運(yùn)行語(yǔ)言模型,無(wú)需互聯(lián)網(wǎng)連接。
模型靈活性:下載並在多個(gè) SLM 之間進(jìn)行交換,包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。
Auto Offload/Load:當(dāng)應(yīng)用程序在後臺(tái)運(yùn)行時(shí),通過(guò)卸載模型來(lái)自動(dòng)管理內(nèi)存。
推理設(shè)置:自定義模型參數(shù),如係統(tǒng)提示符、溫度、BOS 令牌和聊天模板。
實(shí)時(shí)性能指標(biāo):在 AI 響應(yīng)生成期間查看每秒令牌數(shù)和每個(gè)令牌的毫秒數(shù)。
使用流程
下載模型
點(diǎn)擊漢堡菜單
導(dǎo)航到 “Models” 頁(yè)麵
選擇您想要的型號(hào)並點(diǎn)擊下載
加載模型
下載後,點(diǎn)擊 Load 將模型導(dǎo)入內(nèi)存。現(xiàn)在您可以聊天了!
技巧
在 iOS 設(shè)備上,Apple 的 GPU API (Metal) 默認(rèn)處?kù)都せ顮顟B(tài)。如果您遇到任何問(wèn)題,請(qǐng)嚐試停用它。
iOS 金屬
自動(dòng)卸載/加載
為了保持設(shè)備平穩(wěn)運(yùn)行,PocketPal AI 可以自動(dòng)管理內(nèi)存使用情況:
在模型頁(yè)麵上啟用 “Auto Offload/Load” (默認(rèn)情況下是)
該應(yīng)用程序?qū)⒃卺崤_(tái)卸載模型
當(dāng)您返回時(shí),它會(huì)重新加載(對(duì)於較大的模型,請(qǐng)等待幾秒鍾)
高級(jí)設(shè)置
單擊 V 形圖標(biāo)可訪問(wèn)高級(jí) LLM 設(shè)置,例如:
溫度
BOS 代幣
聊天模板選項(xiàng)
等。
最後,讓我們聊聊吧!
加載模型後,前往 “聊天” 頁(yè)麵並開(kāi)始與加載的模型交談!
此時(shí)還會(huì)顯示 generation performance (生成性能) 指標(biāo)。如果有興趣,請(qǐng)觀察聊天氣泡以獲取實(shí)時(shí)性能指標(biāo):每秒令牌數(shù)和每個(gè)令牌的毫秒數(shù)。
重要提示:截至目前,我還沒(méi)有找到一種簡(jiǎn)單的方法來(lái)從生成的響應(yīng)中選擇和複製文本,同時(shí)保留文本格式,尤其是 Markdown 支持。
同時(shí),以下是當(dāng)前用於複製文本的選項(xiàng):
段落級(jí)複製:長(zhǎng)按特定段落可複製其內(nèi)容。
完整響應(yīng)複製:使用文本氣泡底部的複製圖標(biāo)複製 AI 生成的整個(gè)響應(yīng)。
我知道這些選項(xiàng)可能並不理想,這是我使用其他應(yīng)用程序的挫敗感之一。複製部分文本的困難曾經(jīng)是 ChatGPT 等聊天應(yīng)用程序特別煩人的方麵。
開(kāi)發(fā)商: PocketPal AI 是使用 React Native 構(gòu)建的。找到一種平衡文本選擇和保留格式(尤其是 Markdown 支持)的簡(jiǎn)單解決方案對(duì)我來(lái)說(shuō)一直很棘手。如果您有這方麵的經(jīng)驗(yàn),我很樂(lè)意聽(tīng)取您的意見(jiàn)!
更新日誌
v1.15.1
專長(zhǎng):支持Gemini 3.5閃光。
專長(zhǎng):提升美人魚(yú)圖的渲染穩(wěn)定性。
修複:修複 Markdown 內(nèi)聯(lián)數(shù)學(xué)渲染問(wèn)題。
修複:修複 Claude 和 OpenAI 工具調(diào)用繼續(xù)過(guò)程中缺失的功能/工具調(diào)用塊。
修複:修正統(tǒng)計(jì)熱力圖中的日期漂移。
v1.13.0
變化
專長(zhǎng)(店鋪):在#629中為美國(guó)高級(jí)好友添加深度鏈接購(gòu)買(mǎi)按鈕
feat(Android):添加權(quán)重重裝切換,並在#637中優(yōu)化MMAP/重新打包
feat(perf):在 #644 中添加內(nèi)存分析流水線
feat:在#597中添加兼容OpenAI的遠(yuǎn)程服務(wù)器支持
來(lái)自 #633 的 Hosted Weblate 翻譯更新
翻譯更新來(lái)自托管Weblate,來(lái)源於#646
修正(Android):在#645中正確調(diào)整外部顯示器的顯示密度
修複(存儲(chǔ)):在 #630 中保留應(yīng)用重啟期間的用戶線程計(jì)數(shù)
修正#596中型號(hào)下拉菜單無(wú)法在短手機(jī)上滾動(dòng)到底部的問(wèn)題
版本 v1.11.16
變化
任務(wù)/更新 e2e 測(cè)試 2 by #541
修複方法:#543 中通過(guò)基於互助的串行化防止模型切換時(shí)的內(nèi)存泄漏
版本 v1.11.13
任務(wù):升級(jí)RN 0.82,llama.rn,並在#523修複
版本 v1.11.12
專長(zhǎng):在#515中將llama.rn升級(jí)至0.10.0-rc.3
版本 v1.11.11
變化
修複:通過(guò) #504 將 llama.rn 更新到 0.9.2 版本
1.11.2
feat:重構(gòu)設(shè)備檢查 (GPU ...) 並在 #446 中為 OpenCL 要求添加詳細(xì)消息
版本 v1.10.24
壯舉:通過(guò) #413 升級(jí) llama.rn
v1.10.22
雜務(wù):將應(yīng)用程序信息占位符圖標(biāo)替換為 #400
專長(zhǎng):在 #410 中升級(jí) llama.rn
1.10.21
壯舉:添加UI控製
版本 v1.10.19
壯舉:通過(guò) #393 升級(jí) llama.rn
v1.10.17
壯舉:在 #381 中為 PAL 添加導(dǎo)入/導(dǎo)出
[壯舉]:改進(jìn)中文本地化翻譯 (0715) by in #373
雜務(wù):通過(guò) #387 升級(jí) llama.rn
v1.10.16
壯舉:在 #380 中同步 llama.rn -> llama.cpp以支持 LFM2
版本 v1.10.15
Feat: 新增思考控製
v1.10.13
修複:useChatSession 中聊天消息重複的問(wèn)題
V1.10.9
Feat: 升級(jí) llama.rn (因此llama.cpp) 以支持 GEMMA 3N by
1.10.7
壯舉:通過(guò)為視覺(jué)模型添加選擇退出
v1.10.0
更新 dependencys
Feat: 改進(jìn)中文本地化翻譯
雜務(wù):去掉多餘的 JA: '日本語(yǔ) (JA)'
Feat: 通過(guò) IN 為 Android 添加備份和恢複支持
feat: 添加 Lookie Pal
1.9.4
修複(Android):阻止 app resume 時(shí)恢複
feat: 如果 content 為空,則不渲染
修複:文本生成過(guò)程中 token 缺失/重複
1.9.0
特點(diǎn): 在中為門(mén)控模型訪問(wèn)添加 HF 令牌身份驗(yàn)證
1.8.15
Feat: 添加預(yù)設(shè)補(bǔ)全設(shè)置
1.8.12
feat: 添加 iPad 支持 by in #249
重構(gòu):使用 IN #250 使用基於基準(zhǔn)測(cè)試的模型改進(jìn)內(nèi)存需求檢查
feat: 添加 Thought 標(biāo)簽並同步 llama.rn by in #251
修複(iPad):新增對(duì) Upside Down Orientation 的支持 by IN #253
1.8.5
修複:改進(jìn) Android 版本跨 Edge 到 Edge Display 的實(shí)現(xiàn)
v1.6.9
修複:在 ChatGenerationSettingsSheet 中使用 processedSettings
1.6.7
修複(Android):刪除 llama.rn 的 FP16 編譯器標(biāo)誌以解決 Deepseek
標(biāo)簽:
責(zé)任編輯:休閑









