「我奏效在国行 iPhone 上跑通了 AI 模子！」
「然后呢？」
「然后就没怎么用过了。」
iPhone 17 Pro Max 发布都一个月了，苹果国行 Apple Intelligence 照旧牛年马月。等不足的网友们，决定我方脱手，丰衣足食。
于是，在 iPhone 上部署端侧 AI 模子，成了互联网的新显学。从保姆级教程到实操演示，各式野生秘籍在酬酢媒体上随地吐花。
咱们也折腾了一番——下载模子、跑分测试、推行体验 …… 通盘经过照实风趣风趣，致使有点上面。但当欣喜劲昔时，一个扎心的事实融会出来：这玩意儿好玩、风趣风趣，但空虚用。
能用和好用，是两回事
在 iPhone 上体验端侧模子，门槛其实不算高。
洞开 App Store，搜索 PocketPal AI，下载安设。如果不习尚英文界面，可以在确立 ( Setting ) 里找到言语 ( Language ) 选项，切换成华文。
接着等于下载模子了。
点击左上角图标插足模子库，由于 Qwen 系列模子在开源社区一直都是拍桌惊羡， 是以咱们袭取从 Hugging Face 别离下载了 0.6B、1.7B、8B、14B 和 30B 的版块。
天然，你也可以我方腹地下载模子，再导进去，这倒是问题不大。
但能下载，不代表能运行。
当你看到「内存劝诫」的字样的期间，就知说念这能够率是行欠亨了，这里需要阐述一下，模子称呼后的数字 ( 如 0.6B ) 指的是参数目，B 代表「十亿」 ( Billion ) 。
参数可以贯穿为模子「神经元」的数目，参数越多，表面上模子的贯穿才能和生成质料越强，但对硬件的算力和运存需求也急剧攀升。
你也可以在基准测试栏里，张望手机的成立信息。拿我手上这台 iPhone 17 Pro Max 来说，8B 凑合能跑，14B 模子、 30B 及更大参数的版块，基本上就没法运行了。
在推行体验之前，咱们也先用这几款模子跑个分，底下这几张图片， 别离对应着不同参数模子的评测恶果。
那么在 iPhone 上用第三方 APP 跑端侧模子， 到底有莫得推行风趣？ 这些模子能否实在相沿泛泛任务或轻便推理？
我的评价是：能用， 但更多是玩物性质，可以尝鲜，但不太建议恒久使用。
家喻户晓，OpenAI 此前曾出炉了一份对于 ChatGPT 的使用剖析，主要揭秘宇宙伙都在用 ChatGPT 干什么，其中主要包含实用指点、信息搜索和写稿等事项。
咱们也参考这些推行用途，别离对 0.6B、1.4B、8B 等模子问了几个问题。
测试一：制定健身预计
帮我制定一个合适久坐上班族的 7 天中枢考验预计
和跑分恶果一致，模子参数越大，生成的速率越慢。但反之，修起的质料和内容雅致进程照实也随参数升迁而升迁。
0.6B 模子给出的预计放之四海而齐准，有一定的细节，实操价值却不高。
1.7B 稍好， 细节更丰富，能够对久坐带来的腰背酸痛建议针对性的查考预计。
8B 则再上一个头绪，启动针对不同肌群给出系统性的建议，且算作更细分，致使还有暖心小贴士，不外虽说基本督察在 5 token/s 的速率，但体感跟网页版 ChatGPT 的反应速率并无显着隔离。
至于发顾问况，我是在比较寒冷的室内测试的，在议论 8B 模子几个问题后，也可以显着嗅以为手机背部发烧显着。
测试二：历史常识问答
宋代的聘猫礼是什么？
这是一个相对冷门但班班可考的历史常识点，指的是宋代民间迎娶猫咪入宅时的礼节习俗， 主如果为了体现古东说念主对猫主子的尊重进程。
缺憾的是，小参数模子的常识储备严重不足，从 0.6B 到 8B 的模子， 都不知说念聘猫礼是啥，何况还相等擅长一册慎重地瞎掰八说念。其中 8B 模子更全是车轱辘话。
测试三：时效性信息
iPhone Air 什么期间发布？
这是一个考验模子时效性的问题。
毫无不测，系数端侧模子都答不上来，毕竟它们的常识戒指日历停留在查考时，无法赢得最新信息。
这少量，恰正是云霄模子的中枢上风之一。云霄模子可以通过联网检索、及时更新常识库，而端侧模子只可依靠「出厂」时打包进去的那些参数。
测试四：写稿才能
咱们袭取了本年上海卷的高考作文题：
0.6B 模子能够就是传奇中凑字数的选手，修起更像是将题标的名义风趣复述了一遍，生成的内容阑珊想辨深度，需要广漠东说念主工修改才能达到「合格线」。
1.7B 起码还援用了鲁迅作品这类文体素材， 看起来防护其事。而 8B 则发扬可以，但与云霄模子如 ChatGPT 比较，依旧差距甚远，难以称得上坐蓐力器具。
另外，天然那模子在查考阶段就照旧被「调教」过了，这使得它在输出时，会自但是然地按照某种作风、口吻和逻辑来修起，但咱们也可以给模子植入系统教导词，并让它生成修起。
比如我就给 1.7B 的模子安排了个「古风小生」的东说念主设。
你别说，这模子还真挺「入戏」的，抒发的语感、节拍和东说念主格气质，变得更逼近我的预期。
附上教导词：
但说真话，对绝大多数用户来说，这更像是个好玩的彩蛋，而不是刚需功能。综上所述，我并不太建议你去折腾这种部署端侧模子的才略。
回首 2008 到 2012 年，那是 iPhone 用户「逃狱」的狂欢期间。无数东说念主顶着把手机刷成砖的风险，就为了装上几个苹果不许安设的插件，或者把系统界面改得更个性少量。
可当 App Store 的生态照旧敷裕丰富，逃狱风险却越来越高，带来的边缘收益也越来越小时，如今还有若干东说念主在逃狱？
谜底不言而谕。
这种所谓第三方端侧模子的折腾才略，即便有心事方面的加成，但内容上仍是一个孤苦的运用， 堪比阉割版 ChatGPT，它无法与系统深度整合，也无法调用其他运用的数据，形如鸡肋。
正因如斯，就像当年的逃狱同样，这种在第三方运用折腾端侧 AI，偶而只会成为一段风趣风趣但片晌的插曲现金九游体育app平台，而实在的异日，依旧属于那些把复杂留给厂商、把轻便留给用户的系统级科罚有想象。