※ 引述《driftcreator (貓爹)》之銘言： : 1. 新手安裝操作 : 更新於2025/02/04 : 4. 聊天機器人 -> 模型 : API模型 : 離線運算模型(用你自己的設備跑) : 初學者建議使用Kobold或Ollama作為後端去運行，操作相對不複雜 : 模型上huggingface去找。7B ~ 13B的模型，差不多就是多數線上AI聊天平台的水準了 : 安裝細節不詳述，因為你如果真的很在意隱私，我相信能自己想辦法跨過這個技術檻的 --後續挑了些模型測試(我的顯卡是4070TIS 16vram)-- 覺得最好的是 gemma-2-27b-it-GGUF/gemma-2-27b-it-Q4_K_M.gguf 這幾個有些是不給NSFW，有些會亂答。 Qwen2.5-14B-Instruct-GGUF/Qwen2.5-14B-Instruct-Q6_K.gguf Yi-34B-Chat-GGUF/yi-34b-chat.Q4_0.gguf LLMs/Mistral-Nemo-12B-Instruct-2407-OQ8_0.EF32.IQ8_0.gguf Llama-3.2-3B-Instruct-Q8_0-GGUF/llama-3.2-3b-instruct-q8_0.gguf --前文--- 小小反饋一下，順便問個問題。 我原本有用LM Studio作後端，想說直接串API進去應該也可以。 我的模型是用deepseek-r1-distill-qwen-14b-abliterated-v2-q6_k.gguf 若按照原始設定，填完API，跑對話會跳以下錯誤。 TypeError: Cannot read properties of undefined (reading 'data') 解決辦法是要勾選聊天機器人中的"Response 即時串流傳輸"，即可正常。 但現在問題出在他會把整個推理過程完整描述，我嘗試在LM Studio的系統提示詞裡， 撰寫"不要給推理流程僅給我對話"，但沒有任何效果。 不知道是模型的限制還是有甚麼設定我可以做嘗試。 https://i.imgur.com/Wnkj5Zy.png -- ※ 發信站: 批踢踢實業坊(ptt-club.com.tw), 來自: 1.169.232.87 (臺灣) ※ 文章網址: https://ptt-club.com.tw/AC_In/M.1738738854.A.063

推 h0103661: deepseek r1是推理模型，用v3或是看一下api有沒有開關 02/05 17:23

推 guogu: 可是deepseek精隨就在推理啊 沒推理隨便用一個就好吧 02/05 19:48

推 Fizban: 推理模型都會生成思維鏈，Gemini也一樣 02/05 20:08

→ scarbywind: Janus-Pro 02/05 21:59

推 Lukesky: 那有辦法隱藏思考的過程 不要顯示在對話上嗎 02/07 21:04

推 Thobel: 包養網到底在紅什麼? 02/07 21:04

推 driftcreator: 看起來你都是使用官方模型，可以上huggingface找找 02/08 15:30

→ driftcreator: RP向的fine tune模型表現會好很多，但多要用英文RP 02/08 15:32