SSAP 如何用現實限制,減少 LLM 在真實生活中胡亂給建議
LLM 很會寫字,卻可能給出現實中做不到的建議。像是遇到叫車司機正在開車,AI 卻叫乘客把翻譯好的手機畫面拿給司機看。GoChinaTrip / SSAP 用一套規則要求 AI 先弄清楚人在哪裡、卡住的問題是什麼,以及當下能用什麼方式溝通,再檢查建議能不能真的做到,例如下雨時能否拖著重行李完成。測試者也會親自走一遍路線。這種做法能讓建議更貼近現場,但文章沒有提供足以證明 AI 幻覺已完全消失的結果。
LLM 很會寫字,卻可能給出現實中做不到的建議。像是遇到叫車司機正在開車,AI 卻叫乘客把翻譯好的手機畫面拿給司機看。GoChinaTrip / SSAP 用一套規則要求 AI 先弄清楚人在哪裡、卡住的問題是什麼,以及當下能用什麼方式溝通,再檢查建議能不能真的做到,例如下雨時能否拖著重行李完成。測試者也會親自走一遍路線。這種做法能讓建議更貼近現場,但文章沒有提供足以證明 AI 幻覺已完全消失的結果。
PyTorch 更新了 NCCL Extensions 的來源版本,並調整 NCCL-EP 的建置條件:沒有指定架構清單時,就不建置 NCCL-EP。更新說明也提到 NCCL-EP v0.3 已推出,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能。這次變更主要是更新 PyTorch 使用的來源版本,並讓建置依架構設定進行。
瀏覽器遊戲如果要靠外部網站載入圖片、音樂或字型,網路中斷時可能無法正常遊玩,也會把玩家造訪資料送到第三方。Ant Games 分享自家做法:每款遊戲都裝在一個 HTML 頁面裡,不連外、不用額外素材檔,影像和音效都由程式產生;固定隨機種子的遊戲邏輯,也能在瀏覽器和 Node 重複執行。這讓遊戲可以離線開啟,也方便測試和儲存;代價是所有聲音和模型都要用程式製作並持續維護。
開始打造行動操作機器人前,團隊常得先弄清楚機器人要做什麼、能在哪裡工作,以及怎樣才算完成。這章提供產品需求和系統架構的範本,幫忙把客戶的想法整理成能測量、能檢查的條件,再說清楚底盤、機械手臂、感測器、電力、軟體和安全功能要怎麼配合。比如要機器人搬運物品,就得先寫清楚能搬多重、要到哪裡取放,以及用什麼方式確認任務成功。需求和設計都留下清楚紀錄,團隊就比較容易合作、檢查問題,也能確認做出的機器人是否適合實際工作。
使用Cloudflare Workers時,Durable Objects 長時間運作和資料寫入可能增加費用,也會受執行環境限制。Rivet推出開源工具OpenOrange,讓Cloudflare Workers能在AWS、Google Cloud、Azure或自有伺服器執行,並沿用原本的Wrangler設定與指令。作者列出的價格比較中,Durable Objects運算費用約低4.8倍,SQLite資料寫入約低5.7倍;實際花費會依工作負載而變。遷移時,Durable Objects可在服務持續運作下搬移,D1則會中斷幾分鐘。
PyTorch 的這個版本加入一項與 regional-aoti 有關的變更:在模組邊界擷取區域呼叫。頁面沒有提供更多說明,無法從這段內容判斷它會怎麼運作或帶來什麼影響。
想把應用程式放進自己的雲端帳戶,又不想一開始就從頭搭建部署平臺,團隊可以怎麼做?DocSpring 作者分享,他們從 Heroku 搬到 AWS 後使用 Convox,先用現成流程部署,再逐步學會調整 Terraform,並為 SOC 2 需求加上自家的存取控管。文中也說明日常部署和維護工作,以及一種三個可用區的 AWS 設定,固定費用估算約為每月 $306,還不含資料庫、流量等費用。作者認為,想在自己的雲端帳戶中使用 Heroku 式部署、又需要隨需求調整基礎設施的團隊,可以考慮 Convox;自行管理也得負責升級、監控與備份。
remove.bg 的獨立網站預計在 12 月 1 日關閉,免費使用者得找其他去背工具。作者用同一組產品照、人像和風景照測試開源工具 rembg,發現它在一般電腦上每張約花 7 到 8 秒,輸出會保留原圖尺寸;產品照和人像的去背效果不錯,但沒有明確主體的風景照會被處理得一團模糊。代價是第一次使用要下載 176 MB 的模型,輸出的 PNG 也比原圖大。作者沒有親自計時 APIC Web,因此只說明它的功能與限制,沒有拿它和 rembg 比速度。
麻吉大哥在 Papertrade 交易永續合約,累計被清算超過 2,100 次,虧了 222 萬美元;扣掉領到的 51.4 萬美元平臺獎勵,還是虧約 171 萬美元。他的交易量累計達 19.3 億美元,帳戶截圖裡的淨值只剩約 407 美元。同一週,他也把無聊猿和變異猿放進扭蛋池,讓網友用代幣抽獎。Papertrade 會在使用者虧損或被清算時發放 PAPER;這起交易經歷也顯示,交易量大、拿到獎勵,都不代表最後能賺錢。
雲端伺服器建立後,系統預設設定可能不夠安全,工程師手動修理也可能讓整批主機的設定慢慢跑掉。作者分享一套適用於 Ubuntu 22.04 和 24.04 的做法:用 Ansible 加固 SSH、網路設定、防火牆和重要檔案,再用 Python 工具檢查主機是否符合安全規範。GitHub Actions 會在變更合併前檢查設定、測試重複執行是否還會改動主機,並確認檢查結果全數通過;EC2 主機則能依 AWS 標籤動態挑選,方便分批處理。
PyTorch 這次更新了 NCCL Extensions 的來源版本,也調整 NCCL-EP 的建置條件。新的版本是 NCCL-EP v0.3,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能;不過,PyTorch 只有在指定的架構清單為 sm_90 或更新架構時才會建置 NCCL-EP。這次更新也同步調整了套件來源版本,讓 PyTorch 使用新的 NCCL Extensions 版本。
參與開源專案時,如果只顧著找新問題,可能會重複回報別人已經提出的修正。作者實際檢查 BrasilAPI,發現有些測試因為判斷順序出錯,總是以為外部資料來源故障,讓 42 個測試檔案中的 20 個沒有真正執行測試;他也注意到自動檢查使用的 Node 版本和正式環境不同,而且沒有組出正式版本來檢查。作者提醒,動手前要先讀過相關 issue 和 PR,並實際建置、執行與驗證;檢查測試、協助審查和補上清楚的問題說明,也都是有用的開源貢獻。
大型 AI 模型常需要很多記憶體,直接在一般電腦上執行不容易。Unsloth 更新了 Qwen3.8-27B 的多種量化版本,並提供在本機執行的指南;作者表示,新版 Dynamic V3.1 在大小相近時,多數基準的準確度提高 5-10%。指南也說明,4-bit 版本約需 16-19GB 記憶體,並介紹如何用 Unsloth Desktop 或 llama.cpp 執行。若使用 NVFP4 版本,則需要 Blackwell GPU,並透過 vLLM 執行。
管理一兩臺小型 VPS 時,常得透過 SSH 分別處理網站、憑證、記錄檔和備份。作者做了 Mini Panel,這款用 Go 寫成的控制面板會以單一執行檔運作,至少需要 1 GB 記憶體,面板本身不需要 Docker、PHP 或另外安裝 MySQL。使用者可以從網頁介面管理網站、資料庫和電子郵件,設定 HTTPS,檢視伺服器狀態,也能安排每晚備份並還原資料。網站需要的服務仍須另外安裝。
有些 Windows 軟體需要 x86 AVX 支援,在 ARM64 上執行時可能遇到相容性問題。Wine 11.22 加入 x86 AVX 模擬,讓採用 ARM64EC 的 Wine 建置版本能支援這類軟體。這次更新也調整地區資料、改善 Tahoma 字型的字形尺寸,並修正 34 個已知問題,涵蓋遊戲和其他應用程式。
自己架設 AI 模型看起來能省 API 費用,也比較能掌握資料,但買硬體、付電費、更新模型和排除問題,都會花錢又花時間。作者花了 3 個月、約 $500 買 GPU,還常常每週花 3–4 小時維護;一次展示時,模型花了 15 秒才回答,還漏掉檔案裡的重要決定,改用 API 後不到 3 秒就完成。 作者現在用本機模型處理嵌入向量和不能送上雲端的資料,摘要、資料擷取和聊天則改用 API。他估算,自己架設 3 個月總共花約 $2,420,API 約 $60;加上快取後,API 費用又少了 60%。這個經驗提醒小型專案先把產品做出來,再看實際需求決定怎麼部署;若有資料不能離開自家網路,或有團隊能維護裝置,自己架設仍有理由。
挑專案管理工具時,團隊常要衡量費用、資料放在哪裡,以及 AI 助理如何執行。It's a Plan 的作者拿自家開源工具和 Linear 比較:Linear 按使用者收費並在自家雲端運作;It's a Plan 可自行架設,社群版免費,Pro 每年 $240,整個執行個體共用費用。兩者都能安排 AI 助理處理工作,但 It's a Plan 可使用自己的 API 金鑰,或讓助理在自己的電腦、伺服器上執行。作者也提到,Linear 操作流暢、免維護,並有較多匯入工具;It's a Plan 則適合想自行管理資料和主機的團隊。
把研究工作拆成多個 Linux 工作後,常會遇到前一步的結果怎麼交給下一步、不同引數怎麼分開設定,以及怎麼等大家都完成再合併。這篇 HTCondor 教學用可跟著操作的範例,示範如何設定工作依賴、讓多個工作共用提交檔並帶入不同引數,也說明怎麼限制同一類工作同時排入佇列的數量。文中還示範檢查輸出、暫停工作流程,以及失敗後修好並接著重跑;多份結果也能先各自傳回,再交給合併工作處理。
推薦理由:文章用 Linux 範例走過 HTCondor 的工作依賴、引數傳遞與排程限制,也示範多份結果如何交給合併工作,方便研究工作拆分與排錯。
想挑 LLM,除了看它會不會回答,也要看用起來花多少錢,以及授權允不允許你拿來做生意。Claude、GPT-6 和 Gemini 4 的 API 價格各有不同;以 1,000 次對話、每次輸入 1,500 個 token、輸出 400 個 token 計算,Sonnet 5.5 要 $7.00,GPT-6.1 Terra 要 $3.50,Gemini 4 Hydrogen 要 $5.25。長提示詞也會讓服務成本增加,因為模型處理的文字越長,要做的運算就越多。 「開放權重」是公開模型引數;「開放原始碼 AI」還需要提供足夠的訓練資料資訊,以及完整的訓練和執行程式碼,並符合 OSI 認可的授權條款。像 gpt-oss 使用 Apache 2.0,Whisper 使用 MIT。要把模型用在產品裡,先確認權重和程式碼的授權、商用限制、使用規則,以及自己負擔得起的主機費用。
Flutter App 若要自己接聽、結束通話或封鎖來電,光開啟撥號連結並不夠,還得成為 Android 預設的電話 App。作者做了 android_telecom 這個 Flutter 外掛,讓 App 能檢視通話狀態、接聽或結束通話、調整音訊路徑、封鎖來電和查詢通話紀錄;封鎖規則由 Android 原生服務處理,所以 Flutter 沒有執行時也能生效。外掛只支援 Android,部分功能需要較新的 Android 版本;作者也列出哪些專案只在模擬器測過,尚未在實機測試。
團隊想讓 AI 助理操作網站,瀏覽器是否可靠、能不能換到別的平臺使用,都是實際考量。Cloudflare 開放了 Kitesurf 的原始碼,開發者可以檢查、修改引擎,也能在本機或自己的 Cloudflare 帳號部署。Kitesurf 能讀取網頁、執行 JavaScript 並顯示畫面,也支援 Puppeteer 等工具連線;但在 Cloudflare 帳號部署需要 Workers Paid 方案,這篇文章也指出,原始碼開放不代表能脫離 Cloudflare。Cloudflare 尚未提供與 Chromium 的效能比較資料,文章也沒有獨立測試或客戶使用結果。
AI 助理需要讀取網頁、執行 JavaScript 並和頁面互動,但完整瀏覽器會佔用 CPU 和記憶體。Cloudflare 現在開放 Kitesurf 的原始碼;這款瀏覽器架在 Cloudflare Workers 上,能解析 HTML、處理 CSS、執行 JavaScript,不需要瀏覽器容器。Cloudflare 表示,目標是讓它更輕巧,並能透過 Cloudflare 的全球 Workers 網路按需求擴充。
旅遊 eSIM 商家的結帳流程是為人設計的,AI 助理需要能直接詢價和下單的介面。eSIM Operator Kit 新增試用模式,只要電腦裝有 git 和 Docker,執行一行指令就能在本機啟動商店和賣家節點;示範目錄提供日本等地的虛構方案,能檢視報價與測試回應,但不會真的收款或賣出 eSIM。作者在 Apple M4 上冷啟動花了 32 秒,並用檢查工具確認節點回覆格式等專案。這讓商家不必先申請供應商帳號或租用伺服器,就能先看看 AI 助理會如何詢價。
開源專案做得再好,如果 README 沒讓人馬上看懂,訪客可能很快就離開。文章建議先用一句話說清楚專案用途,再放上狀態徽章;接著用示範影片或架構圖,讓人快速看見它怎麼運作。安裝方式和範例程式碼也要放在容易找到的地方,並用比較表說明它和其他工具有什麼不同。最後寫清楚貢獻方式、需要的工具版本和授權資訊,讓有興趣的人知道怎麼開始幫忙。
預測模型會給出未來走勢,但只看一個預測數字,很難知道它有多可靠。Anil Prasad 推出開源 Python 套件 Tycheon,能檢查資料在預測當時是否已經可用、替預測區間做校準,並計算風險數字。它也會把模型和簡單的隨機漫步基準比較;第一輪合成資料測試中,沒有模型勝過這個基準,因此直接公佈這個結果。這些功能適合研究與風險分析,作者也提醒,Tycheon 不是交易工具,不會提供買進或賣出訊號。
維護主機或更換硬體時,虛擬機器通常得先停機;這份原型讓 FreeBSD 15.1 上執行中的 amd64 虛擬機器,可以透過 TCP 搬到另一臺主機,只在最後傳送變更資料時短暫暫停。它先複製記憶體,再反覆補上期間有變動的部分,並在目的主機準備好後才切換執行。作者在兩臺主機上測過記憶體與磁碟寫入;一個變動較慢的 512 MiB 虛擬機器,觀察到的停頓約為 138–171 ms。不過目前仍是 WIP RFC,主要測試使用單一 vCPU,且只支援 amd64;髒頁追蹤正確性、主機相容性與傳輸安全等問題仍待處理。
CI 測試明明成功,卻可能查不出驗證信寄到哪裡,甚至讀到另一個工作執行收到的信。文章示範用 Terraform 為每次執行建立暫時信箱,記下執行編號、環境、負責清理的人和到期時間,讓信箱能和測試對得起來。建立或讀取信箱的密碼要放在執行環境的秘密儲存區,並另外安排清理工作;測試等待郵件的時間也要和信箱可使用的期限分開設定。這樣出錯時,團隊比較容易找出問題在哪一步,也能避免取消的工作留下未清理的信箱。
企業想管理 AI 助理時,常得考慮是否會被綁在特定模型或雲端服務上。LangChain 宣佈完成 3 億美元的 C 輪募資,估值達 30 億美元;公司從開源專案起步,現在把重心放在管理 AI 助理,並表示旗下軟體 LangSmith 不會繫結特定模型、雲端或生態系。LangChain 表示,LangSmith 已有 7,000 家客戶,從新創公司到大型企業都有。
推薦理由:LangChain 的新一輪募資讓企業管理 AI 助理的競爭受到關注,其軟體強調不繫結特定模型、雲端或生態系。
團隊要處理大量資料,又想快速看到新資料,常得在 Apache Spark 和 Apache Flink 之間做選擇,甚至同時維護兩套系統。Databricks 的文章認為,多數團隊用 Apache Spark 就夠了:它能處理批次工作、資料分析和串流資料;Real-Time Mode 也讓資料能在幾毫秒內一路處理完成,不必為了更快的串流另外架一套 Flink。文章的測試中,處理有狀態的資料整理時,Spark 的 p99 延遲是 14 ms,Flink 是 45 ms;不過測試由 Databricks 執行,實際表現仍要看自己的工作內容。若需要超大型狀態資料、複雜事件比對,或已經在使用 Flink,Flink 仍可能更適合。
同一份資料可能有人想看網頁,有人需要 RDF 或 Turtle;以前 GitLab Pages 遇到沒有副檔名的網址,可能一律回傳 HTML。現在它會讀取瀏覽器或程式送來的 Accept 標頭,挑出對方要的格式。例如,Accept: text/turtle 會優先取得 Turtle 檔;如果指定的格式不存在,就改回傳 HTML。回應也會標明內容會隨 Accept 改變,避免快取把 Turtle 資料誤傳給想看 HTML 的人。這讓網站能用同一個簡潔網址提供多種格式,方便發布語意網資料。
NVIDIA 的領導層變動,讓作者開始追問美中 AI 競爭是否也牽涉其中。文章比較 OpenAI、Anthropic 的專有模型與 DeepSeek、Qwen 等開放權重模型,說明開放權重讓開發者能下載模型,並在自己的裝置上執行。接著,作者整理 Jensen Huang 支援開放 AI 的說法,以及報導提到的個人爭議、董事會調查和離職訊息。作者認為,這些事件的時間點引出政治因素的疑問;但文中沒有證據證明離職是由政治因素造成。
作者用 RTX 4070 Super 玩《Forza Horizon 6》單人模式,關閉 FG 時讀到 100 FPS,開官方 2X 時是 180 FPS,改用 DLSSG SM86 的 4X 模式則是 320 FPS。這是個人測試,不是正式跑分;4X 指的是畫面生成模式,不能說實測速度變成 4 倍,而且畫面顯示 320 FPS,也不代表每秒收到 320 次新的操作輸入。Jensen Huang 離開 NVIDIA 的訊息,讓作者更想觀察之後的相容性決定;他也提醒,這次成功測試只是個人經驗,不能代表所有 RTX 40 顯示卡都已經測過。
AI 助理每次工作都把大量舊對話、檔案和工具說明重新讀一遍,容易浪費額度,也可能被過時或錯誤的資料帶偏。作者打造七層外部記憶系統:先檢查輸入,再用搜尋找出少量相關內容,讓 AI 助理只讀指定的檔案位置;程式碼也會整理成結構摘要,避免整份塞進對話。一次測試中,系統讀了 2,141 萬個 token,才寫出約 11 萬個 token,讀寫量相差 195 倍。作者也用簡短文字交接工作,並在切換模型時清掉舊的快取,讓新模型接手時比較不會帶著不相容的舊對話。
API 明明回報成功,回應內容卻是空的時,AI 助理可能會把缺少資料當成真的答案。作者做了一套開源測試工具,讓兩個模型回答訂單、客服案件和結帳服務狀況,再把 API 回應改成空白或欄位全是空值。測試中,模型曾編出不存在的客服案件,也把服務故障說成正常;遇到 HTTP 500 或明確的錯誤訊息時,則多半會回報問題。這項測試只涵蓋兩個模型和三種任務,作者建議工具呼叫失敗時明確回報錯誤,不要只回傳空的成功結果。
AI 助理讀程式專案時,可能把不少上下文花在鎖定檔、測試資料和大型圖片上。作者做了免費的命令列工具 ctxray,掃描專案中的檔案,估算各檔案會用掉多少 token,並標出可能沒提供多少程式資訊的內容。他拿工具檢查六個開源專案,發現有些專案的鎖定檔和測試資料佔了很大一部分;小型的 Express 專案則沒有值得標出的檔案。估算使用規則式 BPE 近似,每個檔案的誤差中位數約 6%,整個專案的總量也只是上限估計。工具還能依掃描結果建立忽略清單,減少 AI 助理讀進不必要內容的機會。
AMD 第 6 代 EPYC Venice 伺服器處理器開始出貨後,外界一度不確定 openSIL 是否已準備好量產。Phoronix 詢問 AMD 後得知,Venice 平臺啟動都使用 openSIL,沒有使用其他方式開機;AMD 也表示,預計在產品正式上市後一季內公開 Venice 版 openSIL 原始碼。這讓主機板廠和開源社群之後有機會研究如何把 openSIL 用在更多伺服器上;AMD 是否會推出搭配 Coreboot 的 EPYC 9006 伺服器,則仍在觀察客戶需求。
AI 助理每次開新工作階段都可能忘記專案進度,也容易讓規劃和測試被寫程式的速度擠掉。Divyek Soni 提出 Hexaphase,把專案分成規劃、分析、設計、寫程式、測試和部署六個階段,並用 Markdown 檔案記下規則、目前進度、決定和工作紀錄。每次開始時,AI 助理先讀取資料並說明計畫;進入下一階段前,則由人確認成果。作者在 Claude Code 和 Gemini CLI 的測試中,各完成 9 項檢查。這套做法也能用來追蹤需求如何一路連到程式和測試。
架設 WordPress 網站時,選主機也等於選了作業系統、網頁伺服器、資料庫和 PHP,但這些軟體各有不同的改版規則。作者逐層整理 Linux、Apache 或 NGINX、MySQL 或 MariaDB、PHP、WordPress 和瀏覽器的變更核准方式,也說明資助者在不同專案能有什麼參與權。例如,PHP 的主要表決需要三分之二同意,而 PHP Foundation 的 Gold 贊助者不會自動取得董事席次。文章也教讀者從 WordPress 的「網站健康狀態」檢視網站使用的伺服器、PHP 和資料庫版本,再挑一層閱讀它的治理規則。