跳到正文

#教學/實務

RSS
今日 0 則
11月21日週六
  1. Dev.to Top Tech78

    POCKET-27B-Pi 如何在一張 24 GB 顯示卡上執行

    在自己的電腦上跑大型程式設計模型,常會卡在顯示卡記憶體不夠。POCKET-27B-Pi 的 Q4_K_M 模型檔是 16.5 GB;作者依模型設定計算,使用 64K 上下文時,快取約佔 4.0 GiB,合計約需 19.55 GiB,能放進一張 24 GB 顯示卡,還要留空間給運算。VIDRAFT 測試 48 項 Terminal-Bench 2.1 任務,模型完成 28 項;這是合作夥伴自行測得的結果。文章也說明如何估算不同快取設定和同時執行多個工作時的記憶體需求。

    推薦理由:文章拆解模型檔案與注意力快取的記憶體用量,提供在單張顯示卡上估算長工作階段與多個工作同時執行的方法。

  2. Unsloth AI60

    想在記憶體較少的裝置上執行大型模型,常會碰到硬體需求太高的問題。Unsloth AI 分享了 Inkling 2 Mini 的執行方式,這款模型有 26.4B,使用 Thinking Machines 的 MoE 架構,並可透過 Unsloth 或 llama.cpp 執行。貼文也提到它在 DeepSWE v1.1 得分為 48.2%,並附上 GGUF 檔案與操作指南連結。

    推薦理由:Inkling 2 Mini 可在 16GB RAM 的裝置上執行,貼文也列出它在 DeepSWE v1.1 的成績,呈現小型模型的執行門檻與表現。

11月20日週五
  1. Dev.to Top Tech83

    GPT-6.2 Astra 如何察覺自己正在受測?

    模型如果發現自己正在受測,測試表現還能代表平常的行為嗎?文章整理了 OpenAI 和英國 AI 安全研究所對 GPT-6.2 Astra 的測試:Astra 在 85% 的評估中想到自己可能正在受測,前代 GPT-6 Astra 則是 57%。Astra 在這些測試中沒有做出不當行為,但研究人員提醒,這不等於證明它安全,因為它可能只是認出了測試。作者也建議,換模型前先用自己的例子試跑;若 AI 能操作檔案或 API,應在程式裡限制許可權,別只靠提示詞要求它守規矩。

    推薦理由:GPT-6.2 Astra 在測試中常察覺自己正受評估,文章用駕照考試作比喻,說明乾淨的測試結果為何不一定代表安全。

11月19日週四
  1. Dev.to Top Tech77

    Gemini 4 Neon 開發者指南:怎麼看成本、上下文與推理

    選模型時,只看每次呼叫的價格,可能看不出完成一項工作的實際花費。Google 推出的 Gemini 4 Neon 可接收文字、圖片、音訊、影片和 PDF,並有四種思考等級;輸入、思考和輸出共用上下文視窗。文章建議用自己的任務測試不同等級,記下答案是否正確、重試花費和完成時間,再和目前使用的模型比較。Google 公佈的基準結果只反映特定測試環境,作者提醒,工具、指令和測試方式也會影響結果。

    推薦理由:文章把 Gemini 4 Neon 的單次呼叫費用和完成任務的總成本分開比較,並整理出用自家工作測試模型的做法。

11月17日週二
  1. Dev.to Top Tech71

    在單一卡上跑 65B 密集碼農模型:記憶體頻寬與 2 位元檔案的代價

    開發者常會想在自己的 GPU 上跑大型語言模型,但記憶體和頻寬常成瓶頸。作者測試了 Ripple-65B 在 RTX A6000(48 GB)與 RTX 3090(24 GB)上,發現模型會每個 token 從 GPU 記憶體讀取整個權重檔,速度受限於記憶體頻寬。透過 4 bits、2 bits 量化把檔案大小從 130 GB 縮到 38.8 GB/20 GB,令每秒產生 14‒31 個 token,並利用 llama.cpp 的 KV快取量化讓 256K token 的提示也能放入同一張卡。這樣的配置讓單卡即可支援 AI 助理的長篇對話與程式碼生成,雖不快但足以做開發與測試。

11月14日週六
  1. Hacker News (official RSS)74

    Unsloth 更新 Qwen3.8-27B 量化模型,並提供本機執行指南

    大型 AI 模型常需要很多記憶體,直接在一般電腦上執行不容易。Unsloth 更新了 Qwen3.8-27B 的多種量化版本,並提供在本機執行的指南;作者表示,新版 Dynamic V3.1 在大小相近時,多數基準的準確度提高 5-10%。指南也說明,4-bit 版本約需 16-19GB 記憶體,並介紹如何用 Unsloth Desktop 或 llama.cpp 執行。若使用 NVFP4 版本,則需要 Blackwell GPU,並透過 vLLM 執行。

11月13日週五
  1. Dev.to Top Tech52

    Kronos 如何以 K 線資料預測價格與成交量

    Kronos 是以金融 K 線資料訓練的開源基礎模型,可預測價格與成交量,並提供 BTC/USDT 未來 24 小時的即時示範。 運作方式:專用 tokenizer 先將 OHLCV K 線資料轉為階層式離散 token,再由自回歸 Transformer 預測未來數值;訓練資料來自 45+ 個交易所。 模型與限制:Kronos-mini 有 4.1 million 個引數與 2,048 的上下文長度;Kronos-small 有 24.7 million 個引數,Kronos-base 有 102.3 million 個引數,兩者上下文長度皆為 512。Kronos-large 有 499.2 million 個引數,但未開源。 使用與風險:專案提供預訓練模型、批次預測與微調範例;文章提醒 Kronos 是研究模型,預測不是買賣建議,回測範例也不是可直接用於實際交易的系統。

11月12日週四
11月11日週三
11月10日週二
11月9日週一
  1. Dev.to Top Tech66

    LTX 2.3 三階段取樣:升級時即時校正,說明每次重投影像的原因

    本教程說明如何使用 LTX 2.3 的三階段取樣流程,在升級時即時校正影像並保持人物辨識度,並解釋每次重投影像的原因。 1. 流程概覽 三階段取樣,每階段先以低解析度 latent 建構影像與音訊,之後以 2× 上升再以 image‑to‑video 節點重新條件化,最後解碼為影片。

11月8日週日
11月7日週六
  1. Dev.to Top Tech84

    Gemini Omni 1.2 Flash 在 Next.js 中的設定與實際剪輯成本

    Gemini Omni 1.2 Flash 是 Google 於 2026 年 11 月 5 日正式釋出的影片生成模型。本文示範如何在 Next.js 應用中使用 @google/genai SDK 產生 3~15 秒影片,並以實際計算方式說明每秒成本。

    推薦理由:本文詳細說明 Gemini Omni 1.2 Flash 在 Next.js 中的實作流程與成本計算,對想整合影片生成的開發者極具參考價值。

11月6日週五
11月5日週四
11月4日週三
11月3日週二