AgentEval Forge 實作教學:用 Kiro 先寫規格再寫程式
做 AI 助理評測工具時,如果先寫程式,常會等到後面才發現需求沒說清楚。作者用 Kiro 做出 AgentEval Forge,先寫需求、設計和工作清單,再依規格完成程式。它用固定規則評分,不靠 LLM,也不連網;新增交易回測範例時,只要登記新的執行器,就能沿用原本的流程。作者也分享如何用測試檢查評分是否一致,並用五份簡短檔案交代專案方向、技術選擇、安全和測試做法。
做 AI 助理評測工具時,如果先寫程式,常會等到後面才發現需求沒說清楚。作者用 Kiro 做出 AgentEval Forge,先寫需求、設計和工作清單,再依規格完成程式。它用固定規則評分,不靠 LLM,也不連網;新增交易回測範例時,只要登記新的執行器,就能沿用原本的流程。作者也分享如何用測試檢查評分是否一致,並用五份簡短檔案交代專案方向、技術選擇、安全和測試做法。
nginx2root 包含 5 個 nginx 記憶體錯誤漏洞;研究者指出,未登入的攻擊者可能讓 nginx 工作程式當掉或在程式許可權下執行程式碼,另一個 Linux 核心 SCTP 漏洞則可能讓攻擊者進一步取得 root 許可權。作者在 Ubuntu 尚無修補套件時,示範檢查實際安裝的套件版本與設定,暫時關閉 HTTP/2、HTTP/3 等受影響功能,並阻止 SCTP 模組載入。他也提醒,透過 Cloudflare 測試可能只測到 Cloudflare,應直接確認 nginx 主機的狀況。這些做法只能暫時降低風險,正式修補仍要等 Ubuntu 套件更新後升級。
推薦理由:作者以自己的 Ubuntu 伺服器示範如何確認 nginx 是否受影響,並暫時關閉風險功能與阻斷 SCTP,整理出可照著檢查的防護步驟。
部署後第一次搜尋才發現找不到向量集合,常見原因是新環境設定的名稱和實際建立的名稱不同。文章示範在 Node.js 啟動時列出已有集合,核對設定名稱;找不到時就讓新版本部署失敗,並印出可用名稱,避免錯誤拖到學生搜尋時才出現。建立集合應放在獨立的設定工作中,完成後再匯入資料,服務程式只讀取和查詢已設定的集合。這項檢查只能確認集合存在,不能保證裡面的課程資料夠新或切分合適;作者也提醒,使用統一 API 不會改變背後資料處理商的責任,仍要確認資料所在地、保留和刪除方式。
網站工具越多,越容易碰上隱私、費用和維護上的麻煩。InovoTools 作者分享打造 1,700 多種免費工具的經驗:多數工具直接在瀏覽器裡運作,像 PDF 合併檔案不必上傳到伺服器,QR code 工具也能用 JavaScript 在瀏覽器中完成。網站曾因大量頁面和大型網站地圖,超出 Vercel 每月的 ISR 額度,專案一度被暫停,後來改搬到 VPS。作者也建議每頁說明計算方式、替不同語言頁面撰寫專屬內容,並分批發布新頁面,讓使用者較能確認結果,也讓網站更穩定地被搜尋引擎收錄。
Roblox 遊戲如果讀取玩家資料失敗,卻把玩家當成新玩家存檔,可能會蓋掉原本的進度。CyberMax 寫了一個小型資料管理工具,示範三個做法:讀取失敗就不建立空資料、沒有成功載入資料就不存檔,並用版本號避免較舊的伺服器資料覆蓋較新的資料。工具也會定時存檔,伺服器關閉時盡量完成尚未儲存的變更。作者提醒,這套做法沒有鎖定玩家資料;想避免兩臺伺服器同時處理同一名玩家,需使用有鎖定功能的資料管理工具。
收到供應商外洩通知時,立刻更換所有金鑰或寄信通知客戶,可能讓團隊忙錯方向。這份一小時指南先安排負責決策、調查和溝通的人,再逐項確認用了哪些服務、哪些資料可能受影響,以及供應商能接觸哪些系統和憑證。若範圍不清楚,就標記為未知並安排查證;接著依確認受影響、可能受影響或未受影響分級,決定是否更換高許可權憑證、檢查紀錄或聯絡供應商。最後整理內部訊息,並安排 24 小時後再檢視新資訊。
背景工作佇列可能在工作完成、但確認訊息前發生故障,之後便會重送;如果沒有記錄寄送狀態,客戶可能收到兩份週報。文章用物流週報說明,應以客戶和週期建立固定識別碼,並在資料庫留下寄送決定,再確認佇列訊息。重試時,系統可查到原有紀錄,避免重做同一件事;若報表內容變了,也能用內容雜湊值發現差異。寄送通知仍要處理外部服務的回應,遇到 HTTP 429 可依 Retry-After 等待後重試。
成立公司要準備資料、檔案和簽名,還得把申請送交 Delaware。這篇文章示範怎麼把 Corply 的 MCP 伺服器連到 Claude Code,再由 AI 助理詢問公司名稱、創辦人資料、股份分配等資訊,準備檔案並追蹤公司紀錄。簽名、付款和納稅人編號都由人在網頁上處理,Corply 的人員也會先審查申請再送件;Delaware 接受申請後,才算有正式成立日期和檔案編號。成立費用是 $329,另有每位創辦人 $70 的 83(b) 申報費,以及成立時必須使用的每月 $35 Essentials 方案;政府費用另計。
Codex 本身沒有設立公司的工具,接上 Corply 的 MCP 服務後,就能幫忙整理設立 Delaware C-Corp 所需的資料,並準備設立檔案。使用者只要說想設立公司,Codex 就會詢問公司名稱、創辦人、股權分配等資訊;不過創辦人仍要各自簽檔案、有人要核准付款,納稅人編號也得另外填在安全頁面。Corply 會先審查申請,再送交 Delaware,等政府接受申請,公司才算成立。設立費是 $329,若由 Corply 申報 83(b),每位創辦人另收 $70,還需要每月 $35 的 Essentials 方案。
AI 助理遇到只寫錯誤程式碼的程式檢查訊息時,可能得先翻一大本規則手冊,才能知道怎麼修。AI Labo 用同一組程式修正任務比較兩種訊息:一種只列錯誤程式碼,另一種會在每個錯誤下方附上具體修正提示。兩種方式都通過 20 題測試;附提示的方式少查一次手冊、少呼叫一次模型,輸入 token 也少了 69.6%。這項測試顯示,依照實際錯誤提供精簡修正線索,能省下查資料的往返。
通知服務收到的 JSON 回應可能格式壞掉,也可能看起來像 JSON,裡面的資料卻缺欄位或型別不對。遇到這種情況,先檢查格式和內容,再記下是哪一次傳送失敗、可能花了多少錢,並把事件送進隔離處理流程;重試則要確保不會重複計費或重複送出。作者建議保留必要的錯誤紀錄和追查線索,也可以用 Infrai 收集紀錄與錯誤,但它不會直接傳送警報。這樣才能看清楚哪次出了問題,又不會讓重試把帳算亂。
連線到不同的安全 DNS 服務時,所需的伺服器位址、驗證資料和其他設定各不相同。DNS Stamps 規格把這些資料按固定格式排好,再編碼成以 sdns:// 開頭的一段字串,就像 DNS 專用的 QR code。規格列出 DNSCrypt、DNS-over-HTTPS、DNS-over-TLS、DNS-over-QUIC 等服務的資料格式,也提供線上工具來檢視、修改或建立這些字串,讓連線設定更容易傳遞和使用。
一般作品集常把自我介紹放在前面,再讓訪客一路往下找作品;作者改用像程式編輯器的版面,左側列出首頁、作品、履歷和聯絡方式,點一下就能直接前往。訪客通常先看作品頁,再看作者介紹;聯絡資訊也會一直顯示。不過,沒用過編輯器的人可能覺得畫面太擠,所以手機版改成單欄閱讀,收起側邊選單並拿掉上方分頁。 作者把這套設計做成 FolioForge 範本,採用純 HTML 和 CSS,沒有資料庫或管理介面,售價是 $19。回頭檢視時,他會從一開始就把選單控制在 6 到 8 個專案,並把履歷放得更前面;他也刪掉只會拖慢頁面的假終端機。
派工軟體常把「離客戶最近」的技師先派出去,但 HVAC 和水電工作需要不同技術、工具和經驗;只看距離,可能讓不熟悉裝置的人接到難題,還得多跑一趟拿零件,甚至錯失大筆維修收入。文章舉例,初階技師開 14 分鐘就能到場,資深技師則要 32 分鐘,但後者更熟悉商用熱泵,車上備料也更齊全,所以更適合處理故障。作者建議派工時一併考慮技術、車上零件和工作可能帶來的收入,遇上突發狀況時由真人派工人員確認調整,並先逐步整理資料、試行系統。這樣才能省下交通時間,也避免派錯人、惹惱客戶或讓技師不滿。
找候選人時,如果只看搜尋排名,招募人員可能難以確認資料從哪裡來,也可能看到不該讀取的內容。作者示範一套 Node.js 搜尋流程:先查公司自己的候選人資料,證據不足時再查符合規則的共用人才庫,最後才查公開網頁,並把外部結果標成較低信任。每階段都保留引用來源與存取許可權;網頁搜尋也有時間限制,遇到 429 最多重試一次。這樣能在資料不足時擴大搜尋,同時讓結果更容易查證。
專案花了多少錢,不一定看得出實際完成多少工作。Oracle Fusion Cloud Project Management 的任務產出數量功能,讓專案經理先為細項任務設定預計完成量和單位,再記錄實際完成量,系統就能用兩者的比例計算實體進度。像工程團隊可以用已安裝的管線長度,對照原本預計安裝的長度,瞭解工作做到哪裡。把完成量和使用的資源一起檢視,也能比較實際工作效率和原先計畫的差異,讓專案進度和財務狀況更容易一起掌握。
舊程式碼又亂又難改,開發者常怕一動手就出錯,於是一直拖著,甚至想整個重寫。文章整理出 5 種容易讓人卡住的想法,例如「下個衝刺再整理」、「測試有過就別碰」和「這不是我寫的,不關我的事」。作者建議動手前先花 5 分鐘寫下自己怕什麼、有哪些證據,再想想測試和版本紀錄能怎麼幫忙;接著從一個函式或一個模組開始整理。這能把一團模糊的擔心變成實際可檢查的風險,讓程式碼比較容易維護,也減少一拖再拖。
想把付費的 Oracle Java 換成免費版本,又怕正式環境的 App 出問題?文章建議先挑一臺不重要的開發或測試機器,移除 Oracle Java,裝上選好的替代版本,再確認 Java 版本並跑過 App 的測試或重要流程。Eclipse Temurin、Amazon Corretto、Azul Zulu 和 OpenJDK 都通過同一套相容性測試;例如,用 Oracle JDK 11 測試過的 App,也能在其他同為 JDK 11 的版本執行,不必改程式碼。先從開發或測試環境慢慢換到正式環境,保留 Oracle Java 以便退回,並在切換後觀察 48 小時。真正需要用心的是安排好每一步、測試並持續檢視狀況。
付款系統處理 webhook 太久時,寄件閘道可能以為訊息失敗而重送,讓同一筆訂單收到兩封收據。Payneteasy 原本在收到事件後,依序驗證簽章、更新訂單、寄信和通知 ERP;ERP 變慢時,整段流程超過閘道的 5 秒等待時間,約 1,200 筆訂單因此重複寄信。後來他們改成先驗證事件,再把原始資料存進資料表並確認收到,其他工作交給背景執行的工作程式。回覆時間降到約 15 毫秒;文章也提醒要監控回覆延遲,並留意閘道的逾時設定與重試規則。
資料庫欄位改名後,程式可能還在查詢已不存在的舊名稱。作者做了 SH-PSCBS,偵測 PostgreSQL 結構差異,再提出 Python 程式修正方案,讓人檢查後決定是否採用。流程會分析變更、產生修正、檢查程式並執行測試;通過必要檢查後,才會在另一個分支建立提交,發布則要另外執行,最後仍需人工檢查並合併。工具目前仍在實驗階段,主要支援 PostgreSQL 和 Python;欄位刪除與新增可能被推斷為改名,測試通過也只代表測到的部分沒有問題。
自架伺服器時,服務看起來還能連線,不代表主機沒有快塞滿;主機運作正常,也不代表網站沒有出錯。Uptime Kuma 會定時檢查網址、連線埠或網域是否有回應,也能確認回傳內容裡有沒有指定文字;Beszel 則透過安裝在主機上的 AI 助理代理程式,回報 CPU、記憶體和硬碟等使用狀況。像是網站突然出錯時,Uptime Kuma 能看出服務何時失去回應,Beszel 則能幫忙確認主機是否記憶體不足。兩套工具各看不同問題,一起使用更容易找出故障原因。
用 AI 助理讀取資料時,工具說明和回傳結果都會佔用 token。作者啟用 10 個 Apify Actor,量出工具定義合計有 27,797 個 token;接著讀取公寓出租資料時,只要求價格、幣別、坪數和房間數,三筆結果便從 7,434 個 token 降到 298 個,減少 96%。作者也提醒,工具清單和資料欄位是兩個可以分開調整的地方;實際帳單用量仍要檢視服務商提供的資料。
換幣介面看起來只要選代幣、輸入金額再按下確認,但背後還要確認錢包連對網路、代幣和手續資源都夠用,也要讓使用者知道自己授權了什麼。報價只是估算,實際換到的數量可能變動;送出交易也不代表已經成功,還得等區塊鏈確認。遇到拒絕簽署、網路中斷或重新整理頁面時,介面也應盡量找回交易狀態。把這些步驟說清楚,並提供合約和交易紀錄讓人查驗,使用者才知道資產發生了什麼事。
同一臺電腦上有多個 GitHub 帳號時,提交紀錄、推送程式碼和建立 PR 可能各自用上不同帳號。作者分享自己遇到的問題,並做了 claude-gh-accounts,讓不同資料夾各自對應一個帳號:Git 會依資料夾選擇提交用的姓名與電子郵件、推送憑證和 SSH 金鑰,啟動 Claude Code 時也會為該次工作設定對應帳號。工具支援 macOS、Linux 和 Windows,目前適用於終端機版 Claude Code 與 github.com;IDE 擴充功能和桌面版中的 Claude Code 操作還不會切換帳號。
平臺替不同公司管理郵件網域時,DNS 帳戶裡的網域數量不等於各公司的使用量,直接拿來算額度可能出錯。文章示範先在自家資料庫計算已啟用網域和預約名額,再用同一筆交易保留名額,避免兩個同時送出的申請都佔到最後一個位置;之後定期核對完整的 DNS 清單,把找不到擁有者的網域交由人工確認。客戶自行管理的網域也要依客戶授權的範圍核對,不能因為清單裡沒看到就刪除或改寫 MX 記錄。文章另提醒,正式上線前要用兩個工作程式同時搶一個名額,確認只有一個申請成功。
跨平臺 App 常要在共用程式碼和各平臺的原生操作感之間取捨。Expo Exact 是一個實驗性框架,不使用 React 或 JSX,而是用名為 Contract 的介面描述語言搭配 Rust 執行環境;iOS、macOS 和網頁則分別使用 UIKit、AppKit、DOM 與 CSS。它也設計了讓 AI 助理建置、執行、檢視畫面、模擬操作和測試 App 的工具。作者認為這提供了不同的開發方向,但 Exact 目前不是 React Native 的替代品,既有 React 元件和其他整合也無法直接搬過去。
律師事務所常想改聯絡表單或按鈕文字,但網站訪客少,真正送出表單的人更少;沒先算好需要多少人就開始測試,可能只是把偶然的變化當成結果。用現在的表單轉換率和想看見的改變幅度,就能估算每個版本需要多少訪客。以轉換率從 3% 提高到 4% 為例,每個版本約需 5,300 名訪客,總共約 10,600 名。 如果網站一週只有 400 名訪客,測試可能要跑超過六個月,結果也容易受到網站改動、搜尋排名和季節變化影響。流量不夠時,可以讓多個使用相同表單的頁面一起測、測試幅度更大的改動,或觀察打電話等較常發生的行為;但最後也要把電話算進總聯絡量。開始前先寫下測試方式和結束時間,也不要因為某個版本暫時領先就提早停測。
記憶體有限的電腦開著 API 使用者端時,可能變慢,甚至開始使用硬碟空間暫存資料。文章比較了幾種選擇:curl、HTTPie、xh 等終端工具通常最省;原生或 Tauri 桌面程式通常較輕;Electron 程式因為附帶 Chromium 和 Node,閒置時通常佔用較多記憶體。作者建議在剛開啟、載入最大資料集,以及開著 5 到 10 個分頁時,檢視整組程式的記憶體用量並重複量測。這樣才能依自己的工作負載挑工具,也避免為了省記憶體而放棄需要的檢查功能。
想比較 Polymarket 和 Kalshi 上同一個問題的賠率,得先處理兩邊格式不同的資料,還要自己找出哪些市場在問同一件事。這篇文章示範用一個 Python 呼叫,從兩個平臺抓取整理過的即時賠率、24 小時交易量、流動性,以及相似市場的價差線索。回傳資料會用同一套欄位,例如問題、YES 和 NO 的價格與市場結束時間;有找到另一個平臺的相似市場時,也會附上配對資訊,讓人更容易看出兩邊的價格差異。
如果你會寫程式或管理電腦系統,轉做資安可能沒有想像中遙遠;先補好網路、作業系統、帳號許可權和網站安全等基礎,再用自己的電腦架設練習環境,試著找出並修好刻意設定錯誤的地方。接著挑一個方向,例如監控和處理事件、檢查程式安全,或保護雲端系統,並把練習過程整理成作品,讓僱主看見你怎麼思考。課程或證照可以補充實作經驗,但不能取代動手練習;AI 工具也能幫忙看懂紀錄或整理資料,不過答案要自己查證,敏感資料也別貼進不熟悉的工具。
想追蹤多家公司的職缺,逐一讀取徵才網頁很麻煩,還得處理不同系統的資料格式。作者整理 Greenhouse、Lever、Ashby、Workable 和 SmartRecruiters 的公開 API,並做成 Apify 工具,把職缺整理成相同格式,也能依職稱、地點、遠端工作和發布時間篩選。作者表示,工具一次查詢六家 AI 公司,在 3 秒內取得 472 個工程與研究職缺;Workday、iCIMS 和自建徵才網站則不在支援範圍內。
把 Markdown 改成 HTML 時,如果內容裡有人工核對過的數字,交給大型語言模型改寫可能會悄悄動到原文。Sungwoo Lee 用 Python 指令碼處理格式固定的文章,轉出 HTML 和 JSON 資料,並自動抓出 FAQ 問答;遇到標題缺漏或格式不合規則時,指令碼會回報失敗。這次 4 篇文章共抓出 23 個問題,也都通過檢查。這套做法適合能寫成明確規則的工作;需要摘要、重組內容或調整語氣時,作者仍交給大型語言模型處理。
Ackee 會整理網站流量,刻意不使用 Cookie,也不追蹤特定使用者;但這不代表儀錶板上的資料都能公開。頁面路徑可能帶有客戶名稱或帳號資訊,來源網站也可能透露合作關係,事件名稱則可能讓人猜出公司的工作流程。文章建議先用登出狀態檢視公開儀錶板會顯示哪些內容,再分開檢查接收流量的路徑、管理介面和 API 權杖。這樣才能保留流量統計的隱私好處,同時避免管理資料的入口或彙整結果被不該看到的人取得。
出國和人聊天時,常得先聽懂對方說什麼,再想辦法翻譯,對話容易卡住。這篇教學示範怎麼把語音辨識、翻譯和文字轉語音接在一起:Deepgram 把麥克風錄下的話轉成文字,Google Translate 翻成目標語言,再由 ElevenLabs 念出來,也能讓譯音聽起來像原本說話的人。像是把一句話翻成韓文後,App 就能播放韓文語音。這個做法能當作原型,開發者也可以用串流 API 減少等待時間。
Instagram 有時會把真實照片標成 AI 生成,原因可能是照片裡的中繼資料,而不是影像本身。作者用 ExifTool、Python 和 JavaScript 示範如何檢視 C2PA、IPTC 和 XMP 標記,也解釋生成式填色等 AI 編輯可能留下的標記。移除中繼資料時,若同一欄資訊存在不同位置,移除一份後標籤仍可能出現;HEIC 和 AVIF 也需要用不同方式讀取。中繼資料可能包含位置或提示詞,但像 SynthID 這類藏在畫素裡的浮水印,無法靠移除中繼資料清除。
Fairy Tale Atlas 把歷史文本和編輯改寫故事分開存放,避免讀者把 AI 改寫誤認成原文。像《愛麗絲夢遊仙境》的故事會標示為改編,說明參考來源和改寫內容;受到《瑪納斯》相關資料啟發的〈未完成的旋律〉則是全新創作,人物、對話和事件都不是《瑪納斯》的一段故事。頁面也會分清原文、翻譯和現代改寫;如果沒有真的收錄原文,就會說明限制。這樣讀者能看懂自己讀到的是什麼,也不會把參考資料誤當成故事內容的證明。
讓不受信任的 AI 助理程式使用 GPU,難處在於程式仍得接觸 NVIDIA 驅動程式,而共用 GPU 可能讓不同使用者互相影響。文章整理兩種隔離方式:用 gVisor 的 nvproxy 擋住部分驅動程式呼叫,或把整張 GPU 傳給虛擬機器使用;每個工作也應有獨立 GPU 或 MIG 執行個體,並封鎖不必要的網路和憑證。時間切片沒有記憶體或故障隔離,因此不適合讓不受信任的程式共用。Control Plane 的做法是讓 AI 助理在獨立環境工作,再把 GPU 工作交給使用固定、經審查映像檔建立的獨立工作負載。
AI 助理可以透過 MCP 檢視或操作雲端裝置,但一開始就給它太多許可權,可能讓它改錯設定、刪掉資源,或看到不該看的資料。做法是先只開放檢視紀錄、指標和錯誤訊息的許可權,確認需要哪些操作後,再一次開放一類修改功能;每次修改都讓人先確認,工作結束後也檢視操作紀錄。 例如,重啟服務前,要確認這項操作影響哪個服務;刪除資源和調整許可權則應由人親自處理。許可權設定才是限制 AI 助理能做什麼的主要關卡,提示詞和工具上的警告標籤不能保證它一定安全。只讀也不代表沒有風險:AI 助理仍會把讀到的資料交給模型服務,因此紀錄和設定裡的個人資料、密碼也要先保護好。
想讓網站在網路上開啟,得先準備一臺伺服器,並確認網路設定沒有擋住訪客。這份教學帶你在 AWS EC2 建立 Ubuntu 主機、設定安全群組,再用 SSH 連線安裝並啟動 Nginx。設定時,SSH 的 22 埠只開放給自己的 IP,網頁用的 HTTP 80 埠則開放給所有 IPv4 位址。完成後,在瀏覽器輸入 EC2 的公開 IP,就能看到 Nginx 歡迎頁;如果打不開,則可檢查主機、安全群組、Nginx 狀態和錯誤紀錄。實驗用的主機不用時要關閉,以免產生不必要的 AWS 費用。
小團隊每天收到客戶來信,常得先找出對方是誰、需要什麼、何時需要,再想好怎麼回覆,手動處理容易花時間,也可能漏掉細節。aiFetchly 把流程分成兩步:先整理來信中的需求,再參考公司自己的服務介紹、價格資訊或常見問答寫回覆草稿;人員檢查、修改後才寄出,也能設定時間自動整理和起草。這樣可以少打一些重複內容,但回覆是否合適仍由人來把關。