Apple 提出 Split-and-Scale,讓 3D 場景呈現更多細節
3D 模型常因能存放資訊的空間有限,難以呈現複雜物件的細節;訓練時擴大空間又很耗運算和記憶體。Apple 研究團隊提出 Split-and-Scale,把場景切成更小的區域,再用同一個預訓練工具處理各區域,讓每一小塊都能保留較多細節。研究顯示,這種做法在推論時能得到接近大型模型的重建品質,也能用來訓練 3D 生成模型;團隊並比較了畫質、運算量、記憶體和可用容量之間的取捨。
3D 模型常因能存放資訊的空間有限,難以呈現複雜物件的細節;訓練時擴大空間又很耗運算和記憶體。Apple 研究團隊提出 Split-and-Scale,把場景切成更小的區域,再用同一個預訓練工具處理各區域,讓每一小塊都能保留較多細節。研究顯示,這種做法在推論時能得到接近大型模型的重建品質,也能用來訓練 3D 生成模型;團隊並比較了畫質、運算量、記憶體和可用容量之間的取捨。
醫療影像模型要用診所自己的資料微調,但一般微調可能讓原本的穩健性保證變弱。研究團隊提出 Butterfly Adapter,透過不改變權重矩陣奇異值的旋轉來調整模型。在頭皮影像的掉髮分類任務中,這種方法在半徑 36/255 的認證準確率為 63.8%,LoRA 為 31.6%,完整微調為 35.6%;在半徑 108/255 時,Butterfly Adapter 為 20.4%,另外兩種方法都是 0%。研究也在另一項圓禿活動度分類任務中測試,結果顯示這種方法能在微調特徵時保留較多認證準確率。
修復模糊的 3D 虛擬人物,或用已有的醫療掃描資料補出缺少的影像資料,常得經過很多輪計算,既耗時也可能不穩定。EDGAR 把修復步驟縮成一次擴散處理,再用修好的畫面更新虛擬人物模型;每個模型平均多花 5.04 到 16.60 分鐘。SphereFlow 則把不同型別的醫療影像放到共同的空間,讓系統依照已有資料補上缺少的部分,在腦瘤分割測試中補回約八成與資料完整時的效果。這些方法能減少反覆計算,但 EDGAR 難以修復嚴重變形或大範圍遮蔽的畫面,SphereFlow 遇到差異太大的影像型別也可能表現較弱。
Chris Careaga 與 Yağız Aksoy在 SIGGRAPH 2025 發表照片重新打光方法,讓使用者能在 3D 場景中設定光源,再生成寫實的重新打光結果。
研究發現,DALL-E 3 的提示詞修訂機制會將集約化畜牧業描繪成田園牧歌式場景,即使研究人員明確要求呈現真實情況也是如此。 - 研究比較:生成北美、歐洲和大洋洲農場影像時,模型多呈現奶牛在牧場吃草、豬在泥地拱土;關閉提示詞修訂後,影像更接近動物在室內飼養的現況,不同地區的差異也開始顯現。
TailSteer 降低多輪影像編輯的累積漂移,History Forcing 則改善長時間影片生成中的場景延續性。 - TailSteer:在 FLUX、SenseNova 和 Qwen 系列上測試,可降低連續 15–20 次編輯的累積漂移,並大致保留原模型的生成與編輯能力;目前驗證至 20 次編輯。
GHARP 是一種從少量輸入影像與表情訊號即時生成 3D 頭部動畫的方法。 - 兩階段設計:離線身份建模與線上動畫推理,實現高品質與低延遲。 - 高斯表示:將多視角輸入壓縮為固定大小的高斯表示,降低計算量。
TEAL(Token-space Efficient Active Learning)提出一套以 Vision Transformer(ViT)表徵為基礎的畫素級主動學習框架,能在每張影像只有極少標註畫素時,挑選資訊量高的位置並訓練解碼器。