跳到正文
Hacker News (official RSS)(github.com)·· 8 天前精選品質評分76

IEEE 的 VHDL 浮點套件算錯 sqrt(2),作者提供測試與修補程式

The VHDL standard's float package gets sqrt(2) wrong

重點導讀

VHDL 標準內建的浮點套件,在一些數字運算中會算錯,部分情況還會讓模擬器停止。

  • 作者用精確算術比對多種格式和捨入方式,發現問題不只出在 sqrt(2),也涉及除法、乘法加法、數字格式轉換等運算。
  • GHDL 和 NVC 都重現了相同結果。作者提供套件修補程式和測試方法,修補後文中測試的錯誤與停止都消失。這些結果只涵蓋列出的測試範圍,作者也已向 IEEE VHDL 工作小組和相關專案回報。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

作者用精確算術逐項比對 VHDL 浮點套件,呈現不同運算與捨入方式的錯誤,也提供可重現測試與修補程式。

正文 · 中文翻譯

IEEE 1076 浮點數套件

ieee.float_pkg 是 VHDL 標準 IEEE Std 1076-2008 和 1076-2019 的浮點數套件。原始碼來自 IEEE 官方:opensource.ieee.org/vasg/Packages 的 release 分支上的 ieee/float_generic_pkg-body.vhdl,共 5,712 行,$Revision: 1220 $。工作小組在 gitlab.com/IEEE-P1076/Packages 的 develop 分支內容完全相同,GHDL 和 NVC 隨附的版本也未經修改。這裡的執行環境是 GHDL 7.0.0-dev 和 NVC 1.23.1;兩者執行相同向量時,產生的結果檔也相同。

這個套件採用精確算術。運算元由符號和兩個整數的分陣列成,先對分數進行運算,再依呼叫所指定的捨入方式,將結果一次捨入至目標格式。exact.py 就是這項運算的參考實作。

一般呼叫

使用套件本身的設定:round_nearest、3 個保護位元,並啟用非正規數。

call                                        returns                   exactly rounded
sqrt (2.0) in float64                       3FF6A09E667F3BCC          3FF6A09E667F3BCD
sqrt (14.0)                                 406F7750                  406F7751
sqrt (2.0**-149)                            4.2e-22                   3.7e-23
mac (-6.0, -1.0, -5.0)                      -15.0                     1.0
mac (-5.0, 1.0, 4.0)                        15.0                      -1.0
mac (1.0, 1.0, -infinity)                   +infinity                 -infinity
mac (1 + 2.0**-23, 1 - 2.0**-23, -1.0)      -2.0**-26                 -2.0**-46
resize (2.0**-512 in float64, 8, 23)        1.0                       0.0
resize (2.0**600 in float64, 8, 23)         2.0**88                   +infinity
resize (2.0**-1074 in float64, 8, 23)       +infinity                 0.0
resize (2.0**-650 in float64, 8, 23)        stops the simulator       0.0
reciprocal (2.0**127)                       +infinity                 2.0**-127
divide (2.0**-149, 2.0)                     2.0**-149                 0.0
dividebyp2 (3 * 2.0**-149, 2.0)             2.0**-149                 2.0**-148
scalb (1.0, 300)                            0.0                       +infinity
scalb (+infinity, -10)                      2.0**118                  +infinity
to_signed (0.50000006, 32)                  0                         1
to_unsigned (199.78125, 8)                  199                       200

以及呼叫指定捨入方式時:

divide (6.0, 3.0, round_inf)                2.0000002                 2.0
reciprocal (2.0, round_inf)                 0.50000006                0.5
add (largest, largest, round_zero)          +infinity                 largest
multiply (2.0**-100, 2.0**-100, round_inf)  0.0                       2.0**-149
add (1.0, -1.0, round_neginf)               +0.0                      -0.0
to_signed (2.25, 8, round_inf)              2                         3
to_float (100000, 5, 10, round_zero)        +infinity                 65504.0, the largest

plain.vhd 會執行這些呼叫,並在每個結果不是精確捨入值時印出 WRONG:共 24 行;第 25 次呼叫會在套件本體第 358 行因索引超出範圍而停止模擬器。只需要 GHDL:

ghdl -a --std=08 plain.vhd
ghdl --elab-run --std=08 plain

一般運算元並非罕見案例。對 1 到 4,096 的整數,sqrt 在 256 個案例中回傳與正確值相差一個單位的 float32,在 264 個案例中回傳與正確值相差一個單位的 float64。對由 -6 到 6、0.25、0.5、1.5 和 10 組成的 4,913 組三元組,mac 有 290 次回傳錯誤的 float32。resize 從 float64 轉換為 float32 時,對 2^-1074 到 2^-1024 的每個 2 的冪都回傳 +infinity;對 2^-662 到 2^-639 的值會停止模擬器;對 2^-638 到 2^-512 的值回傳 2^(e+512),對 2^513 到 2^639 的值則回傳 2^(e-512)。

統計資料

每種運算、格式和捨入方式各執行 10,000 次,運算元涵蓋算術容易出錯的情況:非正規運算元與結果、指數範圍兩端、捨入後進位至下一個指數區間的分數、精確中點、正負零和無窮大。每個儲存格表示在比較的呼叫中,結果不等於精確捨入值的次數。若轉換結果超出整數可表示範圍,則不列入比較。

float32                            round_nearest      round_zero         round_neginf       round_inf
add                                0 of 10,000        304 of 10,000      312 of 10,000      159 of 10,000
subtract                           0 of 10,000        314 of 10,000      312 of 10,000      143 of 10,000
multiply                           0 of 10,000        1,102 of 10,000    781 of 10,000      775 of 10,000
divide                             27 of 10,000       670 of 10,000      2,324 of 10,000    2,395 of 10,000
sqrt                               735 of 10,000      581 of 10,000      542 of 10,000      774 of 10,000
mac                                2,671 of 10,000    3,697 of 10,000    3,213 of 10,000    3,302 of 10,000
reciprocal                         384 of 10,000      586 of 10,000      1,093 of 10,000    2,613 of 10,000
resize to a narrower format        422 of 20,000      2,728 of 20,000    2,516 of 20,000    2,466 of 20,000   272 more stop the simulator
resize to a wider format           0 of 20,000        0 of 20,000        0 of 20,000        0 of 20,000
to_float (signed, 32 and 64 bits)  0 of 20,000        0 of 20,000        0 of 20,000        0 of 20,000
to_signed (8, 32, 64 bits)         613 of 28,637      0 of 28,626        5,934 of 28,608    5,898 of 28,623
to_unsigned (8, 32, 64 bits)       280 of 16,506      0 of 17,133        0 of 14,493        5,964 of 17,145
to_integer                         0 of 10,000        0 of 10,000        1,921 of 10,000    1,973 of 10,000
to_float (integer)                 0 of 10,000        0 of 10,000        0 of 10,000        0 of 10,000
dividebyp2                         1,542 of 10,000    1,904 of 10,000    2,313 of 10,000    2,262 of 10,000
scalb                              2,653 of 10,000    3,088 of 10,000    3,381 of 10,000    3,401 of 10,000
float64                            round_nearest      round_zero         round_neginf       round_inf
add                                0 of 10,000        260 of 10,000      311 of 10,000      138 of 10,000
subtract                           0 of 10,000        283 of 10,000      317 of 10,000      147 of 10,000
multiply                           0 of 10,000        1,163 of 10,000    852 of 10,000      866 of 10,000
divide                             18 of 10,000       698 of 10,000      2,495 of 10,000    2,406 of 10,000
sqrt                               1,278 of 10,000    619 of 10,000      659 of 10,000      799 of 10,000
mac                                2,673 of 10,000    3,697 of 10,000    3,285 of 10,000    3,290 of 10,000
reciprocal                         350 of 10,000      477 of 10,000      1,087 of 10,000    2,623 of 10,000
resize to a narrower format        801 of 30,000      4,116 of 30,000    3,980 of 30,000    4,014 of 30,000   445 more stop the simulator
resize to a wider format           0 of 10,000        0 of 10,000        0 of 10,000        0 of 10,000
to_float (signed, 32 and 64 bits)  0 of 20,000        0 of 20,000        0 of 20,000        0 of 20,000
to_signed (8, 32, 64 bits)         618 of 28,219      0 of 28,231        6,161 of 28,340    5,952 of 28,262
to_unsigned (8, 32, 64 bits)       321 of 16,330      0 of 16,839        0 of 14,237        6,155 of 16,776
to_integer                         0 of 10,000        0 of 10,000        2,125 of 10,000    2,183 of 10,000
to_float (integer)                 0 of 10,000        0 of 10,000        0 of 10,000        0 of 10,000
dividebyp2                         1,543 of 10,000    1,902 of 10,000    2,321 of 10,000    2,391 of 10,000
scalb                              2,218 of 10,000    2,540 of 10,000    2,982 of 10,000    2,967 of 10,000

float32 有 859,771 次呼叫,其中 81,068 次錯誤、272 次停止;float64 有 857,234 次呼叫,其中 86,081 次錯誤、445 次停止。同一批呼叫使用 float16 時,866,782 次中有 113,980 次錯誤;使用 float128 時,855,777 次中有 90,744 次錯誤、585 次停止。

對格式足夠小的情況,會測試其中的每個運算元:

format                                      calls                                             compared       wrong
7 bits, 3 of exponent and 3 of fraction     every operand, every pair, every triple of mac    8,692,326      1,271,619
10 bits, 4 of exponent and 5 of fraction    every operand and every pair                      17,340,682     883,716
float16                                     every operand of the one-operand functions        2,998,266      266,342

mac 在 round_nearest 中,對 7 位元格式的 2,097,152 組三元組,有 243,520 組結果錯誤。

原因

行號依據 IEEE 檔案。

normalize,第 422 行。 每個結果都會經過 exp := resize (expon, exp'length) + shiftr。指數以呼叫端格式的位元寬度傳入,接著截短為比目標格式多兩個位元。從 float64 轉換為 float32 時,指數寬度為 10 位元,因此指數會對 1,024 取餘數:2^-512 會變成 1.0,2^600 則會變成 2^88。若截短後的指數落在非正規數範圍,後續的位移量就會超出分數範圍,導致模擬器停止。在同一個函式中,超出格式範圍的結果在所有捨入方式下都會變成無窮大,過小的結果則在所有捨入方式下都會變成零。朝零捨入會得到最大值,遠離零捨入則會得到最小值。

divide,第 1243 行,以及 reciprocal,第 1099 行。 傳給捨入程式的黏滯位元固定為 '1'。精確商數會被當成仍有餘數來捨入:在 round_inf 中向上多進一個單位;在 round_nearest 中,精確中點則會朝錯誤方向捨入,而這種情況會出現在非正規商數中。

reciprocal,第 1053 至 1093 行。 結果的指數 -e - 3 會以與 e 相同的位元數保留,但對最高二進位區間而言,位元數不足以表示。在 float32 中,所有大於或等於 2^127 的引數都會回傳無限大;在 float64 中,所有大於或等於 2^1023 的引數都會回傳無限大。1/-0 回傳 +infinity,1/-infinity 回傳 +0。

sqrt,第 1787 行。 牛頓迭代從 (1 + x)/2 開始,在截斷定點格式中執行 fraction_width/4 + 1 步,然後將結果交由捨入處理,沒有黏滯位元。對於正規數引數,迭代結果會是平方根或與其相差一個單位:在上述測試向量中,9,156 個正規 float32 引數有 607 個相差一個單位,9,236 個正規 float64 引數有 1,146 個相差一個單位,且從未相差更多。對於非正規數引數,起始值對這麼多步迭代而言太遠:359 個 float32 非正規數中有 128 個結果錯誤,其中 104 個相差超過兩個單位,而 sqrt (2.0**-149) 回傳的值是平方根的 11 倍。

mac,第 1438 至 1536 行。 乘積會先截斷至其中一個運算元的位元寬度,再加上 c(第 1529 和 1536 行),因此總和相消時,回傳的是截斷後剩下的值。當乘積與 c 的指數相同、符號相反,且乘積較大時,第 1514 行會以較小的數減去較大的數:(-6)(-1) + (-5) 回傳 -15。無限大的 c 會採用乘積的符號,而無限大減去無限大會回傳無限大(第 1438 行)。

add,第 839 行。 符號相反的運算元算出精確的零時,在所有模式下都會得到 +0。註解引用的段落 IEEE 854 6.3 則規定,向負無限大捨入時結果為 -0。

to_signed、to_unsigned,第 301 至 345 行,以及 to_integer,第 3193 行。 整數位以下會保留三個位元,其餘位元則直接捨棄,沒有黏滯位元,因此 0.50000006 會被視為二分之一,並捨入至偶數相鄰值 0。若數值填滿 to_unsigned 結果的所有位元,這三個位元就會是零:將 199.78125 轉為 8 位元會回傳 199。round_inf 和 round_neginf 只檢查中間位元,因此 2.25 向上捨入後仍為 2。

resize,第 2407 行。 -0 轉為較窄的格式時會回傳 +0,註解指出 hate -0。轉為較寬的格式時則仍為 -0。

整數的 to_float,第 2676 和 2803 行。 超出格式可表示範圍的數值,在所有捨入模式下都會回傳無限大。

dividebyp2,第 1378 行,以及 Scalb,第 4601 至 4610 行。 兩者都在沒有保留位元的情況下將結果交給 normalize,因此非正規數結果會在應該捨入的位置被截斷。Scalb 會在 exponent_width + 1 位元中加上 N,較大的 N 會發生環繞,並且會像處理一般數值一樣縮放無限大。dividebyp2 會將二的非正規次方當成非二的次方除數。

denormalize 為 false 時。 零會被拆解成指數高於最低二進位區間數值的形式,因此,add 對零與一個符號相反的這類數值進行運算時,會以零減去該數值,並回傳環繞後的差值。reciprocal 會把這些數值當成它們實際上並非的非正規數。

修補程式

float_generic_pkg-body.patch 適用於 IEEE 檔案。它只修改套件本體,共有 33 個修改區塊,不涉及宣告。

  • normalize 會根據完整位寬的指數,判斷結果是零、非正規數、正規數還是無限大;若捨入模式要求,則回傳最大值或最小值。
  • divide 和 reciprocal 會從除法的餘數取得黏滯位元。reciprocal 將指數保留為多兩個位元,並讓零和無限大沿用引數的符號。
  • sqrt 會逐步對有效數計算整數平方根,每一步處理一個位元,並以餘數作為黏滯位元。
  • mac 會將完整乘積和 c 放在一個寬度為 3 * fraction_width + 9 位元的視窗中,在其中進行加法或減法,再捨入一次。這是融合乘加運算。
  • 轉換成整數時,無論移位量為何,都會保留數值的三個位元,將其餘位元彙整到黏滯位元中,並在整數位元以下有任何位元時,依定向捨入方式進位。
  • add 在其中一個運算元為零時會回傳另一個運算元,並依捨入方式指定的符號,為精確的零設定符號。resize 會保留零的符號。
  • to_float 對整數執行時,會回傳依該方式朝零捨入時可表示的最大數值。
  • dividebyp2 和 Scalb 會使用保護位元捨入非正規化結果。Scalb 會原樣回傳無限大與零,並接受任何 N。

使用相同的測試向量:

                                                          the package as shipped       patched
four formats, 10,000 per cell, 3,439,564 calls            371,873 wrong, 1,302 stop 0 wrong, 0 stop
the 7-bit format, 8,692,326 calls                         1,271,619 wrong              0
the 10-bit format, 17,340,682 calls                       883,716 wrong                0
float16, the one-operand functions, 2,998,266 calls       266,342 wrong                0
plain.vhd, 25 calls                                       24 wrong, 1 stop             0

GHDL 和 NVC 使用任一套套件都會寫出相同的結果檔:7 位元格式有 8,693,248 行,四種格式則有 3,680,000 行;1,302 次停止都發生在相同的行。也將參考實作在 round_nearest 中,對照這臺機器本身在 float32 和 float64 測試向量上的加法、減法、乘法、除法與 sqrt 算術結果:共 99,135 次運算,結果全都相同。

這個套件將保護位元和非正規化數字設為引數。對 float16、float32 和 float64 的每個儲存格各呼叫 1,000 次:

setting                        calls       patched right, shipped wrong     neither right     shipped right, patched wrong
3 guard bits, the default      258,075     28,103                           0                 0
4 guard bits                   258,075     27,758                           0                 0
2 guard bits                   258,075     28,760                           112               0
1 guard bit                    258,075     30,212                           2,194             0
denormalize false              255,606     27,745                           0                 0

使用兩個保護位元時,add 和 subtract 有 112 個結果並非經過捨入的結果;使用一個保護位元時,add、subtract 和 multiply 有 2,194 個結果如此:位元數不足,無法捨入每個結果,而兩套套件在這些行都回傳相同位元。沒有保護位元時,完全不會進行捨入:修補後的 sqrt、mac 和 reciprocal 會在每一行回傳朝零截斷的精確結果;原先隨附的版本則分別只在 11,141 個結果中的 10,207 個、9,750 個中的 3,902 個,以及 11,102 個中的 10,749 個如此。當 denormalize 為 false 時,會拿結果與該設定自身的數值比較;在這種設定中,指數欄位為零代表多出一個以 1 為最高有效位元的數值 binade。

定點套件

ieee.fixed_pkg 來自相同的原始碼,ieee/fixed_generic_pkg-body.vhdl,而 NVC 隨附的檔案與其逐位元組相同。六組小型索引範圍中的每一個運算元組合,涵蓋無號與有號數,都執行了所有算術運算:共 751,418 次呼叫。加法、減法、乘法、rem、mod、比較、add_carry、resize(涵蓋兩種捨入方式與兩種溢位方式)、to_integer、scalb、一元負號和 abs,每次結果都正確。除法則不然。

                                              ufixed               sfixed
/                                             1,073 of 19,984      952 of 19,984
divide, fixed_round, 1 guard bit              4,632                4,376
divide, fixed_round, 2 guard bits             2,433                2,370
divide, fixed_round, 3 guard bits             1,073                952
divide, fixed_round, 4 guard bits             487                  402
divide, fixed_truncate, 3 guard bits          0                    651
divide, no guard bits                         0                    7,785

0.125 / 1.875 在 ufixed (3 downto -3) 中會回傳 0.0625。商為 0.0667,而結果可表示的最接近數值是 0.0703。

商是以整數除法計算至保護位元(第 604 和 646 行),捨入時會看這些位元,而不是除法的餘數。保護位元為 100 且後面還有餘數時,數值會大於中點,但仍會視為平手並捨入至偶數。使用預設的三個保護位元時,大約每二十個商就有一個會遇到這種情況。有號除法會朝零截斷,而 resize 接著會朝負無限大截斷,因此使用 fixed_truncate 時,負商會依保護位元的末端位置而朝不同方向捨入。

fixed_generic_pkg-body.patch 讓兩個 divide 函式在保護位元以下多保留一個位元;若除法有餘數,便將該位元設為 1。若有號除法的負商不精確,則會先將結果向下調整至下一個較小數值,再由 resize 捨入或截斷。reciprocal 會呼叫 divide。使用這個修補後,751,418 次呼叫全都正確,而且 GHDL 和 NVC 使用任一套套件都會寫出相同的結果檔。

sh run_fixed.sh ghdl /path/to/ieee    # 41026 wrong in 751418 operations, then 0 wrong in 751418 operations
sh run_fixed.sh nvc  /path/to/ieee

tb_fixed.vhd 是測試平臺,fixed_exact.py 則是參考實作。

執行方式

GHDL 或 NVC、Python 3.9 以上版本,以及從 IEEE 儲存庫的 ieee 目錄或 GHDL 安裝中的 lib/ghdl/src/ieee2008 取得的三個檔案 float_generic_pkg.vhdl、float_generic_pkg-body.vhdl 和 float_pkg.vhdl。

sh run.sh ghdl /path/to/ieee 100      # plain.vhd, then 100 vectors per operation, format and style: half a minute
sh run.sh nvc  /path/to/ieee 10000    # the tables above

設為 100 時,最後幾行在兩種模擬器中都會顯示 3696 wrong and 8 stops in 34440 operations(隨附的套件)和 0 wrong and 0 stops in 34440 operations(修補後的套件)。大型測試中,NVC 的速度較快:隨附的 sqrt 和 divide 在定點運算中正常運作,但在 float128 中速度緩慢。

run.sh 會將修補後的主體編譯成獨立的函式庫 patched,放在它所屬的宣告旁邊,並讓每個測試平臺執行兩次:一次使用模擬器隨附的套件,另一次使用該函式庫。tb_float_pkg.vhd 每行讀取一個操作並輸出結果;exact.py run 會在一行停止模擬器的指令後重新啟動它。

python3 exact.py gen 2026 10000 5,10 8,23 11,52 15,112 > vectors.txt     # the vectors of the tables above
python3 exact.py all 3,3 > vectors.txt                                   # every operand of the 7-bit format
python3 exact.py check vectors.txt results.txt

若要在設計中使用修補後的套件,請將 float_generic_pkg.vhdl 和修補後的主體編譯到函式庫,並從中實例化 float_pkg,如 run.sh 所示。

未涵蓋

remainder、modulo、Logb、Nextafter、比較、使用 real 和定點數的轉換、文字輸入與輸出、單次呼叫中使用兩種不同格式的運算元,以及 check_error false。

套件的 VHDL-93 版本 float_pkg_c.vhdl 位於 FPHDL/fphdl,包含相同的程式碼行。這裡未執行該版本。

已回報

已於 2026 年 11 月 13 日向 IEEE P1076 工作小組回報,提交為 VHDL-Issues#388 並以電子郵件寄送;另提交為 ghdl/ghdl#3486、nickg/nvc#1758 和 FPHDL/fphdl#4。

讀者討論

理性交流 · 即時討論