
### activation/out dtype = torch.float32
type      M  rowwise vs M=1  exact  rel vs dense  splits
Q4_K      1       0.000e+00   True     2.030e-07
Q4_K      2       1.845e-07  False     2.214e-07
Q4_K      3       2.214e-07  False     2.953e-07
Q4_K      4       1.845e-07  False     2.584e-07
Q4_K      5       2.214e-07  False     2.768e-07
Q4_K      6       2.953e-07  False     2.768e-07
Q4_K      7       2.214e-07  False     2.768e-07
Q4_K      8       2.214e-07  False     2.584e-07
Q5_K      1       0.000e+00   True     2.651e-07
Q5_K      2       2.951e-07  False     2.651e-07
Q5_K      3       2.951e-07  False     2.951e-07
Q5_K      4       2.951e-07  False     2.951e-07
Q5_K      5       2.213e-07  False     2.951e-07
Q5_K      6       2.213e-07  False     2.951e-07
Q5_K      7       2.213e-07  False     2.951e-07
Q5_K      8       2.582e-07  False     3.135e-07
Q6_K      1       0.000e+00   True     2.922e-07
Q6_K      2       0.000e+00   True     3.339e-07
Q6_K      3       2.504e-07  False     2.817e-07
Q6_K      4       3.339e-07  False     4.174e-07
Q6_K      5       2.763e-07  False     2.960e-07
Q6_K      6       3.158e-07  False     3.947e-07
Q6_K      7       3.158e-07  False     3.552e-07
Q6_K      8       3.158e-07  False     3.947e-07
IQ4_XS    1       0.000e+00   True     3.020e-07
IQ4_XS    2       1.595e-07  False     2.393e-07
IQ4_XS    3       1.994e-07  False     3.190e-07
IQ4_XS    4       1.994e-07  False     2.991e-07
IQ4_XS    5       3.190e-07  False     2.991e-07
IQ4_XS    6       2.393e-07  False     3.390e-07
IQ4_XS    7       2.393e-07  False     3.190e-07
IQ4_XS    8       1.994e-07  False     3.190e-07
Q8_0      1       0.000e+00   True     2.367e-07
Q8_0      2       0.000e+00   True     3.314e-07
Q8_0      3       2.767e-07  False     3.229e-07
Q8_0      4       2.767e-07  False     2.767e-07
Q8_0      5       2.767e-07  False     2.767e-07
Q8_0      6       2.757e-07  False     2.757e-07
Q8_0      7       2.527e-07  False     3.216e-07
Q8_0      8       2.067e-07  False     2.480e-07
IQ4_NL    1       0.000e+00   True     3.094e-07
IQ4_NL    2       2.062e-07  False     3.094e-07
IQ4_NL    3       1.985e-07  False     2.978e-07
IQ4_NL    4       1.985e-07  False     2.978e-07
IQ4_NL    5       1.985e-07  False     2.978e-07
IQ4_NL    6       2.473e-07  False     2.968e-07
IQ4_NL    7       1.979e-07  False     2.968e-07
IQ4_NL    8       2.268e-07  False     2.722e-07
Q3_K      1       0.000e+00   True     2.453e-07
Q3_K      2       2.414e-07  False     3.219e-07
Q3_K      3       2.316e-07  False     2.558e-07
Q3_K      4       2.316e-07  False     3.088e-07
Q3_K      5       3.088e-07  False     3.088e-07
Q3_K      6       3.088e-07  False     2.702e-07
Q3_K      7       2.316e-07  False     3.088e-07
Q3_K      8       2.702e-07  False     3.088e-07
Q4_0      1       0.000e+00   True     2.311e-07
Q4_0      2       2.311e-07  False     2.542e-07
Q4_0      3       1.749e-07  False     2.788e-07
Q4_0      4       2.187e-07  False     2.624e-07
Q4_0      5       2.187e-07  False     2.624e-07
Q4_0      6       2.187e-07  False     2.624e-07
Q4_0      7       2.187e-07  False     2.624e-07
Q4_0      8       2.487e-07  False     2.487e-07

### activation/out dtype = torch.bfloat16
type      M  rowwise vs M=1  exact  rel vs dense  splits
Q4_K      1       0.000e+00   True     2.200e-03
Q4_K      2       1.208e-03  False     2.351e-03
Q4_K      3       0.000e+00   True     2.351e-03
Q4_K      4       6.039e-04  False     2.351e-03
Q4_K      5       6.039e-04  False     2.351e-03
Q4_K      6       1.510e-04  False     2.351e-03
Q4_K      7       6.039e-04  False     2.351e-03
Q4_K      8       1.510e-04  False     2.389e-03
Q5_K      1       0.000e+00   True     2.028e-03
Q5_K      2       0.000e+00   True     2.028e-03
Q5_K      3       7.548e-05  False     2.200e-03
Q5_K      4       0.000e+00   True     2.200e-03
Q5_K      5       0.000e+00   True     2.200e-03
Q5_K      6       0.000e+00   True     2.214e-03
Q5_K      7       1.474e-07  False     2.214e-03
Q5_K      8       1.474e-07  False     2.382e-03
Q6_K      1       0.000e+00   True     2.731e-03
Q6_K      2       0.000e+00   True     2.731e-03
Q6_K      3       0.000e+00   True     2.731e-03
Q6_K      4       0.000e+00   True     2.731e-03
Q6_K      5       3.238e-04  False     2.585e-03
Q6_K      6       0.000e+00   True     2.585e-03
Q6_K      7       2.530e-06  False     2.585e-03
Q6_K      8       0.000e+00   True     2.585e-03
IQ4_XS    1       0.000e+00   True     2.941e-03
IQ4_XS    2       0.000e+00   True     2.574e-03
IQ4_XS    3       0.000e+00   True     2.574e-03
IQ4_XS    4       0.000e+00   True     2.574e-03
IQ4_XS    5       0.000e+00   True     2.574e-03
IQ4_XS    6       0.000e+00   True     2.574e-03
IQ4_XS    7       0.000e+00   True     2.574e-03
IQ4_XS    8       0.000e+00   True     2.574e-03
Q8_0      1       0.000e+00   True     2.800e-03
Q8_0      2       0.000e+00   True     3.006e-03
Q8_0      3       0.000e+00   True     2.930e-03
Q8_0      4       0.000e+00   True     2.930e-03
Q8_0      5       0.000e+00   True     2.944e-03
Q8_0      6       3.677e-07  False     2.940e-03
Q8_0      7       3.765e-04  False     2.940e-03
Q8_0      8       3.397e-04  False     2.646e-03
IQ4_NL    1       0.000e+00   True     3.252e-03
IQ4_NL    2       4.223e-04  False     3.252e-03
IQ4_NL    3       0.000e+00   True     3.132e-03
IQ4_NL    4       7.927e-07  False     3.132e-03
IQ4_NL    5       0.000e+00   True     3.132e-03
IQ4_NL    6       0.000e+00   True     3.119e-03
IQ4_NL    7       0.000e+00   True     3.119e-03
IQ4_NL    8       9.301e-05  False     2.862e-03
Q3_K      1       0.000e+00   True     2.512e-03
Q3_K      2       0.000e+00   True     2.475e-03
Q3_K      3       7.706e-08  False     2.434e-03
Q3_K      4       0.000e+00   True     2.517e-03
Q3_K      5       1.541e-07  False     2.517e-03
Q3_K      6       7.891e-05  False     2.517e-03
Q3_K      7       0.000e+00   True     2.517e-03
Q3_K      8       0.000e+00   True     2.517e-03
Q4_0      1       0.000e+00   True     2.687e-03
Q4_0      2       1.480e-06  False     2.954e-03
Q4_0      3       3.592e-04  False     2.796e-03
Q4_0      4       1.403e-06  False     2.796e-03
Q4_0      5       8.980e-05  False     2.796e-03
Q4_0      6       3.592e-04  False     2.796e-03
Q4_0      7       8.980e-05  False     2.796e-03
Q4_0      8       3.397e-04  False     2.650e-03
