With disks and networks providing gigabytes per second, parsing decimal numbers from strings becomes a bottleneck. We consider the problem of parsing decimal numbers to the nearest binary floating-point value. The general problem requires variable-precision arithmetic. However, we need at most 17 digits to represent 64-bit standard floating-point numbers (IEEE 754). Thus we can represent the decimal significand with a single 64-bit word. By combining the significand and precomputed tables, we can compute the nearest floating-point number using as few as one or two 64-bit multiplications. Our implementation can be several times faster than conventional functions present in standard C libraries on modern 64-bit systems (Intel, AMD, ARM and POWER9). Our work is available as open source software used by major systems such as Apache Arrow and Yandex ClickHouse. The Go standard library has adopted a version of our approach.


翻译:磁盘和网络每秒提供千兆字节, 从字符串中解析小数数字成为瓶颈。 我们考虑将小数数解为最近的二进制浮点值的问题。 一般问题需要可变精度算术。 但是,我们需要最多17位数字来代表64位标准浮点数( IEEE 754)。 因此, 我们可以用一个64位字来代表小数符号和单64位字。 通过合并符号和预编表格, 我们可以用一个或两个64位乘数来计算最接近的浮点数。 我们的执行速度可以比标准 C 库中现代64位系统( Intel、 AMD、 ARM 和 POWER9) 的常规功能快几倍。 我们的工作可以作为主要系统, 如 Apache Arower 和 Yandex 点击House 所使用的开放源软件。 Go 标准库采用了我们的方法的版本 。

0
下载
关闭预览

相关内容

Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习相关资源(框架、库、软件)大列表
专知会员服务
38+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
已删除
将门创投
6+阅读 · 2019年4月22日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年3月22日
Arxiv
0+阅读 · 2021年3月22日
Arxiv
0+阅读 · 2021年3月19日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
已删除
将门创投
6+阅读 · 2019年4月22日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员