We revisit Nisan's classical pseudorandom generator (PRG) for space-bounded computation (STOC 1990) and its applications in streaming algorithms. We describe a new generator, HashPRG, that can be thought of as a symmetric version of Nisan's generator over larger alphabets. Our generator allows a trade-off between seed length and the time needed to compute a given block of the generator's output. HashPRG can be used to obtain derandomizations with much better update time and \emph{without sacrificing space} for a large number of data stream algorithms, such as $F_p$ estimation in the parameter regimes $p > 2$ and $0 < p < 2$ and CountSketch with tight estimation guarantees as analyzed by Minton and Price (SODA 2014) which assumed access to a random oracle. We also show a recent analysis of Private CountSketch can be derandomized using our techniques. For a $d$-dimensional vector $x$ being updated in a turnstile stream, we show that $\|x\|_{\infty}$ can be estimated up to an additive error of $\varepsilon\|x\|_{2}$ using $O(\varepsilon^{-2}\log(1/\varepsilon)\log d)$ bits of space. Additionally, the update time of this algorithm is $O(\log 1/\varepsilon)$ in the Word RAM model. We show that the space complexity of this algorithm is optimal up to constant factors. However, for vectors $x$ with $\|x\|_{\infty} = \Theta(\|x\|_{2})$, we show that the lower bound can be broken by giving an algorithm that uses $O(\varepsilon^{-2}\log d)$ bits of space which approximates $\|x\|_{\infty}$ up to an additive error of $\varepsilon\|x\|_{2}$. We use our aforementioned derandomization of the CountSketch data structure to obtain this algorithm, and using the time-space trade off of HashPRG, we show that the update time of this algorithm is also $O(\log 1/\varepsilon)$ in the Word RAM model.


翻译:本文重新探讨了Nisan经典伪随机生成器(PRG)在空间受限计算中的应用(STOC 1990)及其在流计算中的应用。我们描述了一种新的生成器HashPRG,它可以被视为大型字符集上Nisan生成器的对称版本。我们的生成器允许在种子长度和计算给定块的生成器输出所需时间之间进行权衡。HashPRG可以用于获得许多数据流算法的去随机化,这些算法具有更好的更新时间,而且\emph{不损失空间}。例如,在$p>2$和$0<p<2$的参数范围内进行的$F_p$估计以及由Minton和Price (SODA 2014)分析的具有严格估计保证的CountSketch,这些算法假设有访问随机预言机。我们还表明,最近一项有关Private CountSketch的分析可以使用我们的技术进行去随机化。对于在转门流中更新的$d$维向量$x$,我们表明可以使用$O(\varepsilon^{-2}\log(1/\varepsilon)\log d)$位空间估计$\|x\|_{\infty}$,从而将其加性误差变为$\varepsilon\|x\|_{2}$。此外,该算法的更新时间在Word RAM模型中为$O(\log 1/\varepsilon)$。我们表明,该算法的空间复杂度是最优的,直到常数因子。然而,对于$\|x\|_{\infty}=\Theta(\|x\|_{2})$的向量$x$,我们表明,可以使用$O(\varepsilon^{-2}\log d)$位空间的算法打破下界,该算法将$\|x\|_{\infty}$近似到$\varepsilon\|x\|_{2}$的误差范围内。我们使用上述去随机化的CountSketch数据结构来获得该算法,并且使用HashPRG的时间-空间权衡来表明该算法的更新时间也为$O(\log 1/\varepsilon)$(在Word RAM模型中)。

0
下载
关闭预览

相关内容

生成器是一次生成一个值的特殊类型函数。可以将其视为可恢复函数。调用该函数将返回一个可用于生成连续 x 值的生成【Generator】,简单的说就是在函数的执行过程中,yield语句会把你需要的值返回给调用生成器的地方,然后退出函数,下一次调用生成器函数的时候又从上次中断的地方开始执行,而生成器内的所有变量参数都会被保存下来供下一次使用。
【数据科学导论书】Introduction to Datascience,253页pdf
专知会员服务
48+阅读 · 2021年11月15日
专知会员服务
21+阅读 · 2021年9月23日
Python分布式计算,171页pdf,Distributed Computing with Python
专知会员服务
107+阅读 · 2020年5月3日
【电子书】大数据挖掘,Mining of Massive Datasets,附513页PDF
专知会员服务
103+阅读 · 2020年3月22日
一些关于随机矩阵的算法
PaperWeekly
1+阅读 · 2022年7月13日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
已删除
将门创投
12+阅读 · 2019年7月1日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
图神经网络综述:方法及应用 | Deep Reading
AI100
36+阅读 · 2019年3月17日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
31+阅读 · 2020年9月21日
A survey on deep hashing for image retrieval
Arxiv
14+阅读 · 2020年6月10日
VIP会员
相关资讯
一些关于随机矩阵的算法
PaperWeekly
1+阅读 · 2022年7月13日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
已删除
将门创投
12+阅读 · 2019年7月1日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
14+阅读 · 2019年5月15日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
图神经网络综述:方法及应用 | Deep Reading
AI100
36+阅读 · 2019年3月17日
论文浅尝 | Global Relation Embedding for Relation Extraction
开放知识图谱
12+阅读 · 2019年3月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员