翻译自斯坦福大学网站上的一篇文章,A detailed example of how to use data generators with Keras。主要介绍了在面对大量数据时,如何通过编写数据生成器(DataGenerator)来实现动态加载数据的功能。
目的
你是否有过由于训练数据量过大导致内存消耗太多,因此想找一个魔法般的功能来解决这个问题并且不影响已有的代码?在这个大数据的时代,"大数据"变得越来越重要。
有时候即使你拥有顶配的设备,设备的内存可能也无法存放下所有的训练数据。这个时候,我们就需要寻找其他的解决方法。本篇文章将展示如何借助 Python...