标签:
分类:
本文详细讲解了如何将
PHP数组转化为Javascript可以使用的变量形式
在数据抓取的时候，经常我们会将数据以json格式保存至文件中，例如在用Scrapy抓取时，默认会将所有数据导出至指定的FEED_URI配置中。
由于保存下来的文件非常大，从几百兆到几GB几十GB甚至上百GB，我们在读取文件进行数据处理的时候需要特别注意，不能使用类似fp.read()这样的函数直接读取文件所有内容，否则我们的机器可能会直接卡死。造成这样情况的原因很简单，read()函数会将文件所有的内容存放至我们电脑的内存中，面对这动辄上G的内容，对于普通机器来说，我们的内存是铁定吃不消的。
所以我们在处理这样超大文件的时候，需要以stream的方式，一行一行地读取数据。需要注意的是，我们 [...]