标签:
分类:
本文详细讲解了如何将
PHP
数组转化为Javascript
可以使用的变量形式
在数据抓取的时候,经常我们会将数据以json格式保存至文件中,例如在用Scrapy抓取时,默认会将所有数据导出至指定的FEED_URI配置中。
由于保存下来的文件非常大,从几百兆到几GB几十GB甚至上百GB,我们在读取文件进行数据处理的时候需要特别注意,不能使用类似fp.read()这样的函数直接读取文件所有内容,否则我们的机器可能会直接卡死。造成这样情况的原因很简单,read()函数会将文件所有的内容存放至我们电脑的内存中,面对这动辄上G的内容,对于普通机器来说,我们的内存是铁定吃不消的。
所以我们在处理这样超大文件的时候,需要以stream的方式,一行一行地读取数据。需要注意的是,我们 [...]