php查询mysql大量数据造成内存不足的解决方法

所属分类: 网络编程 / PHP编程 阅读数: 1804
收藏 0 赞 0 分享

本文实例分析了php查询mysql大量数据造成内存不足的解决方法。分享给大家供大家参考。具体分析如下:

一、问题

使用php查询mysql大数据量的时候,程序尚未执行完毕,跳出警告:
Fatal error:  Allowed memory size of 100663296 bytes exhausted (tried to allocate 103 bytes)
错误提示:php所分配到的100M内存被占用完毕。

二、解决方法:

最简单的解决办法是:在执行文件的头部增加:

ini_set('memory_limit','256M'); 

把内存增加到256M或者更多,可以增大php所使用的内存空间
但是下次若要读取更多的数据该怎么办呢,总不能一次次的增加,导致服务器的内存都被php吃光。

这里介绍一个函数:

使用memory_get_usage()方法获得php使用的内存量。发现随着读取数据条数的增加,php使用的内存在一步步增加。
难道php在查询mysql时的数据是存在内存中的?搜索了一下,发现果真大概就是这个意思。
mysql的C API函数有mysql_use_result()和mysql_store_result()
mysql_store_result()会把结果集从mysqlServer读到客户端,而 mysql_use_result()只是读取了结果集的元信息

1、php的mysql_query调用的是mysql_store_result(),自动获取并缓存结果集
2、而php的另一个函数mysql_unbuffered_query()则是调用的 mysql_use_result(),一方面,这在处理很大的结果集时会节省可观的内存。另一方面,可以在获取第一行后立即对结果集进行操作,而不用等到整个 SQL 语句都执行完毕。

所以我们在读取大量数据的时候,可以使用mysql_unbuffered_query()来替代mysql_query()。经测试,的确如此。而且相当给力,导完所有数据内存一直保持在1MB以内,没有增长过
mysql_unbuffered_query() 向 MySQL 发送一条 SQL 查询 query,但不像 mysql_query()那样自动获取并缓存结果集。一方面,这在处理很大的结果集时会节省可观的内存。另一方面,可以在获取第一行后立即对结果集进行操作,而不用等到整个 SQL 语句都执行完毕。当使用多个数据库连接时,必须指定可选参数 link_identifier。
mysql_unbuffered_query()的好处是有代价的:在 mysql_unbuffered_query()返回的结果集之上不能使用 mysql_num_rows() 和 mysql_data_seek()。此外在向 MySQL 发送一条新的 SQL 查询之前,必须提取掉所有未缓存的 SQL 查询所产生的结果行。
所以一定要结合自己的业务需求适当的选取函数

希望本文所述对大家的php程序设计有所帮助。

更多精彩内容其他人还在看

Laravel框架实现多个视图共享相同数据的方法详解

这篇文章主要介绍了Laravel框架实现多个视图共享相同数据的方法,涉及Laravel框架视图与控制器数据调用相关操作技巧,需要的朋友可以参考下
收藏 0 赞 0 分享

Laravel+Intervention实现上传图片功能示例

这篇文章主要介绍了Laravel+Intervention实现上传图片功能,结合实例形式分析了Intervention的安装及图片上传功能的相关设置、使用与注意事项,需要的朋友可以参考下
收藏 0 赞 0 分享

使用composer命令加载vendor中的第三方类库 的方法

这篇文章主要介绍了使用composer命令加载vendor中的第三方类库的方法,本文图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
收藏 0 赞 0 分享

PHP+Redis开发的书签案例实战详解

这篇文章主要介绍了PHP+Redis开发的书签案例,结合实例形式详细分析了php结合redis开发书签功能的具体步骤及相关操作技巧,需要的朋友可以参考下
收藏 0 赞 0 分享

PHP结合Redis+MySQL实现冷热数据交换应用案例详解

这篇文章主要介绍了PHP结合Redis+MySQL实现冷热数据交换应用案例,结合具体实例形式详细分析了Redis+MySQL冷热数据交换原理、实现方法及相关操作技巧,需要的朋友可以参考下
收藏 0 赞 0 分享

PHP批斗大会之缺失的异常详解

这篇文章主要给大家介绍了关于PHP批斗大会之缺失的异常的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用PHP具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
收藏 0 赞 0 分享

实例分析10个PHP常见安全问题

在本篇文章里小编给各位分享了关于10个PHP常见安全问题以及相关实例代码,需要的朋友们学习参考下。
收藏 0 赞 0 分享

PHP+redis实现微博的推模型案例分析

这篇文章主要介绍了PHP+redis实现微博的推模型案例,结合实例形式分析了php+redis实现微博推送与关注功能相关操作技巧,需要的朋友可以参考下
收藏 0 赞 0 分享

php解压缩zip和rar压缩包文件的方法

项目涉及文档处理,用户上传的包括 zip 和 rar 压缩包,需要先将压缩包解压后再作处理。这篇文章主要介绍了php解压缩zip和rar压缩包文件,需要的朋友可以参考下
收藏 0 赞 0 分享

PHP+redis实现微博的拉模型案例详解

这篇文章主要介绍了PHP+redis实现微博的拉模型案例,结合具体实例形式详细分析了php+redis获取关注人最新信息的相关原理与操作技巧,需要的朋友可以参考下
收藏 0 赞 0 分享
查看更多