如何对PHP导出的海量数据进行优化
web PHP 2019-04-24 1929 0
关于本站

“最难不过坚持”

本人承接扒站仿站,php网站维护,病毒查杀,网站编辑,网站改版,html制作

有需要网站维护,改版,病毒查杀,网站编辑,网站备案,html制作等相关的工作可以联系我。
本人有多年相关工作经验,也可提供免费咨询,交个朋友。
有需要探讨问题的朋友,也可以加我微信,共同探讨!
微信:15011482830 QQ:408917339

6451011 2613 39
最新评论
https://jueru.net/
评 留言
:weixiao:
评 留言
:shuijiao: :weiqu: :zhenbang: :leng:
评 留言
:yiwen: :yiwen: :yiwen: :yiwen:
评 EasySass: could not generate CSS file. See Output panel for details.
这个业务逻辑多少都有点奇怪了,阅读浏览次数增值在新闻详情页的控制器方法里setInc,这怎么还写进模型事件里了。如果非要用onAfterRead也可以,把新闻文章的内容单独分出来一个news_content表,然后把它和news做关联,然后给news_content表的onAfterRead事件做增值处理,这样点进新闻页内查询到文章内容时才会触发它。
评 TP6模型事件-查询后onAfterRead不好用
文章标签更多
ThinkPHP (254)
Mysql (58)
DedeCms (33)
jQuery (67)
证件照 (1)
setInc (4)
setDec (4)
onclick (5)
打开边栏(ESC) 关闭边栏(ESC)
导出数据量很大的情况下,生成excel的内存需求非常庞大,服务器吃不消,这个时候考虑生成csv来解决问题,cvs读写性能比excel高。

测试表student 数据(大家可以脚本插入300多万测数据。这里只给个简单的示例了)

导出脚本export.php

<?php
set_time_limit(0);
ini_set('memory_limit', '128M');
$fileName = date('YmdHis', time());
header('Content-Encoding: UTF-8');
header("Content-type:application/vnd.ms-excel;charset=UTF-8");
header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
// 注意,数据量在大的情况下。比如导出几十万到几百万,会出现504 Gateway Time-out,请修改php.ini的max_execution_time参数
// 打开php标准输出流以写入追加的方式打开
$fp = fopen('php://output', 'a');
// 连接数据库
$dbhost = '127.0.0.1';
$dbuser = 'root';
$dbpwd = '';
$con = mysqli_connect($dbhost, $dbuser, $dbpwd);
if (mysqli_connect_errno())
    die('connect error');
$database = 'test'; //选择数据库
mysqli_select_db($con, $database);
mysqli_query($con, "set names UTF8"); //如果需要请设置编码
// 用fputcsv从数据库中导出1百万的数据,比如我们每次取1万条数据,分100步来执行
// 一次性读取1万条数据,也可以把$nums调小,$step相应增大。
$step = 100;
$nums = 10000;
$where = "where 1=1"; //筛选条件,可自行添加
// 设置标题
$title = array('id', '用户名', '姓名', '注册日期'); //注意这里是小写id,否则ID命名打开会提示Excel 已经检测到"xxx.xsl"是SYLK文件,但是不能将其加载: CSV 文或者XLS文件的前两个字符是大写字母"I","D"时,会发生此问题。
foreach ($title as $key => $item)
	$title[$key] = iconv("UTF-8", "GB2312//IGNORE", $item);
fputcsv($fp, $title);
for ($s = 1; $s <= $step; $s++) {
    $start = ($s - 1) * $nums;
    $result = mysqli_query($con, "SELECT userId,loginName,UserName,createTime FROM `users` " . $where . " ORDER BY `userId` LIMIT {$start},{$nums}");
    if ($result) {
        while ($row = mysqli_fetch_assoc($result)) {
            foreach ($row as $key => $item)
            $row[$key] = iconv("UTF-8", "GBK", $item); //这里必须转码,不然会乱码
            fputcsv($fp, $row);
        } 
        mysqli_free_result($result); //释放结果集资源
        ob_flush(); //每1万条数据就刷新缓冲区
        flush();
    } 
} 
mysqli_close($con); //断开连接
// 运行直接生成文件,如:20190424060141.csv
?>
20190424060141.csv文件直接双击,即可用excel软件打开,如图

from clipboard

版权声明:本篇文章来源于网络。 来源链接

相关推荐
php实现ZIP压缩文件解压缩,中文乱码解决方法(重要)
PHP | 2019-04-30 5630
直接上代码,具体代码里面都有注释。直接中文压缩文件解压到中文文件夹。 <?php // 需开启配置 php_zip.dll // phpinfo(); header("Content-type:text/html;charset=utf-8"); /* * $filename 被解压文件名 * $path 解压...
openssl_private_decrypt解密失败
PHP | 2019-01-16 5603
复制别人的解密程序,原程序可以解密,复制过来就不可以 一步步尝试发现,秘钥换行符有区别, 原秘钥有换行符,复制过来不知道什么时候把换行符清空了,成了一行字符串了。
评论:0条
评论加载中...
发表评论