PHP如何对CSV大文件进行读取并导入数据库？

发布日期：2018-06-26 13:37:19 评论：0

导读

对于数百万条数据量的CSV文件，文件大小可能达到数百M，如果简单读取的话很可能出现超时或者卡死的现象。为了成功将CSV文件里的数

对于数百万条数据量的CSV文件，文件大小可能达到数百M，如果简单读取的话很可能出现超时或者卡死的现象。

为了成功将CSV文件里的数据导入数据库，分批处理是非常必要的。

下面这个函数是读取CSV文件中指定的某几行数据：

?

    
            
            
function csv_get_lines($csvfile, $lines, $offset = 0) {
 if(!$fp = fopen($csvfile, 'r')) {
    return false;
 }
 $i = $j = 0;
    while (false !== ($line = fgets($fp))) {
        if($i++ < $offset) {
            continue; 
        }
        break;
    }
    $data = array();
    while(($j++ < $lines) && !feof($fp)) {
        $data[] = fgetcsv($fp);
    }
    fclose($fp);
 return $data;
}

        

调用方法：

?

            $data = csv_get_lines('path/bigfile.csv', 10, 2000000);
 
print_r($data);

函数主要采用行定位的思路，通过跳过起始行数来实现文件指针定位。

至于数据如何入库本文不再详细讲述。

上述函数对500M以内的文件进行过测试，运行通畅，对于更大的文件未做测试，请斟酌使用或加以改进。

这篇PHP读取CSV大文件导入数据库的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

(文/小编)

• 云锁服务器端很好用，晒一晒8月27日这些不要脸	• 云锁服务器管理工具，强大的防护日志，每天拦截
• 【解决】Linux使用vim出现E325:ATTENTION错误	• 下载服务器安全狗和服务器网站安全狗安装过程遇
• PHP读取CSV文件内容并且插入到数据库中	• DESTOON系统怎么过滤网址中的特殊符号呢？
• Destoon 7.0常见问题解决方法	• destoon系统多语言翻译，destoon英语网站系统怎
• destoon调用指定顶级分类的方法	• destoon教程之时间修改成几天前几分钟前几小时

供求通

推广服务

PHP如何对CSV大文件进行读取并导入数据库？

平台客服