Mysql大文件导入方法以及性能对比

前言

背景

今天被妹子问到一个问题，往mysql中导入1000W条数据，哪种方式比较快，我居然被问到了，说实话我还真心不知道。

那就找数据呗，搞数据研发的好处就是，数据肯定是很多的，正好还有测试集群。开始在线上找数据。

由于我们很多mysql的表会通过sqoop抽到hdfs中，所有就直接在hdfs中把数据提出来了，不给线上mysql什么压力了。

对比实验

现在使用两种方式分别往mysql数据库中插入数据。

• 一种是load data的形式，
• 一种使用sqoop从hdfs中抽。