如何将数据从MySQL迁移到Influxdb中
如果以前是将时序数据存放在mysql，现在为了获取更好的性能和使用可视化工具，我们需要将数据从mysql迁移到influxdb中。
这看起来是一个常见场景，经过一番查阅，发现了 greatlakesenergy /mysql-to-influxdb 这个项目。
可惜的是，作者是基于python2进行开发的，而且用了几个非常难搭建的模块。想在python3中重新使用这个项目比较困难。所以我fork了作者的代码进行改造，改造后的代码如下：
https://github.com/ckend/mysql-to-influxdb
如果你有这样的迁移需求，可以继续看下面的详细教程。
1.准备开始之前，你要确保python和pip已经成功安装在电脑上噢，如果没有，请访问这篇文章：超详细python安装指南 进行安装。如果你用python的目的是数据分析，可以直接安装anaconda：python数据分析与挖掘好帮手—anaconda
windows环境下打开cmd(开始—运行—cmd)，苹果系统环境下请打开terminal(command+空格输入terminal)，准备开始输入命令安装依赖。
当然，我更推荐大家用vscode编辑器，把本文代码copy下来，在编辑器下方的终端运行命令安装依赖模块，多舒服的一件事啊：python 编程的最好搭档—vscode 详细指南。
下载或git clone我修改好的代码：
https://github.com/ckend/mysql-to-influxdb
解压进入该目录后，输入以下命令安装依赖：
pip install -r requirements.txt2.迁移配置在迁移开始前，请在你需要迁移的表里加一个字段 transfered，这个字段用于检测某条数据是否被迁移，默认设为0。一旦迁移完成，这个字段会被设为1.
此外，你需要找到你表里的时间序列字段（time）和分类字段（tag）。
分类字段可能比较难理解，比如说你有一张表记录了每支股票每天的开盘价，那么股票id字段便可理解为一个tag，即下面配置中的siteid_field.
在解压后的目录里新建一个settings.ini, 配置以下信息：
[mysql]host: mysql host # (本地为127.0.0.1)port: mysql 端口号 # 3306username: 用户名password: 密码db: 数据库table: 要迁移的表check_field: 检测字段time_field: 时间字段siteid_field: 分类字段(tag)[influx]host: influxdb host # (本地为127.0.0.1)port: 端口号 # 8086username: 用户名password: 密码db: 要迁移进入的数据库[server]interval: 5配置完上述信息后，执行命令即可开始迁移：
python mysql2influx.py -d -c settings.ini -s3.迁移是否完成如何检测迁移任务是否完成，还记得我们刚新增了一个字段 transfered 用于检测某条数据是否被迁移吗？
你只需要在mysql中输入以下sql查询是否还有未被迁移的数据即可：
select count(1) from your_table where transfered = 0;若不为0则说明还有数据未被迁移成功。
不过值得注意的是，迁移脚本里是先进行数据迁移，再回来修改transfered的值。
如果你的数据量非常大，更新mysql数据有可能会耗时极长，因此查询transfered数量的结果有可能不正确。这点需要特别关注。
SPI FLASH与NOR FLASH的区别 详解SPI FLASH与NOR FLASH的不一样
珞石机器人活塞去毛刺方案
为保证自动驾驶汽车的安全性 车用传感器必不可少
测试case为什么会发生如此大的性能差距
水质多参数在线检测仪监测系统
如何将数据从MySQL迁移到Influxdb中
江苏南京fm频道列表
气体减压阀有哪些品牌
TMR传感器在电源应用中提高性能并减小尺寸
华为公布了一款采用椭圆形的全新智能音箱设计专利
华为5G随行WiFi值不值得买
采取几个步骤，使物联网转型更容易
华为推送新系统，流畅度不逊于苹果iOS
Wolfspeed模块产品组合如何服务于整个功率范围
数字电路中何时会发生亚稳态
袖珍笔记本电脑制作教程
在人工智能这场竞赛中，香港正迎头赶上
仪表放大器的REF引脚有哪些作用？
半年投入6.7亿 宁德时代是中国锂电的一个奇迹
嵌入式无线网桥核心模块解决传输烦恼
这看起来是一个常见场景，经过一番查阅，发现了 greatlakesenergy /mysql-to-influxdb 这个项目。
可惜的是，作者是基于python2进行开发的，而且用了几个非常难搭建的模块。想在python3中重新使用这个项目比较困难。所以我fork了作者的代码进行改造，改造后的代码如下：
https://github.com/ckend/mysql-to-influxdb
如果你有这样的迁移需求，可以继续看下面的详细教程。
1.准备开始之前，你要确保python和pip已经成功安装在电脑上噢，如果没有，请访问这篇文章：超详细python安装指南 进行安装。如果你用python的目的是数据分析，可以直接安装anaconda：python数据分析与挖掘好帮手—anaconda
windows环境下打开cmd(开始—运行—cmd)，苹果系统环境下请打开terminal(command+空格输入terminal)，准备开始输入命令安装依赖。
当然，我更推荐大家用vscode编辑器，把本文代码copy下来，在编辑器下方的终端运行命令安装依赖模块，多舒服的一件事啊：python 编程的最好搭档—vscode 详细指南。
下载或git clone我修改好的代码：
https://github.com/ckend/mysql-to-influxdb
解压进入该目录后，输入以下命令安装依赖：
pip install -r requirements.txt2.迁移配置在迁移开始前，请在你需要迁移的表里加一个字段 transfered，这个字段用于检测某条数据是否被迁移，默认设为0。一旦迁移完成，这个字段会被设为1.
此外，你需要找到你表里的时间序列字段（time）和分类字段（tag）。
分类字段可能比较难理解，比如说你有一张表记录了每支股票每天的开盘价，那么股票id字段便可理解为一个tag，即下面配置中的siteid_field.
在解压后的目录里新建一个settings.ini, 配置以下信息：
[mysql]host: mysql host # (本地为127.0.0.1)port: mysql 端口号 # 3306username: 用户名password: 密码db: 数据库table: 要迁移的表check_field: 检测字段time_field: 时间字段siteid_field: 分类字段(tag)[influx]host: influxdb host # (本地为127.0.0.1)port: 端口号 # 8086username: 用户名password: 密码db: 要迁移进入的数据库[server]interval: 5配置完上述信息后，执行命令即可开始迁移：
python mysql2influx.py -d -c settings.ini -s3.迁移是否完成如何检测迁移任务是否完成，还记得我们刚新增了一个字段 transfered 用于检测某条数据是否被迁移吗？
你只需要在mysql中输入以下sql查询是否还有未被迁移的数据即可：
select count(1) from your_table where transfered = 0;若不为0则说明还有数据未被迁移成功。
不过值得注意的是，迁移脚本里是先进行数据迁移，再回来修改transfered的值。
如果你的数据量非常大，更新mysql数据有可能会耗时极长，因此查询transfered数量的结果有可能不正确。这点需要特别关注。
SPI FLASH与NOR FLASH的区别 详解SPI FLASH与NOR FLASH的不一样
珞石机器人活塞去毛刺方案
为保证自动驾驶汽车的安全性 车用传感器必不可少
测试case为什么会发生如此大的性能差距
水质多参数在线检测仪监测系统
如何将数据从MySQL迁移到Influxdb中
江苏南京fm频道列表
气体减压阀有哪些品牌
TMR传感器在电源应用中提高性能并减小尺寸
华为公布了一款采用椭圆形的全新智能音箱设计专利
华为5G随行WiFi值不值得买
采取几个步骤，使物联网转型更容易
华为推送新系统，流畅度不逊于苹果iOS
Wolfspeed模块产品组合如何服务于整个功率范围
数字电路中何时会发生亚稳态
袖珍笔记本电脑制作教程
在人工智能这场竞赛中，香港正迎头赶上
仪表放大器的REF引脚有哪些作用？
半年投入6.7亿 宁德时代是中国锂电的一个奇迹
嵌入式无线网桥核心模块解决传输烦恼