200字范文,内容丰富有趣,生活中的好帮手!
200字范文 > 利用udf函数将Hive统计结果直接插入到MySQL

利用udf函数将Hive统计结果直接插入到MySQL

时间:2024-06-21 11:44:41

相关推荐

利用udf函数将Hive统计结果直接插入到MySQL

数据库|mysql教程

Hive函数,Hive,Hive MySQL,MySQL u

数据库-mysql教程

批发系统 源码,vscode缩进2个空格,ubuntu 账号权限,用cmd暂停tomcat,爬虫飞虫英文,php iconv转码,短视频入口seo外推,超酷网站手机,手机网页模板数据页lzw

result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值

大麦平台源码,Vscode怎么统计代码量,ubuntu 更改gtub,tomcat打开500错误,乐清爬虫ip,php数组元素类型转换,浏阳长沙seo优化外包,网站内容管理后台系统,ecshop模板foreachlzw

java 博客源码,ubuntu登录后蓝屏,scrapy爬虫保存缓存,hybrid php,seo免费提交lzw

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。

今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。

步骤为

hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;

Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path

Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar

hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;

Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path

Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar

hive>CREATE TEMPORARY FUNCTION dboutput AS ‘org.apache.Hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput’;

hive>select dboutput(‘jdbc:mysql://localhost/result’,’root’,’123456′,’INSERT INTO dc(code,size) VALUES (?,?)’,code,size) from accesslog limit 10;

注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。

通过以上步骤即可将hive统计结果直接导入到mysql数据库中。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。