Author Archive

格式化Hive语法树(python)

为了容易看一点,把用explain得到的语法树加上一些缩进. 该代码只是简单的加上缩进. 效果 这是查询explain select key from kv mykv join test mytest on (mykv.key == mytest.id);语句获取的语法树   (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TOK_TABNAME kv) mykv)   (TOK_TABREF (TOK_TABNAME test) mytest)   (== (. (TOK_TABLE_OR_COL mykv) key)   (. (TOK_TABLE_OR_COL mytest) id) ) ) )   (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE) )   (TOK_SELECT (TOK_SELEXPR (TOK_TABLE_OR_COL key) ) [...]


[转]解决ubuntu下mysql不能远程连接数据库的问题

来源:http://www.php100.com/html/webkaifa/database/Mysql/2010/1115/6818.html Ubuntu10.04上自带的MySQL,执行了 root@ubuntu:~#sudo apt-get install mysql 安装完mysql-server 启动mysql root@ubuntu:~#/etc/init.d/mysql start 本地可以连接进入数据库。 root@ubuntu:~#mysql -uroot -p 设置了远程访问权限: mysql> grant all PRIVILEGES on *.* to admin@’%’ identified by ‘123456′; Query OK, 0 rows affected (0.04 sec) mysql> use information_schema mysql> select * from user_privileges; 查询到有下面的结果:’admin’@’%’,说明mysql已经授权远程连接。 在windows下访问Ubuntu的数据库,连接不上,但是Ubuntu上安装的apache可以访问。 用iptalbes添加端口3306后也无法访问。 root@ubuntu:~# iptables -A INPUT -p tcp –dport 3306 -j ACCEPT Ubuntu上查看Mysql网络连接: [...]


Fatkun图片批量下载谷歌浏览器扩展1.3版更新了

1.3版插件地址:https://bath-image-download.googlecode.com/files/batch1_3.crx 1.3版update:2012-05-01 支持特定网站取大图,添加新浪微博和新浪轻博客的支持 支持input图片 添加视图切换   最近工作上有点忙,先做一个小更新。有好多东西要学,是压力也是动力~! 详细信息:http://fatkun.com/2010/09/batch-image-download.html


Ubuntu 11.04 下安装配置 JDK 7

文章来源:Ubuntu 11.04 下安装配置 JDK 7 这篇文章说得很清晰。。复制过来。。以作备用。。 ——————— 第一步:下载jdk-7-linux-i586.tar.gz wget -c http://download.oracle.com/otn-pub/java/jdk/7/jdk-7-linux-i586.tar.gz (注:如果下载不下来,建议使用迅雷下载,然后拷贝到Linux系统上。) 第二步:解压安装 sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm cd /usr/lib/jvm sudo mv jdk1.7.0/ java-7-sun 第三步:修改环境变量 vim ~/.bashrc 添加: export JAVA_HOME=/usr/lib/jvm/java-7-sun export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH 保存退出,输入以下命令使之立即生效。 source ~/.bashrc 第四步:配置默认JDK版本 由于ubuntu中可能会有默认的JDK,如openjdk,所以,为了将我们安装的JDK设置为默认JDK版本,还要进行如下工作。 执行代码: sudo update-alternatives –install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300 sudo update-alternatives –install /usr/bin/javac javac [...]


eclipse上单步调试Hive

在百度找到这篇文章:在Windows eclipse上单步调试Hive教程 可是我死活搞不定在windows安装hadoop和hive,cgywin不靠普啊。。还是在ubuntu下调试了。 准备 前提条件是你已经部署好hadoop和hive,能够正常的执行hive查询。 我在~/workspace/hive新建了两个目录lib和conf 从hive目录中的lib和hadoop目录中的lib复制一份到一个目录里,我是放在~/workspace/hive/lib 还要把hadoop目录下的hadoop*.jar都拷贝过来吧。 如果用mysql做metastore的数据库,还需要把mysql-connector的lib加上 把hive的conf文件夹拷贝过来(要已配置好的conf文件哦) 把hive中的src目录拷贝进来 创建项目 在这个目录下(~/workspace/hive/src/cli)的代码是hive命令行的代码,我们可以通过调试它来了解hive的执行过程。 在这个目录下,用eclipse新建一个项目。 配置bulid path,把我们准备好的lib全部加上 这个时候,代码应该没有编译错误了,如果有,请检查一下那个lib没加上。 还有个重要的步骤!hive是怎样找它的配置文件的呢? 我们要把conf目录加入classpath中,在debug configuration中的Classpath,点击左侧的advanced,add exteral path,选上我们准备好的conf目录。 这样就可以开始debug了! 如果你运行报does not have a sch错误,应该是由于没找到配置文件引起的。   顺便看看hive是怎么找到配置文件的。 都是通过getClassLoader().getResource()方法来获取的,所以配置文件夹必须在classpath中! URL hconfurl = getClassLoader().getResource("hive-default.xml"); if (hconfurl == null) { l4j.debug("hive-default.xml not found."); } else { addResource(hconfurl); } URL hsiteurl = getClassLoader().getResource("hive-site.xml"); if (hsiteurl == [...]


Hive为什么会创建DELETEME表

在Hive中会去取schme name和catalog(暂时不知道这个东西有什么用) 是第三方的库datanucleus在操作, 可以看到它创建DELETEME123213一些随机数字的表,然后删掉。。目的就为了去获取schme name和catalog 可以在hive-site.xml配置,不让做这个操作… <property> <name>datanucleus.fixedDatastore</name> <value>true</value> </property> 这样会导致的结果暂时未知。。。o(╯□╰)o 另外,最好把datanucleus.autoCreateSchema设为false 官方的注释中表明,如果你第一次已经建好了表,就把这个设回false,为了方便第一次创建表结构。 <property> <name>datanucleus.autoCreateSchema</name> <value>false</value> </property>