ouyida3
- 浏览: 48191 次
- 性别:
- 来自: 广州
-
最新评论
-
ouyida3：
这篇和解决方案那篇加起来领导HaiB看了说不错
关于tuxedo进程服务自增长后报错问题分析 -
Jerrick：
我也是在windows上利用cygwin搭建的hadoop环境 ...
ubuntu安装hive -
抛出异常的爱：
flootball 写道qvjing520 写道如今的新同学眼 ...
对新同学的一些建议 -
flootball：
qvjing520 写道如今的新同学眼高手低的太多 最近一直帮 ...
对新同学的一些建议 -
qvjing520：
如今的新同学眼高手低的太多 最近一直帮公司招聘 来的硕士还不如 ...
对新同学的一些建议
文章列表
Ubuntu搭建hadoop
一 环境准备
ubuntu-11.04-desktop-i386
Hadoop-0.20.2-cdh3u1
Hbase-0.90.3-cdh3u1
Zookeeper-3.3.3-cdh3u1
Jdk-6u26-linux-i586.bin
二 安装中文输入法
System-administration-language support-keyboard input method
System->Preferences->Keyboard Input Method->Tab Input Method->Add new
三 安装飞鸽
htt ...
入库方案初稿
一、采集文件
采用shell脚本，从话单存放机器通过ftp分别get到四台服务器上（可按四台机器的处理速度比例存放）
二、读取文件
有两种方案，一是四台服务器分别启动各自的shell脚本，通过shell把各自的话单文件put到hdfs的虚拟目录，再通过map方法读取；
二是直接从文件存放硬盘位置各自读取；
倾向于第二种方案
三、解析文件
有两种方案，一是通过map和reduce方法，由hadoop分布式从虚拟目录读取解析文件；
二是在四台机器上放置同样的多线程程序，进行文件解析；
倾向于第二种方案（第一种方案的主要缺点是hdfs与hbase有资源竞争）
四、文件入库
四 ...
2011-08-10 09:57:16,000 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: meimer/130.51.38.219:9001. Already tried 0 time(s).
master启动没报错，但是在slave里报错。
解决方法：
1、把slave机器的namenode得format一下。
2、把master里的配置文件也改为meimer，而不要用localhost
hbase也有同样错误
Wed Aug 10 10:15:20 2011 Starting master o ...
win xp搭建hadoop
一 环境准备
Win xp
Cygwin1.7.9
Hadoop-0.20.2
Hbase-0.90.3
Zookeeper-3.3.2
jdk-6u26-windows-i586.exe
二 安装cygwin
报错信息：
删除了tmp，再format，再重启，未解决！
2011-08-03 23:15:28,053 WARN org.apache.hadoop.conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override properties of core-default.xml, mapre ...
deb http://mirrors.sohu.com/ubuntu/ natty main restricted universe multiverse
deb http://mirrors.sohu.com/ubuntu/ natty-security main restricted universe multiverse
deb http://mirrors.sohu.com/ubuntu/ natty-updates main restricted universe multiverse
deb http://mirrors.sohu.com/ubuntu/ natty-proposed ...
在Ubuntu上装Hadoop
http://cloud.csdn.net/a/20100901/278948.html
ubuntu的终端位置
http://zhidao.baidu.com/question/129375828.html
ubuntu qq
http://wiki.ubuntu.org.cn/QQ
bug，改完系统时间，发送频率过快，关掉聊天窗口后没事
ubuntu 取windows文件
http://zhidao.baidu.com/question/207216420.html
linux 下载java
http://www.java.com/zh_CN/down ...
1、下载hbase
hbase-0.90.3
2、下载zookeeper
zookeeper-3.3.2
版本一定要对应上，同时检查lib里的jar包hbase、zookeeper、hadoop的版本是否对应
3、修改zoo.cfg
修改dataDir=C:/cygwin/home/Administrator/zookeeper-3.3.2/data_dir
增加：server.1=130.51.38.100:2888:3888
4、修改regionservers
meimer-computer
5、配置hbase-site.xml
<configuration>
&l ...