- 浏览: 39754 次
最新评论
文章列表
haoop中mapreduce报错
java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)
at org.apache.hadoop.dfs.DFS ...
- 2011-01-07 15:51
- 浏览 782
- 评论(0)
一.程序简介
在mapreduce程序运行的开始阶段,hadoop需要将待处理的文件进行切分,按定义格式读取等操作,这些操作都在InputFormat中进行。
InputFormat是一个抽象类,他含有getSplits()和createRecordReader()抽象方法,在子类中必须被实现。这两个就是InputFormat的基本方法。getSplits()确定输入对象的切分原则,而则可以按一定格式读取相应数据。
二.程序详细分析
FileInputFormat中实现的getSplits()方法如下:
public List getSplits(JobContext j ...
- 2010-12-17 10:34
- 浏览 526
- 评论(0)
最近在研究hbase,查询效率确实不错,不过入库效率不理想,今天周五就小结以下。
hbase使用java 的api入库很简单:
Configuration conf = HBaseConfiguration.create();
HTable table = new HTable();
Put p = new Put("表名");
p.add(("族列名").getBytes(), "字段名".getBytes(),"值".getBytes());
p.add...
table.put(p ...
- 2010-12-10 15:48
- 浏览 361
- 评论(0)
package org.apache.hadoop.hive.cli; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement; import java.sql.ResultSet; import java.sql.ResultSetMetaData; import java.util.Date; import java.io.*; import jlin ...
- 2010-09-15 15:40
- 浏览 345
- 评论(0)
1、df 查看磁盘状况
2、tree查看文件目录树状结构
3、ftp,scp文件传输
4、ping tracert(root 可用) 追踪路由
5、su提示权限 top查看系统信息
6、vi编辑后:set fileencoding
7、vi编辑后:set fileencoding=utf-8
- 2010-06-25 15:39
- 浏览 389
- 评论(0)
前几天去面试,被鄙视了一把,唉。自己的差距还很大呀,不过没关系,一天进步一点点,加油!!!
一、mysql一些比较常用的命令要记熟:
1.mysql -h -u -p
2.mysqladmin -u -p password
3.grant select on db.table to 用户名@登陆主机 identified by /"密码 /" with grant option
4.udpate user set password = password("123") where user = 'root'
5.flush priv ...
- 2010-06-23 15:46
- 浏览 225
- 评论(0)
刚吃完饭,在cnbeta上就看到一篇文章,名叫“云计算”的双刃剑:FBI探员不必知会嫌犯即可随意搜查嫌犯的谷歌Docs账户。看完之后唯一的感想是,这篇文章是想说明Google守法呢,还是想说明Google其实是作恶的?我不愿妄加揣测说 ...
- 2010-06-23 15:43
- 浏览 202
- 评论(0)
TCP(Transmission Control Protocol) 传输控制协议
TCP是主机对主机层的传输控制协议,提供可靠的连接服务,采用三次握手确认建立一个连接:
位码即tcp标志位,有6种标示:SYN(synchronous建立联机) ACK(acknowledgement 确认) PSH(push传送) FIN(finish结束) RST(reset重置) URG(urgent紧急)
Sequence number(顺序号码) Acknowledge number(确认号码)
第一次握手:主机A发送位码为syn=1,随机产生seq number=1234567的数据包到服务器 ...
- 2010-06-23 15:38
- 浏览 246
- 评论(0)
看来搞咱们IT的就围绕着3样东西打转,存储,计算,传输。冯氏计算机体系多年来没有人突破过。 其实一直没搞懂数据结构和算法究竟怎样的才算是好的。今天突然有点想法,能够将硬件条件和产品需求完美结合的数据结构和 ...
- 2010-04-23 15:56
- 浏览 159
- 评论(0)
数据库以行、列的二维表的形式存储数据,但是却以一维字符串的方式存储,例如下表:
EmpId Lastname Firstname Salary
1 Smith Joe 40000
2 Jones Mary 50000
3 Johnson Cathy 44000
这个表存储在电脑的内存和硬盘中。数据库必须把这个二维表存储在一系列的一维“字节”中,又操作系统写到内存或者硬盘中。
行式数据库把一行中的数据值串在一起存储起来,然后再存储下一行数据
1,Smith,Joe,40000;2,Jones,Mary,50000;3Johnson,Cathy,44000;
列式数据库把一列中的数 ...
- 2010-04-23 15:34
- 浏览 263
- 评论(0)
在网上看了几篇文章,对Log4j异步存储机制有一定了解。AsyncAppender——它是自己收集所有的events到一个buffer中,再用一个单独的线程来服务(dispatch)收集过来的events到具体的appender来真正记录日志。(需要注意的是这个类只能通过xml的方法来配置使用) 浏览一下这个类的代码可以看出。它默认用一个大小为128的arraylist来作为event收集的buffer。别起了一个daemon thread来做diaptch event.而这个类里需求注意线程同步问题的地方有buffer,append方法。
对于采用同步和异步要看使用的环境。总体来说 ...
- 2010-04-14 15:59
- 浏览 228
- 评论(0)
一、Master/slave 这个是多机房数据访问最常用的方案,一般的需求用此方案即可。因此大家也经常提到“premature optimization is the root of all evil”。 优点:利用mysql replication即可实现,成熟稳定。 缺点:写操作存在单点故障,ma ...
- 2010-03-30 15:35
- 浏览 165
- 评论(0)
网址: http://www.penglixun.com/tech/database/column-oriented_dbms_analyse.html
这些天看数据仓库的内容,发现一个新内容——列式存储。曾经有想过把数据库行列转置作成索引,不过没有深想,没想到列式数据库已经开始发展起来了。 首先看 ...
- 2010-03-30 15:32
- 浏览 273
- 评论(0)
File test= new File("test.txt"); long fileLength = test.length(); LineNumberReader rf = null; try { rf = new LineNumberReader(new FileReader(test)); if (rf != null) { int lines = 0; rf.skip(fileLength); lines = rf.getLineNumber(); rf.close(); } } c ...
- 2010-03-23 15:24
- 浏览 326
- 评论(0)
MySql 性能到底能有多高?用了php半年多,真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望,到现在充满信心!MySql 这个数据库绝对是适合dba级的高手去玩的,一般做一点1万篇新闻的小型系统怎么写都可以,用xx框架可以实现快速开发。可是数据量到了10万,百万至千万,他的性能还能那么高吗?一点小小的失误,可能造成整个系统的改写,甚至更本系统无法正常运行!好了,不那么多废话了。用事实说话,看例子:
数据表 collect ( id, title ,info ,vtype) 就这4个字段,其中 title 用定长,info 用text, id 是逐渐,vtype是tinyint, ...
- 2010-03-01 15:35
- 浏览 322
- 评论(0)