kirayuan
- 浏览: 38704 次
-
最新评论
文章列表
haoop中mapreduce报错
java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)
at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)
at org.apache.hadoop.dfs.DFS ...
- 2011-01-07 15:51
- 浏览 772
- 评论(0)
一．程序简介
在mapreduce程序运行的开始阶段，hadoop需要将待处理的文件进行切分，按定义格式读取等操作，这些操作都在InputFormat中进行。
InputFormat是一个抽象类，他含有getSplits()和createRecordReader()抽象方法，在子类中必须被实现。这两个就是InputFormat的基本方法。getSplits()确定输入对象的切分原则，而则可以按一定格式读取相应数据。
二．程序详细分析
FileInputFormat中实现的getSplits()方法如下：
public List getSplits(JobContext j ...
- 2010-12-17 10:34
- 浏览 514
- 评论(0)
最近在研究hbase，查询效率确实不错，不过入库效率不理想，今天周五就小结以下。
hbase使用java 的api入库很简单：
Configuration conf = HBaseConfiguration.create();
HTable table = new HTable();
Put p = new Put("表名");
p.add(("族列名").getBytes(), "字段名".getBytes(),"值".getBytes());
p.add...
table.put(p ...
- 2010-12-10 15:48
- 浏览 349
- 评论(0)
package org.apache.hadoop.hive.cli; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement; import java.sql.ResultSet; import java.sql.ResultSetMetaData; import java.util.Date; import java.io.*; import jlin ...
- 2010-09-15 15:40
- 浏览 330
- 评论(0)
1、df 查看磁盘状况
2、tree查看文件目录树状结构
3、ftp，scp文件传输
4、ping tracert(root 可用) 追踪路由
5、su提示权限 top查看系统信息
6、vi编辑后:set fileencoding
7、vi编辑后:set fileencoding=utf-8
- 2010-06-25 15:39
- 浏览 377
- 评论(0)
前几天去面试，被鄙视了一把，唉。自己的差距还很大呀，不过没关系，一天进步一点点，加油！！！
一、mysql一些比较常用的命令要记熟：
1.mysql -h -u -p
2.mysqladmin -u -p password
3.grant select on db.table to 用户名@登陆主机 identified by /"密码 /" with grant option
4.udpate user set password = password("123") where user = 'root'
5.flush priv ...
- 2010-06-23 15:46
- 浏览 213
- 评论(0)
刚吃完饭，在cnbeta上就看到一篇文章，名叫“云计算”的双刃剑：FBI探员不必知会嫌犯即可随意搜查嫌犯的谷歌Docs账户。看完之后唯一的感想是，这篇文章是想说明Google守法呢，还是想说明Google其实是作恶的？我不愿妄加揣测说 ...
- 2010-06-23 15:43
- 浏览 196
- 评论(0)
TCP(Transmission Control Protocol) 传输控制协议
TCP是主机对主机层的传输控制协议，提供可靠的连接服务，采用三次握手确认建立一个连接:
位码即tcp标志位,有6种标示:SYN(synchronous建立联机) ACK(acknowledgement 确认) PSH(push传送) FIN(finish结束) RST(reset重置) URG(urgent紧急)
Sequence number(顺序号码) Acknowledge number(确认号码)
第一次握手：主机A发送位码为syn＝1,随机产生seq number=1234567的数据包到服务器 ...
- 2010-06-23 15:38
- 浏览 236
- 评论(0)
看来搞咱们IT的就围绕着3样东西打转，存储，计算，传输。冯氏计算机体系多年来没有人突破过。 其实一直没搞懂数据结构和算法究竟怎样的才算是好的。今天突然有点想法，能够将硬件条件和产品需求完美结合的数据结构和 ...
- 2010-04-23 15:56
- 浏览 156
- 评论(0)
数据库以行、列的二维表的形式存储数据，但是却以一维字符串的方式存储，例如下表：
EmpId Lastname Firstname Salary
1 Smith Joe 40000
2 Jones Mary 50000
3 Johnson Cathy 44000
这个表存储在电脑的内存和硬盘中。数据库必须把这个二维表存储在一系列的一维“字节”中，又操作系统写到内存或者硬盘中。
行式数据库把一行中的数据值串在一起存储起来，然后再存储下一行数据
1，Smith，Joe，40000；2，Jones，Mary，50000；3Johnson，Cathy，44000；
列式数据库把一列中的数 ...
- 2010-04-23 15:34
- 浏览 252
- 评论(0)
在网上看了几篇文章，对Log4j异步存储机制有一定了解。AsyncAppender——它是自己收集所有的events到一个buffer中,再用一个单独的线程来服务(dispatch)收集过来的events到具体的appender来真正记录日志。（需要注意的是这个类只能通过xml的方法来配置使用） 浏览一下这个类的代码可以看出。它默认用一个大小为128的arraylist来作为event收集的buffer。别起了一个daemon thread来做diaptch event.而这个类里需求注意线程同步问题的地方有buffer,append方法。
对于采用同步和异步要看使用的环境。总体来说 ...
- 2010-04-14 15:59
- 浏览 221
- 评论(0)
一、Master/slave 这个是多机房数据访问最常用的方案，一般的需求用此方案即可。因此大家也经常提到“premature optimization is the root of all evil”。 优点：利用mysql replication即可实现，成熟稳定。 缺点：写操作存在单点故障，ma ...
- 2010-03-30 15:35
- 浏览 155
- 评论(0)
网址: http://www.penglixun.com/tech/database/column-oriented_dbms_analyse.html
这些天看数据仓库的内容，发现一个新内容——列式存储。曾经有想过把数据库行列转置作成索引，不过没有深想，没想到列式数据库已经开始发展起来了。 首先看 ...
- 2010-03-30 15:32
- 浏览 261
- 评论(0)
File test= new File("test.txt"); long fileLength = test.length(); LineNumberReader rf = null; try { rf = new LineNumberReader(new FileReader(test)); if (rf != null) { int lines = 0; rf.skip(fileLength); lines = rf.getLineNumber(); rf.close(); } } c ...
- 2010-03-23 15:24
- 浏览 316
- 评论(0)
MySql 性能到底能有多高？用了php半年多，真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望，到现在充满信心！MySql 这个数据库绝对是适合dba级的高手去玩的，一般做一点1万篇新闻的小型系统怎么写都可以，用xx框架可以实现快速开发。可是数据量到了10万，百万至千万，他的性能还能那么高吗？一点小小的失误，可能造成整个系统的改写，甚至更本系统无法正常运行！好了，不那么多废话了。用事实说话，看例子：
数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint， ...
- 2010-03-01 15:35
- 浏览 300
- 评论(0)