Hadoop分布式文件系统HDFS访问例程，为Java界面程序，通过IOUtils.copyBytes可将 本地上传文件到HDFS；或从HDFS下载文件到本地硬盘。开发环境为Eclipse。-Hadoop Distributed File System HDFS access routines for Java interface program, through IOUtils.copyBytes can upload files to the local HDFS or downloa

Kafka是一个高吞吐量分布式消息系统。linkedin开源的kafka。 Kafka就跟这个名字一样，设计非常独特。首先，kafka的开发者们认为不需要在内存里缓存什么数据，操作系统的文件缓存已经足够完善和强大，只要你不搞随机写，顺序读写的性能是非常高效的。kafka的数据只会顺序append，数据的删除策略是累积到一定程度或者超过一定时间再删除。Kafka另一个独特的地方是将消费者信息保存在客户端而不是MQ服务器，这样服务器就不用记录消息的投递过程，每个客户端都自己知道自己下一次应该从什么地