论文网首页|会计论文|管理论文|计算机论文|医药学|经济学论文|法学论文|社会学论文|文学论文|教育论文|理学论文|工学论文|艺术论文|哲学论文|文化论文|外语论文|论文格式
中国论文网

用户注册

设为首页

您现在的位置: 中国论文网 >> 工科论文 >> 工科综合论文 >> 正文 会员中心
 通信学论文   交通运输论文   工业设计论文   环境工程论文   电力电气论文   水利工程论文   材料工程论文   建筑工程论文   化学工程论文
 机械工程论文   电子信息工程论文   建筑期刊   工科综合论文   汽车制造
基于ubuntu的分布式计算平台实现
【摘 要】分布式计算的便宜和高效使得其具有很好的发展前景,该分布式平台是在windowsxp系统下通过虚拟机vmware8安装ubuntu12.04后,然后安装配置hadoop0.20.2,通过实例验证了该平台的有效性。
  【关键词】分布式计算;ubuntu;hadoop
  【abstract】distributed computing is cheap and efficient so that it has good prospects for development, the distributed system is under the windowsxp system through the vmware8 virtual machine with ubuntu12.04 installed, and then install and configure the hadoop0.20.2, through the examples to verify the validity of the platform.
  【key words】distributed computing;ubuntu;hadoop
  1、开发环境配置
  在windowsxp系统下安装虚拟机vmware8,通过虚拟机安装ubuntu12.04,在ubuntu下创建hadoop用户组和用户;在ubuntu下安装jdk;修改机器名hostname;安装ssh服务,实现ssh无密码登陆;安装hadoop并配置相关文件。WWW.11665.cOm
  2、集群配置
  修改本机的host文件,打开conf/masters文件,添加作为secondarynamenode的主机名,这里需填写 master 就ok了。打开conf/slaves文件,添加作为slave的主机名,一行一个。将master机器上的文件一一复制到子节点机器上。hosts文件的复制。格式化namenode 的命令hadoop namenode -format。启动全部服务直接一条命令:start-all.sh。
  查看自己的datanode是否启动.jps。连接时可以在namenode上查看连接情况:hadoop dfsadmin -report。
  3、运行示例程序wordcount
  在namenode上
  $ cd /home/hadoop
  $ mkdir workspace
  $ cd workspace
  $ mkdir wordcount
  $ cd wordcount
  $ mkdir input
  $ echo "hello world bye world">input/f1
  $ echo "hello hadoop bye hadoop">input/f2
  在hdfs上建立一个input目录
  $ hadoop fs -mkdir /tmp/input
  把f1和f2拷贝到hdfs上的input目录下
  $ hadoop fs -put home/hadoop/workspace/wordcount/input/f1 /tmp/input
  $ hadoop fs -put home/hadoop/workspace/wordcount/input/f2 /tmp/input
  查看hdfs上有没有f1和f2
  $ hadoop fs -ls /tmp/input
  执行wordcount(确保hdfs上没有output目录)
  ./hadoop jar ../hadoop-0.20.2-examples.jar wordcount /tmp/input /output
  查看运行结果:./hadoop fs -cat /output/part-r-00000
  4、结语
  分布式计算是未来发展的一个重要领域,该分布式计算平台实现了多台计算机并行处理和计算。在这个大数据的时代,可以更好的为我们的数据分析和利用提供更有力的保障。
  【参考文献】
  [1]刘云浩.物联网导论[m].科学出版社,2012.
  [2]董西成.hadoop技术内幕[m].机械工业出版社,2013.
  [3]鲍亮,陈荣.深入浅出云计算[m].清华大学出版社,2012.
  • 上一篇工学论文:
  • 下一篇工学论文:
  •  作者:佚名 [标签: 分布 平台 实现 ]
    姓 名: *
    E-mail:
    评 分: 1分 2分 3分 4分 5分
    评论内容:
    发表评论请遵守中国各项有关法律法规,评论内容只代表网友个人观点,与本网站立场无关。
    基于智能家居的6410网关网络文件挂载
    基于民用建筑雨季施工防护工作分析与研究
    基于社会转型和电子商务背景下网络消费的调…
    基于Sap2000的井字梁设计
    基于跳跃扩散过程的保险资金最优投资模型研…
    基于陶行知理念下的体育课堂分组教学研究
    基于重庆农业补贴政策下农业经济增长因素分…
    基于网络层次分析法的科研人员绩效评价
    基于可持续发展的财务评价指标的构建
    基于因子分析的农业上市公司经营绩效实证分…
    基于CLIL理念的高校公共外语教师职业发展研…
    基于可持续发展谈高职教师的“职业倦怠”
    | 设为首页 | 加入收藏 | 联系我们 | 网站地图 | 手机版 | 论文发表

    Copyright 2006-2013 © 毕业论文网 All rights reserved 

     [中国免费论文网]  版权所有