大数据-无限精彩
501311837 · 共 18 篇文章
离线搭建CDH5,ClouderaManager
安装JDK(所有节点)省略 创建统一账号: useradd hadoop passwd hadoop 关闭防火墙 service iptables stop 统一时间: date -s "2014-9-10 15:11:00" hwclock --systohc service ntpd start chkconfig ntpd on vi /etc/sysconfig/seliunx SELINUX=disabled #修改成这样,需要重启生效。 setenforce 0 #执行后不需要重启生效。 2.配置主机名 vi /etc/hosts 127.0.0.1 localhost 192.…
2014-09-11 11:04 · Hadoop平台配置 · 评论(1)
ZooKeeper-- 管理分布式环境中的数据
1.随着分布式应用的不断深入,需要对集群管理逐步透明化。监控集群和作业状态;可以充分的利用ZK的独有特性,熟悉程度决定应用高度 2.Service端具有fast fail特性,非常健壮,无单点,不超过半数Server挂掉不会影响提供服务 3.zookeeper名字空间由节点znode构成,其组织方式类似于文件系统, 其各个节点相当于目录和文件 ,通 过路径作为唯一标示 。与文件系统不同的是,每个节点具有与之对用的数据内容,同时也可以具有子节点 4.ZK用于存储协调数据,如状态、配置、位置信息等。每个节点存储的数据量很小KB级别 5.节点维护一个状态stat结构(包括数据变化的版本号、ACL变…
2014-09-06 15:00 · Hadoop · 评论(0)
数据结构学习笔记
1.衡量算法的标准: 时间复杂度:大概程序执行的次数,而非执行的时间 空间复杂度:算法执行过程中大概所占用的最大内存 难易程度 健壮性 2.int *p //p是个指针变量,int *表示该P变量只能存储int类型变量的地址 3.地址:内存单元的编号,内存是可以被cpu直接访问的,内存的编号是不能重复的,内存的基本划分单位是字节 CPU--地址线(可以确定对哪个地址进行操作) 控制线(控制读和写) 数据线(数据传输) 4.指针就是地址,地址就是指针。 5.指针变量就是存放内存单元地址的变量 6.指针的本质就是一个受限的非负整数 分类: 1.基本类型的指针 int * p//p是个指针变量,i…
2014-08-06 22:36 · 数据结构 · 评论(0)
R语言学习笔记
今天看了一下R语言,感觉挺难的因为没有统计学和数据的功底,看着函数有些吃力。学习的过程是痛苦的,还是坚持着吧~今天把自己的学习笔记贴上来,后续应该会继续更新此文章。 1.一旦某一变量服从正态分布,就可以使用对用的统计学原理来预测不确定性变量的预测估计及其范围,并可以给出改预测值得可信度 2.网站分析的主要目的通过量化指标来衡量网站解决用户需求的能力,主线分为3个阶段: 1)有多少方可来到网站,可使用引流类指标衡量 2)网站对访客的黏性,他体现了用户在通过网站寻求解决自身的过程中,所体现出来的整体性能情况,可以用黏性指标来衡量 3)网站最后解决了多少用户的需求(产出或投入产出比)可使用产出指标…
2014-08-05 14:56 · R语言 · 评论(0)
Spark安装部署
spark单节点local安装: 1.解压包: scala-2.10.4.tgz scala-intellij-bin-0.38.437.zip spark-0.9.1-bin-hadoop1.tgz 2.配置/etc/profile 3.直接输入scala如果进入scala界面表示安装成功 4.如果是集群就要配置/etc/hosts 5.到spark/conf下面配置spark-env.sh export JAVA_HOME=/usr/java/jdk1.6.0_32 export SPARK_MASTER_IP=127.0.0.1(配置hosts中配置的主机名) export SPARK…
2014-08-04 23:09 · Spark · 评论(0)
Hbase shell
下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count '表名称' 删除记录 delete '表名' ,'行名称' , '列名称' 删除一张表 先要屏蔽该表,才能对该表进行删除,第一步 disable '表名称' 第二步 drop '表名称' 查看所有记录 scan "表名称" 查看某个表某个列中所有数…
2014-07-21 16:47 · Hadoop · 评论(0)
使用java连接hive,并执行hive语句详解
安装hadoop 和 hive我就不多说了,网上太多文章 自己看去 首先,在机器上打开hiveservice 不多说,直接上代码 package asia.wildfire.hive.service; import java.sql.*; import java.sql.Date; import java.text.SimpleDateFormat; import java.util.*; /** * User: liuxiaochen * Date: 13-9-24 * Time: 下午5:47 * 修改描述 */ public class HiveService { private st…
2014-07-20 22:24 · Hadoop · 评论(0)
python也就这点事
1.解释性&编译性,面相对象,简单,高级语言,无需考虑诸如内存一类的底层 可扩展以及可潜入性,免费开源,可移植性--各个系统。丰富的库。“胶水语言” 2.python源代码以py为扩展名,由python程序解释,不需要编译 3.python XXX.py不管他有没有执行权限都会执行 chmod +x XXX.py赋权限, 执行:./XXX.py(必须写上文件的路径#!/usr/python) 4.字节代码: Python源文件经过编译后生产的扩展名为“pyc”的文件 编译方法:import py_compile py_compile.compile("1.py") 5.除:17/6=2 取模…
2014-07-20 22:17 · python · 评论(1)
hive调优
一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改); 2. 举例: a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数 b) 假设input目录下有3个文件a,b,c,大小分别为10m,20m,130m,那么hadoop会分隔成4个块(…
2014-07-18 18:10 · Hadoop · 评论(0)
Hadoop添加删除节点
添加节点 1.修改host 和普通的datanode一样。添加namenode的ip 2.修改namenode的配置文件conf/slaves 添加新增节点的ip或host 3.在新节点的机器上,启动服务 [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker 4.均衡block [root@slave-004 hadoop]# ./bin/start-balancer.sh 1)如果不bal…
2014-07-18 14:02 · Hadoop平台配置 · 评论(0)
Hive
Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。 首先,Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive…
2014-07-18 13:12 · Hadoop · 评论(0)
Hadoop常用命令
笔者所用的版本是hadoop-2.2.0 1、列出所有Hadoop Shell支持的命令 $ bin/hdfs fs -help 2、显示关于某个命令的详细信息 $ bin/hdfs dfs -help ls(查看ls命令的详细信息) 3、 格式化一个新的分布式文件系统: $ bin/hdfs namenode -format 4、 将zkstop.sh文件放入到hadoop集群中 $ bin/hdfs dfs -put /home/hadoop/zkstop.sh /input 5.将集群置于安全模式 $ bin/hdfs dfsadmin -safemode enter 6.显示Data…
2014-07-15 10:03 · Hadoop · 评论(0)
MySql优化
要想掌握数据库的优化首先要知道数据库的事务性吧?这是最基础的!!! (1) 原子性 ? 事务的原子性指的是,事务中包含的程序作为数据库的逻辑工作单位,它所做的对数据修改操作要么全部执行,要么完全不执行。这种特性称为原子性。 (2) 一致性? 事务的一致性指的是在一个事务执行之前和执行之后数据库都必须处于一致性状态。这种特性称为事务的一致性。假如数据库的状态满足所有的完整性约束,就说该数据库是一致的。 (3) 分离性 ?分离性指并发的事务是相互隔离的。即一个事务内部的操作及正在操作的数据必须封锁起来,不被其它企图进行修改的事务看到。 (4)持久性 ?持久性意味着当系统或介质发生故障时,确保已提…
2014-07-14 23:35 · MySql · 评论(0)
我的常用Linux命令
1.pstree显示所有的进程树 2.内部命令帮助:help echo 外部命令:ls --help man ls 其中/-a表示要查找的参数。n键代表下一个查找的意思。shift+n代表上一个。 3.vi的时候/-a也是可以查找的 触类旁通的 4.man 1 2 3 4 5 6 7 8个帮助级别 info ls也是查找 q是退出,就是多了一个连接的功能 5.ps -f命令显示父子关系的进程 6.创建文件 touch a stat a 查看a文件的时间效果如下 File: `a' Size: 80 Blocks: 8 IO Block: 4096 regular file Device: 8…
2014-07-12 20:21 · linux · 评论(0)
Storm分布式实时计算框架
Storm 1. 信息流处理{Stream processing} Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。 2. 连续计算{Continuous computation} Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。 3. 分布式远程程序调用{Distributed RPC} Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。 举个例子Distributed RPC可以做并行搜索或者处理大集合的数据。 Storm集群的组…
2014-07-11 11:59 · Storm · 评论(0)