发表于
字数统计:
HBase简介略 配置Java API案例 查询 公司架构 优化表设计 通过单个rowkey访问 通过rowkey的range进行scan 全表scan rowkey可以是任何字符串, 最大长度是64kb, 实际用 10-100byte rowkey设计规则: 越小越好 rowkey的设 ...
阅读全文 »

发表于
字数统计:
Hive简介 官网: http://hive.apache.org/ 原因: 使用SQL语句, 对非Java开发者对hdfs的数据做mapreduce操作 数据仓库 数据仓库和数据库的区别: 对数据进行分析和交互式访问数据 解释器, 编译器, 优化器 元数据存储在关系型数据库中 配置 下载地址 ...
阅读全文 »

发表于
字数统计:
Hadoop简介大数据处理技术: 储存技术:- 计算技术: 大数据处理模型 机架架构模型 文件元数据metadata 主-NameNode节点保存文件元数据: 单节点 posix DataNode和NameNode保持心跳,提交Block列表 hdfsclient和NameNode交互元数据信 ...
阅读全文 »

发表于
字数统计:
开发模式 面向服务编程 反向代理用户体验 连接成功2.3秒 Nginx介绍 Nginx和Appache的优缺点 轻量级 抗并发 异步非阻塞 apache是同步多进程模型， nginx是异步多连接对应一个进程。 Tengine介绍Niginx安装首先安装依赖 1yum install gcc ...
阅读全文 »

发表于
字数统计:
Bash的理解文件和流重定向 ls 从左向右以此绑定 > 左边不能包含空格 >&特殊写法 2>&1 1>xxx.out 变量 exec 特殊变量 $# $* $@ 管道 | 环境变量 引用和判断逻辑 退出状态 echo $? 逻辑判断 ...
阅读全文 »

发表于
字数统计:
hosts1234linux:/etc/hostswindowsC:\Windows\System32\drivers\etc ssh1cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 安装依赖组123[root@node0 ~]# yum ...
阅读全文 »

发表于
字数统计:
概述大数据需要多台服务器集群, 如果用云服务器的话让很多新手都望之却步, 我们来配置穷逼本地虚拟机集群.这也为后面的hadoop和spark开发做准备.让我们键盘作伴开始吧. 安装Ubuntu Server在安装ubuntu之前,需要安装虚拟机软件,本文使用Vmare15, 安装配置自行搞定. 下 ...
阅读全文 »

发表于
字数统计:
数据序列化技术 Avro 官网 远程过程调用的数据序列化框架 使用JSON来定义数据类型和通讯协议, 并使用压缩二进制格式来序列化数据 为Hadoop服务的通讯提供一种电报格式 Trift 官网 接口描述性语言的二进制通讯协议 Protocol Buffers 官网 一种序列化数据接口的 ...
阅读全文 »

发表于
字数统计:
Scala的设计理念简单的说就是讲不同语言中的多个概念融合在一起 Scala的函数式编程和面向对象编程略 六大特征 Java和Scala混编 类型推断 并发和分布式(Actor) 特质,特征(类似java中的接口和抽象类) 模式匹配 高阶函数 类和对象 对象object 方法和变量都是静态 ...
阅读全文 »

发表于
字数统计:
Android签名签名是通过算法将自己release版本apk包,变得唯一,等于签上自己的名字. 签名工具Android签名工具在sdk中的keytool,命令如下: 1234567891011121314151617181920212223$ keytool密钥和证书管理工具命令: -certre ...
阅读全文 »