yeshuqiang
- 浏览: 151508 次
- 性别:
- 来自: 北京
-
最新评论
-
a420144030：
你好，我想计算n篇文章的相似度，用mahout能处理吗，如何做 ...
mahout使用 -
di1984HIT：
OK，真的很牛啊
hadoop常见错误 -
xwl1991：
还真是这个问题 ！
quartz报错java.lang.NoSuchMethodError: org.apache.commons.collections.SetUtils.ord
文章列表
Awk 一行话 解释
- 博客分类：
- OS操作系统 Linux
############################### ## 转载声明 ## ###############################
原摘处： http://blog.chinaunix.net/u3/109820/article.html英文远处： http://www.c ...
Memcache 的命令行用法
- 博客分类：
- Cache缓存
1、启动Memcache 常用参数memcached 1.4.3-p <num> 设置端口号(默认不设置为: 11211)-U <num> UDP监听端口 (默认: 11211, 0 时关闭) -l <ip_addr> 绑定地址 (默认:所有都允许,无论内外网或者本机更换IP，有安全隐患，若设置为127.0.0.1就只能本机访问)-d 独立进程运行-u <username> 绑定使用指定用于运行进程 <username>-m <num> 允许最大内存用量，单位M ( ...
Java操作MongoDB例子—增删改查
- 博客分类：
- MongoDB
import java.net.UnknownHostException;
import java.util.Iterator;
import java.util.Set;
import com.mongodb.BasicDBObject;
import com.mongodb.DB;
import com.mongodb.DBCollection;
import com.mongodb.DBCursor;
import com.mongodb.DBObject;
import com.mongodb.Mongo;
import com.mongodb.MongoExcep ...
互联网络用户的剧增和宽带网络的普及，使得互联网络服务的本质是以海量数据处理为中心的服务。从搜索引擎、视频共享到电子商务，互联网络服务的成功与否在
很大程度上依赖于所提供数据的规模和质量，数据处理的及时性、有效数据的比例等。
Gordon Bell、Jim Gray和Alex Szalay在2006年1月的Computer杂志上发表的“Petascale
computational
systems”中指出，计算机科学正在发生变化，以数据密集（Data-intensive）型计算为主要趋势。高性能计算系统必须设计为一个均衡的系
统，不仅仅是单纯的处理器性能达到Peta级，而且也包括I/ ...
Memcached深度分析
- 博客分类：
- Cache缓存
本文转自：http://blog.developers.api.sina.com.cn/?p=124
Memcached是danga.com（运营LiveJournal的技术团队）开发的一套分布式内存对象缓存系统，用于在动态系统中减少数据库负载，提升性能。关于这个东西，相信很多人都用过，本文意在通过 ...
Hive的基本原理与使用
- 博客分类：
- 云计算
本文转自：http://tiechou.info/?p=33
简介
Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。Hive可以将结构化的数据存储在数据仓库中，通过自己的SQL去查询分析需要的内容，这套SQL简称Hive SQL。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。
Hive在Hadoop的架构体系中承担了一个SQL解析的过程，它提供了对外的入口来获取用户的指令然后对指令进行分析，解析出一个MapReduce程序组成可执行计划 ...
源代码下载
可以从官网下载最新版hive：http://hive.apache.org/releases.html
或者 由校内网维护的Apache下载镜像
wget http://labs.renren.com/apache-mirror/hive/hive-0.7.0/hive-0.7.0.tar.gz
解压缩 （tar）
配置conf/hive-site.xml
由于conf里没有hive-site.xml文件，所以需要复制一份hive-default.xml
cp hive-default.xml hive-site.xml
主 ...
Java注释(Annotation)详解
- 博客分类：
- Java工具类
转自：http://www.hrmzone.cn/?p=528
注释：在一个类中可以有多个，类似于一个类可以有多个实例； 注释类型：是注释使用的结构，类似于类，仅有一个版本，因此多个注释可能使用相同的注释类型 jdk默认的三个注释 ...
1)文件操作 vi FileName 打开文件 FileName,并将光标置于第一行首。 vi +n FileName 打开文件 FileName,并将光标置于第 n 行首。 vi + FileName 打开文件 FileName,并将光标置于最后一行。 vi + /pattern File 打开文件 File,并将光标置于其中第一个于 pattern 匹配的字符串处。 vi –r FileName 在上次正用 vi 编辑 FileName 发生系统崩溃后,恢复FileName。 vi File1 … Filen 打开多个文件,依次对之进行编辑。 :%!xxd 按十六进制查看当前文件 :%!xx ...
Lily是什么
Lily是一个可扩展的数据仓库。用于数据的存储和搜索。Lily是一个分布式系统，她并不是白手起家的，她依赖于两个已有的OpenSource软件，一个是HBase, 另一个是SOLR. 同时Lily对于使用者提供自己的操作接口，称作Lily API. ...
HBase client API Guide
- 博客分类：
- 云计算
Version: 0.20.x
配置
HBaseConfiguration
是每一个
hbase client
都会使用到的对象，它代表的是
HBase
配置信息。它有两种构造方式：
public HBaseConfiguration()
public HBaseConfiguration(final Configuration c)
默认的构造方式会尝试从
hbase-default.xml
和
hbase-site.xml
中读取配置。如果
classpath
没有这两个文件，就需要你自己 ...
hbase 读写遍历
- 博客分类：
- 云计算
http://blog.csdn.net/feixiangcq/archive/2010/04/16/5495027.aspx
1.连接HBase中的表testtable,用户名：root,密码：root
public void ConnectHBaseTable()
{
Configuration conf = new Configuration();
conf.set("hadoop.job.ugi", "root,root");
HBaseConfiguration con ...
java实现Hbase中的查询:Filter方式
- 博客分类：
- 云计算
http://blog.csdn.net/karen_wang/archive/2011/03/28/6284154.aspx
1、需要的jar包：
commons-codec-1.4.jar
commons-logging-1.0.4.jar
hadoop-0.20.2-core.jar
hbase-0.20.6.jar
log4j-1.2.15.jar
zookeeper-3.2.2.jar
2、已有表结构：
1、表名：scores
2、列族：
course:art
course:m ...
linux
的 scp 命令 可以 在 linux
之间复制 文件 和 目录；
==================
scp 命令
==================
scp 可以在 2个 linux 主机间复制文件；
命令基本格式：
scp [可选参数] file_source file_target
======
从 本地 复制到 远程
======
* 复制文件：
* 命令格式：
scp local_file remote_username@remote_ip:remote_folder
或 ...
Solr Multicore 试用小记
- 博客分类：
- 搜索引擎
原文出处：http://blog.chenlb.com/2009/01/try-solr-multicore.html
Solr Multicore 是 solr 1.3 的新特性。其目的一个solr实例，可以有多个搜索应用。下面来小试一下。
官方发布的示例。在solr1.3/example/multicore目录（可以认为是multi.home）下，有一个 solr.xml（这只是默认文件，当然也可以指定别的文件），如：
<?
xml
version
=
"1.0"
encoding
=
"UTF-8"
...