目前围绕Hadoop体系的大数据架构包括： 传统大数据架构 数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便...

一.说明 centos系统默认安装了python2.7版本，若使用python3.x版本须按如下步骤进行升级，使用下列命令查看当前系统默认的python版本 python -V 二、python3.x编译安装 1.安装编译工具 yum -y gro...

一.下载安装node.js 1. 下载地址 http://nodejs.cn，下载后直接安装，命令行输入node -v 验证是否安装成功 2.更换国内npm镜像（npm为node.js的包管理工具，类似maven），国外镜像地址太慢 npm ins...

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关...

1.hadoop安装参考相关文档 2.spark安装 1）下载解压（须编译，编译步骤详见4） 2）配置环境变量 3）cd 到spark安装目录 cp conf/spark-env .sh.template conf /spark-env .sh vi conf/spark-env .sh export JAVA_HOM...

一、mysql不定时宕机问题接口 1.写一脚本检测mysql状态，若宕机则重启 #!/bin/bash pgrep -x mysqld /dev/null if [ $? -ne 0 ] then echo At time: `date` :MySQL is stop . /var/log/mysql_messages source /etc/profile service...

hive数据同步工具Sqoop的使用，sqoop是一款hive大数据仓库数据同步工具，可以将mysql，oracle等关系型数据的数据同步至hive大数据仓库中，也可以将hive表中的数据同步到关系型数据库中，...

HIVE的使用场景及其原理，在大数据处理中HIVE占有很重要的地位，呢么hive到底适合在什么场景使用个，以及如何使用呢？ Hive是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的...

农业大数据应用经典案例，大数据在各行各业都有应用，在农业方面大数据不仅能够指导农业生产过程，使得生产过程更规范更科学更节省劳动力，而且能够大大提升农业产出，还能够...

什么是数据科学与大数据技术?，各种业务系统如OA，CRM，ERP，电商平台产生大量数据，人们日常生活，衣，食，住，行产生行为数据。 不管你是否认同，大数据时代已经来临，并将深刻...