关于我-2022
个人信息
以前从来没想过有一天自己竟会踏上编程之路？想过当科学家、当一名教授、当一名医生、甚至是做一位哲学大师💤
coding很有意思，很感谢这选择让我至少目前以为找到了通往第三世界的钥匙🔑
平时也没什么非做不可的爱好（其实就是没啥爱好），没事喜欢打打游戏，看看电影，刷刷知乎，偶尔会去散散步、瞅瞅我家的晚霞。跟别人瞎聊怕是我的一大特长，假如你要是遇到我，从日月星辰、逸闻趣事到崇山峻岭、人生苦短，尽可以指点江山、挥洒豪墨。
日常生活中偶尔也会有些小感触，写写杂文，这是一件很舒服的事，脑海中的记忆是暂存的，而文字却恒久远，欢迎访问我的Lofter
校园生活
不知道说啥了，反正珍惜在校园的每一天，一个庇护的港湾，外面的世界多少还是有点恐怖的
有时候习惯了才说明你爱上了，平淡如水、静谧如风，才是最为让人追忆缅怀的。
关于博客
不再使用
其他平台
技能点
2022-10-10
Scala -> 和java共同构建了当今的大数据体系(共用JVM)，融合函数式编程和面向对象
2022-10-18
HDFS -> 主要在集群的搭建上，还有一些shell操作，当然，要十分熟悉Linux
2022-10-21
MapReduce -> 搞计算的，从input->Mapper->Shuffle->Reducer->output，过程清晰明了
2022-10-24
Yarn -> 资源调度神器，支持多种调度算法、核心参数配置
2022-10-27
Spark Core -> 基于内存的、大数据分析计算引擎杀手级应用，诞生于伯克利大学的 AMPLab 实验室，由 Scala 语言开发
2022-11-2
Spark SQL -> 用于结构化数据处理的Spark模块，兼容Hive，可以从 RDD、parquet 文件、JSON 等文件中获取数据
2022-11-3
Spark Streaming -> 用于流式数据的处理，支持多种数据源，使用离散化流(discretized stream)作为抽象表示，称作 DStream
2022-11-4
Zookeeper -> 基于观察者模式的分布式服务管理框架，负责存储、管理大家都关心的数据，像配置中心、负载均衡、节点上下线等等都不在话下
2022-11-5
Hive -> 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能，本质是将HQL转化成 MapReduce或Spark等程序
2022-11-9
Flume -> 高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，基于流式架构，灵活简单，核心组件包含Source、Channel、Sink
2022-11-10
HBase -> 以 hdfs 为数据存储的、分布式、可扩展的 NoSQL 数据库，包含列族、列，使用RowKey检索、version标注版本，同样为HMaster管理多个RegionServer
2022-11-12
Kafka -> 分布式事 件流平台，基于发布订阅模式的消息队列，主要用于缓存、消峰、解耦和异步通信，包含生产者、消费者，集群中心
2022-11-16
Maxwell -> 由java 编写的 MySQL 实时抓取软件，实时读取 MySQL 二进制日志 Binlog，并生成 JSON 格式的消息，作为生产者发送给第三方平台
2022-11-17
大数据Spark实时项目 -> 不说了，项目地址：https://github.com/qmdc/spark-realtime
2022-11-25
Flink -> flink是 一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算，能以内存速度和任意规模进行计算
2022-12-10
离线数据仓库项目 -> 一种面向主题的、集成的、非易失性的、用于支持管理决策的数据存储库
最后
修改于 2025-08-14 07:40:12