面试题随笔-21/3/25 发表于 2021-03-24 | 分类于 bigdata 面试题随笔-21-3-25DAGscheduler干了什么活 对每个job划分stage 决定任务运行的首选位置(preferred locations) 面向stage进行任务调度 跟踪stage的输出 需要时重新提交stage tcp四次挥手介绍一下 为什么会有第二次、第三次、第四次? 请画出 ... 阅读全文 »
面试题随笔-21/3/24 发表于 2021-03-24 | 分类于 bigdata 面试题随笔-21-3-24spark rdd介绍一下RDD:Spark的核心概念是RDD (resilient distributed dataset),指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。 为什么会产生RDD? 传统的mapreduc ... 阅读全文 »
应用监控与调优 发表于 2021-01-05 | 分类于 back_end 应用监控与调优监控skywalking快速上手java agent配置 手记:https://www.imooc.com/article/306297 java agent插件 手记:https://www.imooc.com/article/305592 编写sky walking 手记: htt ... 阅读全文 »
dubbo学习 发表于 2021-01-04 | 分类于 back_end Dubbo学习可选注册中心Multicast、zookeeper、nacos、redis、simple 案例使用dubbo框架,dubbo-api,dubbo-client,dubbo-consumer完成一个完整的api调用。 Dubbo中注入service是@Reference Dubbo-Ad ... 阅读全文 »
人工智能基础 发表于 2020-11-23 | 分类于 ai 人工智能基础python基础教程输入输出12345678print("hello world")print("hello","world")print("hello,i'm %s,%d years old!"%('tom',20)) # 字符串 整数print("%2d"%3) # 整数print ... 阅读全文 »
网络通信-netty 发表于 2020-11-17 | 分类于 java 网络通信-nettynetty编解码技术编码技术Marshalling编码技术ProtobufNetty最佳实践业务场景-高可靠性架构设计分析 项目整体业务 阅读全文 »
分布式文件系统 发表于 2020-11-16 | 分类于 java 分布式文件系统FastDfs概念FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDfs架构图 FastDfs上传过程 Fa ... 阅读全文 »
读写分离、分库分表 发表于 2020-11-05 | 分类于 架构 读写分离、分库分表1.读写分离、分库分表 如何选择垂直切分、水平切分 mycat快速体验 mycat用户配置 mycat的schema配置实操 mysql主从配置 mycat粉片规则配置(枚举分片、取模) mycat全局表、子表 ... 阅读全文 »
Storm学习 发表于 2020-10-22 | 分类于 bigdata Storm学习1.导学VMware Fusion Mac上搭建:为了给大家演示如何使用我们的OOTB环境 Hadoop环境:虚拟机,我是远程登录 Mac 那么就不需要使用我们的OOTB环境 VMware Fusion+OOTB Window:VMware ... 阅读全文 »
hadoop基础 发表于 2020-10-21 | 分类于 bigdata hadoop基础1.大数据概述大数据带来的技术变革 技术驱动:数据量大 存储:文件存储 ==> 分布式存储 计算:单机 ==> 分布式计算 网络:万兆 DB: RDBMS ==> NoSQL(HBase/Redi ... 阅读全文 »