布局文件activity_main.xml 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293<?xml version="1.0" encoding="utf-8"?><RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:app="http://schemas.android.com/apk/res-auto" xmlns:tools="http://schemas.android.com/tools" android:layout_width ...

定义布局文件 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273<?xml version="1.0" encoding="utf-8"?><LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" android:layout_width="match_parent" android:layout_height="match_parent" and ...

动态注册Receiver接收系统广播 需求描述 当ToggleButton的状态为不检测时，TextView显示Hello Broad字符串 当点击ToggleButton后，TextView显示当前电量信息(要求能够实时刷新) activity_main.xmlMainActivity.java12345678910111213141516171819202122232425262728<?xml version="1.0" encoding="utf-8"?><LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:app="http://schemas.android.com/apk/res-auto" xmlns:tools="http://schemas.android.com/tools" android:layout_width=& ...

Socks5协议简介 socks5协议是一种代理协议，用于在客户端与服务器直接转发数据。 简单来说，一般适用于如下场景，若Client无法访问目标服务器，但能访问socks5代理服务器，而socks5服务器能够访问目标服务器，那么Client就可以通过socks5代理服务器访问目标服务器。 socks5协议的具体RFC1928文档如下 https://www.ietf.org/rfc/rfc1928.txt 工作过程 无代理情况下 12345@startumlClient->Server++: 1. 建立TCP连接Client->Server++: 2. 发送HTTP请求return 3.返回HTTP响应@enduml 有代理情况下 1234567891011121314151617181920@startumlparticipant Client as cparticipant Proxy as pparticipant Server as sc->p++: 建立TCP连接return TCP连接建立成功c->p++: 协商阶段return 通过协 ...

基本语法 变量 1234567891011121314151617181920212223package mainimport ( "fmt" "math")func main() { var a = "initial" var b, c int = 1, 2 var d = true var e float64 f := float32(e) g := a + "foo" fmt.Println(a, b, c, d, e, f) fmt.Println(g) const s string = "constant" const h = 500000000 const i = 3e20 / h fmt.Println(s, h, i, math.Sin(h), math.Sin(i))} 123initial 1 2 true 0 0initialfoo ...

版本说明 以下下载的ElasticSearch与Kibana版本号均为7.17.3 前半部分为自己电脑的Windows系统上部署，后半部分使用Docker在服务器端部署 下载解压 官网下载ElasticSearch安装包 Download Elasticsearch | Elastic 目录结构 解压后目录结构如下， config文件夹 config文件夹下包含了一些配置信息， jvm.options jvm.options中包含了jvm相关启动参数 如图注释说明，堆内存大小由ES自动根据可用内存进行配置，当然我们也可以手动修改-Xms, -Xmx两个参数，分别表示应用程序初始堆内存，应用程序最大堆内存。 elasticsearch.yml elasticsearch.yml中包含了es的配置信息 如图默认的http端口为9200 lib文件夹 存放了ElasticSearch的相关jar依赖 其中的lucene在百度百科中介绍如下， Lucene_百度百科 (baidu.com) Lucene是apache软件基金会 jakarta项目组的一个子项目，是一个 ...

Hadoop有多种浏览HDFS文件目录的方式，下列方式错误的是： A、通过HDFS命令 B、通过Web浏览器 C、通过Eclipse中的Project Explorer D、通过SSH客户端工具 正确答案： D 2. Hadoop配置文件中，yarn-site.xml文件的作用是： A、保存从节点信息 B、配置YARN框架 C、配置MapReduce框架 D、配置Hadoop的HDFS系统的命名 正确答案： B 3. 下列说法错误的是： A、Map函数将输入的元素转换成<key,value>形式的键值对 B、MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave C、Hadoop框架是用Java实现的，MapReduce应用程序则一定要用Java来写 D、不同的Map任务之间不能互相通信 正确答案： C 4. 下列文件不属于Hadoop3.x集群部署时必需配置的是： A、worker B、hadoop-env.sh C、profile D、yarn-site.xml 正确答案： C 5. 关于NameNode和DataNode描 ...

大数据概述 概念 BigData, 指无法在一定时间范围内用常规工具软件进行捕捉、管理和处理的数据的集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 特性 6V特征 价值密度低(Value) 高速性(Velocity) 可变性(Variability) 海量性(Volume) 多样性(Variety) 真实性(Veracity) 关键技术 大数据的采集、导入/预处理、统计/分析、大数据挖掘 与云计算，物联网的关系 物联网、大数据和云计算三者互为基础，物联网产生大数据，大数据需要云计算。物联网将物品和互联网连接起来，进行信息交换与通信，以实现智能化识别、定位、跟踪、监控和管理的过程中，产生的大量数据，云计算解决万物互联带来的巨大的数据量，所以三者互为基础，又互相促进。 Hadoop 简介 Hadoop框架的核心设计是HDFS和MapReduce。 HDFS为海量数据提供了存储能力。MapReduce为海量数据提供了计算能力。 Hadoop是一个专为离线的大规模数据分析而设计的，而不适合 ...

需求分析 实现给定一个文件，统计其中单词出现的数目。 准备工作 新建文件test.txt如下 123I am a studentI learn hadoopI learn MapReduce 上传到hdfs上 hadoop fs -put test.txt /user/wordcount.txt Spark shell 输入如下命令，即可实现词频统计 12345sc.textFile("/user/wordcount.txt").flatMap(x=>x.split(" ")).map(x=>(x, 1)).reduceByKey(_+_).collect() 踩坑 我这里出现了如下提示，并且计算停滞不前 12022-04-26 00:36:13,830 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe ...

环境准备 我这里环境基于 Hadoop环境搭建 MapReduce环境搭建 Hive环境搭建 虚拟机配置也均基于上述环境 Spark集群搭建完毕之后，集群拓扑如下 Spark下载 进入官网下载页面，选择一个版本下载 Downloads | Apache Spark 我这里下载的版本是 spark-3.2.1-bin-without-hadoop.tgz 解压安装包 12tar -zxvf spark-3.2.1-bin-without-hadoop.tgzmv spark-3.2.1-bin-without-hadoop /opt 配置Spark 进入spark安装目录的conf文件夹下 配置workers 注意在spark 3.x以前版本是slaves文件，现在最新的3.x版本为workers文件 复制workers cp workers.template workers 修改workersvim workers 删除localhost添加如下内容 123node1node2node3 配置spark-defaults.conf 复制配置文件cp spark-defa ...