Android-SharedPreferences
布局文件activity_main.xml
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293<?xml version="1.0" encoding="utf-8"?><RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:app="http://schemas.android.com/apk/res-auto" xmlns:tools="http://schemas.android.com/tools" android:layout_width ...
Android-Service
定义布局文件
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273<?xml version="1.0" encoding="utf-8"?><LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:tools="http://schemas.android.com/tools" android:layout_width="match_parent" android:layout_height="match_parent" and ...
Android Broadcast
动态注册Receiver接收系统广播
需求描述
当ToggleButton的状态为不检测时,TextView显示Hello Broad字符串
当点击ToggleButton后,TextView显示当前电量信息(要求能够实时刷新)
activity_main.xmlMainActivity.java12345678910111213141516171819202122232425262728<?xml version="1.0" encoding="utf-8"?><LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:app="http://schemas.android.com/apk/res-auto" xmlns:tools="http://schemas.android.com/tools" android:layout_width=& ...
手写Socks5代理服务器
Socks5协议简介
socks5协议是一种代理协议,用于在客户端与服务器直接转发数据。
简单来说,一般适用于如下场景,若Client无法访问目标服务器,但能访问socks5代理服务器,而socks5服务器能够访问目标服务器,那么Client就可以通过socks5代理服务器访问目标服务器。
socks5协议的具体RFC1928文档如下
https://www.ietf.org/rfc/rfc1928.txt
工作过程
无代理情况下
12345@startumlClient->Server++: 1. 建立TCP连接Client->Server++: 2. 发送HTTP请求return 3.返回HTTP响应@enduml
有代理情况下
1234567891011121314151617181920@startumlparticipant Client as cparticipant Proxy as pparticipant Server as sc->p++: 建立TCP连接return TCP连接建立成功c->p++: 协商阶段return 通过协 ...
Golang基本语法
基本语法
变量
1234567891011121314151617181920212223package mainimport ( "fmt" "math")func main() { var a = "initial" var b, c int = 1, 2 var d = true var e float64 f := float32(e) g := a + "foo" fmt.Println(a, b, c, d, e, f) fmt.Println(g) const s string = "constant" const h = 500000000 const i = 3e20 / h fmt.Println(s, h, i, math.Sin(h), math.Sin(i))}
123initial 1 2 true 0 0initialfoo ...
ElasticSearch环境搭建
版本说明
以下下载的ElasticSearch与Kibana版本号均为7.17.3
前半部分为自己电脑的Windows系统上部署,后半部分使用Docker在服务器端部署
下载解压
官网下载ElasticSearch安装包
Download Elasticsearch | Elastic
目录结构
解压后目录结构如下,
config文件夹
config文件夹下包含了一些配置信息,
jvm.options
jvm.options中包含了jvm相关启动参数
如图注释说明,堆内存大小由ES自动根据可用内存进行配置,当然我们也可以手动修改-Xms, -Xmx两个参数,分别表示应用程序初始堆内存,应用程序最大堆内存。
elasticsearch.yml
elasticsearch.yml中包含了es的配置信息
如图默认的http端口为9200
lib文件夹
存放了ElasticSearch的相关jar依赖
其中的lucene在百度百科中介绍如下,
Lucene_百度百科 (baidu.com)
Lucene是apache软件基金会 jakarta项目组的一个子项目,是一个 ...
大数据技术及应用-题库
Hadoop有多种浏览HDFS文件目录的方式,下列方式错误的是:
A、通过HDFS命令
B、通过Web浏览器
C、通过Eclipse中的Project Explorer
D、通过SSH客户端工具
正确答案: D
2. Hadoop配置文件中,yarn-site.xml文件的作用是:
A、保存从节点信息
B、配置YARN框架
C、配置MapReduce框架
D、配置Hadoop的HDFS系统的命名
正确答案: B
3. 下列说法错误的是:
A、Map函数将输入的元素转换成<key,value>形式的键值对
B、MapReduce框架采用了Master/Slave架构,包括一个Master和若干个Slave
C、Hadoop框架是用Java实现的,MapReduce应用程序则一定要用Java来写
D、不同的Map任务之间不能互相通信
正确答案: C
4. 下列文件不属于Hadoop3.x集群部署时必需配置的是:
A、worker
B、hadoop-env.sh
C、profile
D、yarn-site.xml
正确答案: C
5. 关于NameNode和DataNode描 ...
大数据技术及应用-期末复习
大数据概述
概念
BigData, 指无法在一定时间范围内用常规工具软件进行捕捉、管理和处理的数据的集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
特性
6V特征
价值密度低(Value)
高速性(Velocity)
可变性(Variability)
海量性(Volume)
多样性(Variety)
真实性(Veracity)
关键技术
大数据的采集、导入/预处理、统计/分析、大数据挖掘
与云计算,物联网的关系
物联网、大数据和云计算三者互为基础,物联网产生大数据,大数据需要云计算。物联网将物品和互联网连接起来,进行信息交换与通信,以实现智能化识别、定位、跟踪、监控和管理的过程中,产生的大量数据,云计算解决万物互联带来的巨大的数据量,所以三者互为基础,又互相促进。
Hadoop
简介
Hadoop框架的核心设计是HDFS和MapReduce。
HDFS为海量数据提供了存储能力。MapReduce为海量数据提供了计算能力。
Hadoop是一个专为离线的大规模数据分析而设计的,而不适合 ...
Spark Shell简单应用
需求分析
实现给定一个文件,统计其中单词出现的数目。
准备工作
新建文件test.txt如下
123I am a studentI learn hadoopI learn MapReduce
上传到hdfs上
hadoop fs -put test.txt /user/wordcount.txt
Spark shell
输入如下命令,即可实现词频统计
12345sc.textFile("/user/wordcount.txt").flatMap(x=>x.split(" ")).map(x=>(x, 1)).reduceByKey(_+_).collect()
踩坑
我这里出现了如下提示,并且计算停滞不前
12022-04-26 00:36:13,830 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe ...
Spark环境搭建
环境准备
我这里环境基于
Hadoop环境搭建
MapReduce环境搭建
Hive环境搭建
虚拟机配置也均基于上述环境
Spark集群搭建完毕之后,集群拓扑如下
Spark下载
进入官网下载页面,选择一个版本下载
Downloads | Apache Spark
我这里下载的版本是
spark-3.2.1-bin-without-hadoop.tgz
解压安装包
12tar -zxvf spark-3.2.1-bin-without-hadoop.tgzmv spark-3.2.1-bin-without-hadoop /opt
配置Spark
进入spark安装目录的conf文件夹下
配置workers
注意在spark 3.x以前版本是slaves文件,现在最新的3.x版本为workers文件
复制workers cp workers.template workers
修改workersvim workers
删除localhost添加如下内容
123node1node2node3
配置spark-defaults.conf
复制配置文件cp spark-defa ...