代码编织梦想

rdd简介与基础编程-爱代码爱编程

1. 什么是RDD? RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据处理模型。在代码中,RDD是一个抽象类,他代表着一个弹性的、不可变的、可分区的、里面的元素可并行计算的集合。注意,RDD只是封装了计算逻辑,并不保存数据。RDD是一个抽象类,需要子类去实现。不可变指的是计算逻辑不可变,

启动spark-爱代码爱编程

一、问题描述 安装完Spark后,启动spark shell时报错 java.lang.NumberFormatException: For input string: "0x100" 如下图: 二、解决办法 1.更换scala的版本 2.更改环境变量 使用vim编辑器打开用户的环境变量配置文件 vim ~/.bashrc source

9 scala的类继承及trait-爱代码爱编程

1 class 继承 为了提高代码的重用性,提高开发效率,Scala 的 class 是支持继承的。 Scala 的继承与 Java 的继承非常类似: (1) 单继承: 类似于 Java,Scala 也只支持单继承,

8 scala的伴生对象-爱代码爱编程

1 单例对象 在编写 Java 程序时,我们经常会通过编写静态方法代码,去封装常用的 Utility 类。 在 Scala 中没有静态成员这一概念,所以,如果我们要定义静态属性或方法,就需要使用 Scala 的单例对象

5 scala的函数式编程简介-爱代码爱编程

与Java一样,Scala 也是使用 Lambda 表达式实现函数式变成的。 1 遍历 除了使用 for 可以对数组、List、Set 进行遍历外,也可以使用 foreach 函数式编程进行遍历,使代码更为简洁。 fo

1 scala集合-爱代码爱编程

1 定长数组 定长数组,是指数组长度不可变。定义定长数组的方法有如下两种: 方法1: var/val variable_name = new Array[元素类型](数组长度) // 通过制定长度定义 例如,定义一

6 scala-爱代码爱编程

Scala 跟 Java 一样,是一门面向对象编程的语言,有类和对象的概念。 1 类与对象 与 Java 一样,Scala 也是通过关键字 class 来定义类,使用关键字 new 创建对象。 要运行我们编写的代码,同

14.scala隐式转换-爱代码爱编程

目录 概述实践代码执行结果 结束 概述 隐式转换:偷偷的(隐式)对现有功能进行增强(转换) 实践 代码 package com.fun.scala import java.io.Fil

7 scala的类构造器-爱代码爱编程

在创建对象的时候,需要调用类的构造器。Scala 提供了主构造器和辅助构造器。 1 主构造器 与 Java 一样,如果我们没有特别定义,那么 Scala 提供的默认构造器是没有参数的。 我们可以在类名后,指定构造器的参

【spinalhdl】1. getting started-爱代码爱编程

1. Getting Started 1.1 SpinalHDL开发环境的搭建 开发环境的搭建参考SpinalHDL 开发环境搭建一步到位(图文版) - 极术社区 - 连接开发者与智能计算生态就可以了,so detail

scala 和 java在继承机制方面的区别-爱代码爱编程

Scala 和 Java 都是面向对象编程语言,都支持类的继承机制。然而,尽管两者在基础概念上有很多相似之处,但在具体的实现和语法上,Scala 的继承机制有其独特之处。以下是 Scala 和 Java 在继承方面的一些主要区别: 多重继承:Java 只支持单继承,即一个类只能有一个直接父类。Scala 则支持多重继承,一个类可以继承多个特质(tr

3 scala集合-爱代码爱编程

与 Java 的 Set 一样,scala 的 set 中,元素都是唯一的,而且遍历 set 中集合的顺序,跟元素插入的顺序是不一样的。 同样,Set 也包含可变和不可变两种。要实现可变 Set 集合,需要使用类 scal

【scala 】3. 类和对象-爱代码爱编程

3. 类和对象 scala是一种面向对象的函数,其中一部分就是scala语言中支持类的实现。 3.1 类的继承 (1)基类(父类) 类中包含实现面积的计算方法 class Shape { def getAr

4 scala集合-爱代码爱编程

和 Java 一样,Scala 也有表示键值对(Key-Value)集合的 Map 数据结构。同样,Map 也分不可变和可变,不可变需要使用类 scala.collection.mutable.Map。 1 不可变 Map

2 scala集合-爱代码爱编程

1 元组 元组也是可以存放不同数据类型的元素,并且最重要的是,元组中的元素是不可变的。 例如,定义一个元组,包含字符串 hello,数字 20。如果试图把数字 20 修改为 1,则会报错。 scala> var

【scala】 2. 函数-爱代码爱编程

2. 函数 scala运算符、if … else …两部分和C语言类型,这里不再赘述,这里从for循环开始讲讲scala和c/c++的不同之处。 2.1 for循环 scala中主要包含to和until两个关键字,下面

用docker 配置scala spark环境-爱代码爱编程

要使用Docker配置Scala和Spark环境,您可以按照以下步骤进行操作。以下是一个基本的示例,您可能需要根据您的具体需求进行调整。 安装Docker: 在您的系统上安装Docker。您可以从Docker官方网站下载并安装适用于您操作系统的版本。 创建Dockerfile: 在您的项目目录中创建一个名为 Dockerfile 的文件,

spark scala如何本地运行-爱代码爱编程

Spark scala如何本地运行 Spark任务调试太费时间啦Spark Scala本地运行 Spark任务调试太费时间啦 Apache Spark是一个开源的大数据处理框架,它提供了一个接口用于

spark如何用repartition来提升执行效率-爱代码爱编程

Spark如何用repartition来提升执行效率 repartition 是 Spark 中的一个转换操作,它可以用来增加或减少分区的数量。这个操作会产生一个新的 RDD,DataFrame 或 Data

大数据应用开发3-爱代码爱编程

一、编程框架 Scala语言是在JVM上运行的,兼容Java语法 区分大小写 -  Scala是大小写敏感的,这意味着标识Hello 和 hello在Scala中会有不同的含义。 类名 - 对于所有的类名的第一个字母要大写。 如果需要使用几个单词来构成一个类的名称,每个单词的第一个字母要大写。 方法名称 - 所有的方法名称的第一个字母用小写。 如