2022.10.17 in Ju4t
package com.ju4t.bigdata.spark.streaming import org.apache.kafka.clients.consumer.ConsumerConfig import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies} import org.apache.spark.str
2022.10.17 in Ju4t
package com.ju4t.bigdata.spark.sql import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object Spark_SparkSQL_HIVE { def main(args: Array[String]): Unit = { // TODO 创建SparkSQL的运行环境 // 如果出现没有权限的话，加上如下内容 // System.setProperty("HADOOP_USER_NAME", "
2022.10.17 in Ju4t
完整版 package com.ju4t.bigdata.spark.core.wc import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Spark_WordCount { def main(args: Array[String]): Unit = { // Application // Spark框架 // TODO 建立和Spark框架的连接 // JDBC : Connection val sparkConf = n
2022.10.12 in Ju4t
main.py from pyspark import SparkConf, SparkContext def wordcount(input="dataset/word.txt"): """ wordCount :param input: :return: """ # lines = sc.textFile(input) # word = lines.flatMap(lambda line: line.split(" "))
2022.10.12 in Ju4t
Jenkinsfile pipeline { agent none stages { stage('Clone Code') { agent { label 'master' } steps { echo "1.Git Clone Code" git url: "https://code.aliyun.com/Ju4t/helloword-springboot.git
2022.10.12 in Ju4t
dockerfile FROM java:8-jre MAINTAINER xiaobing <Ju4t@qq.com> VOLUME /tmp ADD web-0.0.1-SNAPSHOT.jar app.jar RUN bash -c 'touch /app.jar' ENV APP_OPTS="" ENTRYPOINT ["sh","-c","java -Djava.security.egd=file:/dev/./urandom -jar /app.jar $APP_OPTS"] EXPOS
2022.10.12 in Ju4t
构建 kubectl docker 镜像 什么是kubectl Kubectl 是 Kubernetes 命令行界面。它允许通过提供广泛的命令来管理 Kubernetes 集群，这些命令允许以友好的方式与 Kubernetes API 进行通信。 Dockerfile FROM alpine:3.8 LABEL maintainer="敬晓兵 <Ju4t@qq.com>" ARG KUBE_VERSION="v1.23.5" RUN apk add --update ca-certificates \ && apk a
2023.02.15 in Ju4t
Helm 是查找、分享和使用软件构建 Kubernetes 的最优方式。 安装 HELM wget https://get.helm.sh/helm-v3.8.1-linux-amd64.tar.gz tar -zxvf helm-v3.8.1-linux-amd64.tar.gz mv linux-amd64/helm /usr/local/bin && chmod +x /usr/local/bin/helm https://helm.sh/zh/docs/intro/install/ 添加仓库 helm repo add my-repo https://charts
2022.10.06 in Ju4t
架构 Django + uWSGI (http方式)，如使用socket方式需要Nginx转发； 注释掉了 nginx 和 uwsgi 部署在同一容器内的配置； docker-compose 为推荐架构，如果您了解 Nginx+ 更推荐 ^_^； django静态文件、数据库等操作，建议单独处理； 目录结构 ├── Dockerfile ├── README.md ├── db.sqlite3 ├── djangoProject │ ├── __init__.py │ ├── asgi.py │ ├── settings.py │ ├── urls.py │ └── w
2022.10.06 in Ju4t
以下开发模式已被证明有助于人们使用 Docker 构建应用程序。 如何保持你的图像小 启动容器或服务时，小图像更快地通过网络拉取并更快地加载到内存中。有一些经验法则可以保持较小的图像尺寸： 从适当的基础映像开始。例如，如果您需要 JDK，请考虑将您的镜像基于官方openjdk镜像，而不是从通用ubuntu镜像开始并openjdk作为 Dockerfile 的一部分进行安装。 使用多阶段构建。例如，您可以使用该maven映像来构建您的 Java 应用程序，然后重置为该tomcat映像并将 Java 工件复制到正确的位置以部署您的应用程序，所有这些都在同一个 Dockerfile 中。这意味着