• DataX 同步数据

    2022.10.29 in Ju4t

    DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。 下载地址 https://gitee.com/mirrors/DataX https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.

    更多

  • Flask Dockerfile

    2022.10.21 in Ju4t

    Dockerfile FROM python:3.7-alpine WORKDIR /code ENV FLASK_APP app.py ENV FLASK_RUN_HOST 0.0.0.0 RUN apk add --no-cache gcc musl-dev linux-headers COPY requirements.txt requirements.txt RUN pip install -r requirements.txt COPY . . CMD ["flask", "run"] Flask app.py import time im

    更多

  • Docker Compose

    2022.10.21 in Ju4t

    Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。 docker-compose.yml version: "3.8" services: django: build: context: . dockerfile: Dockerfile # target: dev command: python manage.py runserver 0.0.0.0:8000

    更多

  • SparkStreaming Kafka

    2022.10.17 in Ju4t

    package com.ju4t.bigdata.spark.streaming import org.apache.kafka.clients.consumer.ConsumerConfig import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies} import org.apache.spark.str

    更多

  • SparkSQL Hive

    2022.10.17 in Ju4t

    package com.ju4t.bigdata.spark.sql import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession object Spark_SparkSQL_HIVE { def main(args: Array[String]): Unit = { // TODO 创建SparkSQL的运行环境 // 如果出现没有权限的话，加上如下内容 // System.setProperty("HADOOP_USER_NAME", "

    更多

  • Spark wordcount Java版

    2022.10.17 in Ju4t

    完整版 package com.ju4t.bigdata.spark.core.wc import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Spark_WordCount { def main(args: Array[String]): Unit = { // Application // Spark框架 // TODO 建立和Spark框架的连接 // JDBC : Connection val sparkConf = n

    更多

  • Spark wordcount Python版

    2022.10.12 in Ju4t

    main.py from pyspark import SparkConf, SparkContext def wordcount(input="dataset/word.txt"): """ wordCount :param input: :return: """ # lines = sc.textFile(input) # word = lines.flatMap(lambda line: line.split(" "))

    更多

  • Kubernetes DevOps: Jenkins Pipeline (流水线)

    2022.10.12 in Ju4t

    Jenkinsfile pipeline { agent none stages { stage('Clone Code') { agent { label 'master' } steps { echo "1.Git Clone Code" git url: "https://code.aliyun.com/Ju4t/helloword-springboot.git

    更多

  • SpringCloud Dockerfile

    2022.10.12 in Ju4t

    dockerfile FROM java:8-jre MAINTAINER xiaobing <Ju4t@qq.com> VOLUME /tmp ADD web-0.0.1-SNAPSHOT.jar app.jar RUN bash -c 'touch /app.jar' ENV APP_OPTS="" ENTRYPOINT ["sh","-c","java -Djava.security.egd=file:/dev/./urandom -jar /app.jar $APP_OPTS"] EXPOS

    更多

  • kubectl 镜像 Dockerfile

    2022.10.12 in Ju4t

    构建 kubectl docker 镜像 什么是kubectl Kubectl 是 Kubernetes 命令行界面。它允许通过提供广泛的命令来管理 Kubernetes 集群，这些命令允许以友好的方式与 Kubernetes API 进行通信。 Dockerfile FROM alpine:3.8 LABEL maintainer="敬晓兵 <Ju4t@qq.com>" ARG KUBE_VERSION="v1.23.5" RUN apk add --update ca-certificates \ && apk a

    更多