• kubernetes 对象简写

    2022.11.10 in Ju4t

    all certificatesigningrequests (aka ‘csr’) clusterrolebindings clusterroles componentstatuses (aka ‘cs’) configmaps (aka ‘cm’) controllerrevisions cronjobs customresourcedefinition (aka ‘crd’) daemonsets (aka ‘ds’) deployments (aka ‘deploy’) endpoints (aka ‘ep’) events (aka ‘ev’) horizontalpodautosc

    more

  • Elasticsearch 操作

    2022.11.10 in Ju4t

    创建 PUT http://localhost:9200/customer/external/1 { "name": "John Doe" } { "_index": "customer", "_type": "external", "_id": "1", "_version": 1, "result": "created",

    more

  • HDFS 生产环境参数调优

    2022.11.10 in Ju4t

    HDFS参数调优 jps # 查看进行内存使用 jmap -heap PID HDFS核心参数 NameNode内存计算 每个文件块150byte,一台服务器128G内存为例,能存储多少文件块呢? 128 * 1024 * 1024 * 1024 / 150Byte 大约 9.1亿 G MB KB Byte Hadoop3.x系列,配置NameNode内存 具体修改:hadoop-env.sh export HDFS_NAMENODE_OPTS = "-Dhadoop.security.logger=INFO,RFAS -Xmx1024m

    more

  • Devops - Jenkins CICD / kubernetes 动态 slave

    2022.11.10 in Ju4t

    按照官方流程走:https://plugins.jenkins.io/kubernetes/ Agent:jenkins 5000端口设置好即可,http://xxxx/configureSecurity 环境 k8s containerd 安装 Jenkins helm $ cat <<EOF > values.yaml: extraEnvVars: - name: JENKINS_JNLP_PORT_NUMBER value: "50000" service: extraPorts: - name: tunnel port:

    more

  • Kubernetes autoscaling 弹性伸缩

    2022.11.10 in Ju4t

    弹性伸缩 默认的扩容冷却周期是 3 分钟,缩容冷却周期是 5 分钟。 kube-controller-manager: –horizontal-pod-autoscaler-downscale-delay:扩容冷却 -horizontal-pod-autoscaler-upscale-delay :缩容冷却 # test $ kubectl top node $ kubectl api-versions | grep autoscal autoscaling/v1 autoscaling/v2beta1 autoscaling/v2beta2 $ kubectl top pod -A

    more

  • Kompose 将 Docker Compose 文件转换为 Kubernetes 资源

    2022.11.05 in Ju4t

    Kompose 是什么?它是一个转换工具,可将 compose (即 Docker Compose)所组装的所有内容转换成容器编排器(Kubernetes 或 OpenShift)可识别的形式。 Kompose 通过 GitHub 发布,发布周期为三星期。 你可以在 GitHub 发布页面上看到所有当前版本。 安装 Kompose # macOS curl -L https://github.com/kubernetes/kompose/releases/download/v1.26.0/kompose-darwin-amd64 -o kompose chmod +x kompose sud

    more

  • Maven repository 配置加速访问

    2022.10.29 in Ju4t

    Maven 是一款基于 Java 平台的项目管理和整合工具,它将项目的开发和管理过程抽象成一个项目对象模型(POM)。开发人员只需要做一些简单的配置,Maven 就可以自动完成项目的编译、测试、打包、发布以及部署等工作。 修改 maven 下 config setting.xml <mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/n

    more

  • DataX 同步数据

    2022.10.29 in Ju4t

    DataX 是阿里云 DataWorks数据集成 的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。 下载地址 https://gitee.com/mirrors/DataX https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.

    more

  • Flask Dockerfile

    2022.10.21 in Ju4t

    Dockerfile FROM python:3.7-alpine WORKDIR /code ENV FLASK_APP app.py ENV FLASK_RUN_HOST 0.0.0.0 RUN apk add --no-cache gcc musl-dev linux-headers COPY requirements.txt requirements.txt RUN pip install -r requirements.txt COPY . . CMD ["flask", "run"] Flask app.py import time im

    more

  • Docker Compose

    2022.10.21 in Ju4t

    Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose,您可以使用 YML 文件来配置应用程序需要的所有服务。然后,使用一个命令,就可以从 YML 文件配置中创建并启动所有服务。 docker-compose.yml version: "3.8" services: django: build: context: . dockerfile: Dockerfile # target: dev command: python manage.py runserver 0.0.0.0:8000

    more