Skip to content

Technical

Kubernetes Certified KCNA Learning

Đây là một số ghi chú của tôi trong khóa học Kubernetes Certified (KCNA) + Hands On Labs + Practice Exams on Udemy. Nó không bao gồm toàn bộ và không thể thay thế khóa học của tác giả. Hãy mua khóa học và tự trải nghiệm.

Tài nguyên thực hiện lab

Tác giả có thiết kế một môi trường lap theo mình thấy là rất tốt và cực kỳ dễ triển khai. Môi trường lab được giới thiệu ở phần 4 và hoàn toàn miễn phí để có thể sử dụng. Các bạn chỉ cần pull code từ một public repository về và chạy, tùy theo hệ điều hành. Link: https://github.com/spurin/diveintokcna

Section 1: Course and Cloud Native Introduction

Cloud native và Foundation

Question

Cloud Native nghĩa là gì?

  • Một ứng dụng có tính cloud native nghĩa là nó có thể triển khai được trên tất cả các nền tảng cloud bao gồm Public, Private và Hybrid Clouds

Question

Tầm quan trọng của Linux Foundation đối với Cloud Native là gì?

  • Linux Foundation là một tổ chức phi lợi nhuận, được tài trợ với nhiệm vụ quản lý và bảo trì các project quan trọng như Linux Kernel, Kubernetes và Cloud Native Foundation.

Kubernetes and Cloud Native Associate Certification

Đây là một bài thi trắc nghiệm. Thang điểm và cấu trúc nội dung của KCNA được chia thành các phần như hình dưới.

pie title KCNA Curriculum
    "Kubernetes Fundamentals" : 46
    "Container Orchestration" : 22
    "Cloud Native Architecture" : 16
    "Cloud Native Observability" : 8
    "Cloud Native Application Delivery" : 8
Kubernetes Fundamentals
  • Kubernetes Resources
  • Kubernetes Architecture
  • Kubernetes API
  • Containers
  • Scheduling
Container Orchestration
  • Container Orchestration Fundamentals
  • Runtime
  • Security
  • Networking
  • Service Mesh
  • Storage
Cloud Native Architecture
  • Autoscaling
  • Serverless
  • Community and Governace
  • Roles and Personas
  • Open Standards
Cloud Native Observability
  • Telemetry & Observability
  • Prometheus
  • Cost Management
Cloud Native Application Delivery
  • Application Delivery Fundamentals
  • GitOps
  • CI/CD

Chi phí thi các chứng chỉ này nhìn chung khá đắt. Có một số phiếu giảm giá được cung cấp thông qua sales, event. Một cách khác để kiếm những phiếu giảm giá này là tham gia Kubecon/CloudNativeCon để lấy event discount. Khi thi sẽ có giám thị quan sát qua camera và kiểm tra màn hình của người thi. Các thông tin về bài thi được cập nhật trên repo cncf/curriculum

Section 2: Cloud Native Architecture Fundamentals

Cloud Native Architecture Fundamentals

  • Thách thức với các monolithic applications là việc thay đổi một tính năng có thể ảnh hưởng tới toàn bộ ứng dụng. Việc thay đổi một thư viện (hoặc phiên bản của chúng) nhằm đáp ứng tính năng này nhưng có thể ảnh hưởng tới tính năng khác không liên quan.

  • Trong ngữ cảnh các monolithic applications, tight coupling chỉ các ứng dụng có User Interface và Bussiness Logic rất khó để làm việc độc lập.

  • Microservices Architecture mang đến sự tiện lợi và làm ứng dụng dễ quản lý hơn. Nó cho phép ứng dụng "co giãn" trong khi chúng đang chạy. Điều này không thể thực hiện trong monolithic vì chúng bắt buộc phải downtime

  • Một ứng dụng Cloud Native nghĩa là chúng cần đáp ứng các tiêu chí:

    • Resiliency
    • Agility
    • Operabitily
    • Observability

  • Một ứng dụng có tính Microservices nghĩa là

    • Có ít sự kết hợp giữa các thành phần
    • Độc lập tương đối giữa các components
    • Mỗi services chỉ tập trung thực hiện một trách nhiệm
    • Đảm bảo các tính chất của ứng dụng Cloud Native

  • DevOps là việc kết hợp hai quá trình phát triển ứng dụng (Dev) và vận hành sản phẩm (IT Operation) để nâng cao hiệu quả, tin cậy và rút ngắn thời gian phần mềm được luân chuyển giữa các quá trình. DevOps nhấn mạnh vào quá trình tự động hóa, giám sát và kết hợp giữa hai nhóm Dev và Ops.

  • Continuous Delivery (CD) là quá trình các thay đổi của code được tự động build, test và chuẩn bị cho việc release tới production. CD đẩy nhanh quá trình release, nâng cao năng suất và giảm thiểu rủi ro, độ phức tạp và downtime của hệ thống.

Cloud Native Practices

Mục đích của tự động hóa trong ứng dụng Cloud Native là gì?

Cung cấp tốc độ và sự nhanh chóng thông qua quá trình cập nhật mà với nó, triển khai hạ tầng và ứng dụng được thường xuyên liên tục.

Công cụ nào tập trung chính vào IAC (Infrastructure as Code)?

Terraform

Ansible đóng vai trò gì trong tự động hóa các ứng dụng Cloud Native?

Ansible is a toolset that could assist with many areas including Container and Application Lifecycles as well as infrastructure deployment

Tại sao nói Least Privilege đóng góp quan trọng trong bảo mật ứng dụng Cloud Native

Nó chỉ cấp quyền tối thiểu cần có cho từng thành phần hoặc user, đảm bảo giới hạn về khả năng bị tấn công và khai thác bởi bất kỳ vi phạm nào về an toàn thông tin.

  • Continuous Integration là phương pháp khuyến khích lập trình viên kiểm tra code một cách thường xuyên và tự động test project trước khi nó được release.

  • Continuous Delivery là phương pháp khuyến khích quá trình thay đổi code trong project thường xuyên hơn nhấn mạnh vào việc tự động testing và tạo ra một bản build có thể release.

  • Continuous Deployment là phương pháp khi các thay đổi trong dự án được tiếp tục triển khai và phát hành trên môi trường Production, thông thường không cần thao tác từ con người.

  • Zero Trust đề cập tới môi trường mà ứng dụng không tin tưởng bất kỳ thành phần nào và luôn kiểm tra lại định danh và xác thực của chúng.

Các hình thức Autoscaling?
  • Predictive Autoscaling
  • Reactive Autoscaling
  • Scheduled Autoscaling
  • Vertical Autoscaling

Cloud Native Personas, Role & Responsibility

DevOps Engineer

Các skill cần có bao gồm:

  • Infrastructure Provisioning
  • System Administration
  • Storage
  • Networking
  • Internet Services
  • Automation/Scripting
  • Continuous Integration / Continuous Delivery
  • Source Version Control (Git)
  • GitOps
  • Configuration Management
  • Performance Analytics and Monitoring

Mục tiêu chính của Kỹ sư DevOps là thu hẹp khoảng cách giữa phát triển và vận hành bằng cách đảm bảo rằng các bản phát hành phần mềm diễn ra suôn sẻ, hiệu quả và đáp ứng các yêu cầu của tổ chức. Họ làm việc chặt chẽ với cả nhóm phát triển và nhóm vận hành để xác định các điểm nghẽn, tối ưu hóa quy trình và triển khai các công cụ tự động hóa để cải thiện hiệu quả chung.

Site Reliability Engineering

Site reliability engineering tập trung nhiều hơn vào tính ổn định, tin cậy của ứng dụng. Nó nhấn mạnh vào các chỉ số uptime, availability, scalability, resilience, robustness, and the ability. Các chỉ số mà một SRE cần đảm bảo bao gồm: SLAs, SLOs và SLI

CloudOps Engineer

Giống DevOps nhưng trên cloud

Security Engineer

A security engineer specializes, as the name suggests, in IT security, and will typically have a holistic view and expertise that covers many different areas of IT security, ranging from attack vectors and best practices within operating systems to network based security, external threat detection and reduction.

DevSecOps Engineer
Fullstack Developer
Cloud Architect
Data Engineer

Section 3: Containers with Docker

chroot là gì?

Là một process cho phép người sử dụng thay đổi root directory cho một running process và các process con của chúng

Tên gọi của Docker trước đây là gì?

DotCloud

Hai thành phần chính mà Docker kết hợp để tạo ra giải pháp container là gì?

Linux Namespaces và cgroups

Tại sao Docker (containers) lại được ưu tiên hơn so với máy ảo?

Chúng deploy nhanh hơn và tiêu thụ ít tài nguyên hệ thống hơn

Có bao nhiêu namespaces trong Linux Kernel được giới thiệu năm 2002?

6

Network namespaces được sử dụng cho mục đích gì?

Cung cấp một networking stack độc lập với IP address và connectivity

Mount namespaces được sử dụng cho mục đích gì?

Cho phép các process sử dụng một cách độc lập các mount points.

Linux Kernel

Linux Kernel được giới thiệu năm 2002, là nền tảng cho container hiện tại. Nó bao gồm 6 namespace chính

  • user cô lập các user ID và cho phép các process trong space sử dụng ID đó trong các thành phần khác của hệ thống

  • pid cung cấp cho process một ID trên toàn bộ namespace và hệ thống và đảm bảo chúng không bị trùng

  • network cung cấp cho các process trong một namespace có networking stack độc lập của chúng, cho phép giao tiếp với các process trong cùng namespace

  • mount một hệ thống phân cấp filesystem độc lập cho phép process có view riêng vào filesystem, giúp chúng có thể mount hoặc unmount trong cùng một namespace mà không bị conflict.

  • uts unix time sharing, cho phép một namespace có hostname và domain name độc lập, dùng để định danh chúng.

  • ipc inter process communication, cho phép những thứ như Posix message đến process message queues.

Cgroups Kernel

Cgroups được Google phát triển từ năm 2006, phát hành vào năm 2007 và sau đó, merge vào Linux Kernel năm 2008

  • Resource limit: tài nguyên (CPU, MEM, NET, DISK) có thể sử dụng, còn lại của hệ thống là bao nhiêu

  • Prioritisation: tương tự như với resource limit và độ ưu tiên của process

  • Accounting: Giám sát và báo cáo giới hạn tài nguyên

  • Control: Khả năng điều chỉnh, kiểm soát trạng thái của một process trong cgroup như started/stopped/frozen/restarted.

Docker
What does Docker Desktop use to run an isolated instance for Docker?

A hidden virtual machine or "subsystem"

What is the main advantage of using Docker Desktop compared to traditional Docker?

It is more flexible and easier to reset

What is the purpose of the "i" flag when running the 'docker run' command?

To make the container interactive

What is the purpose of the "t" flag when running the 'docker run' command?

To create a terminal input/output environment for interacting with the container.

What is the purpose of the 'docker run' command followed by an image name (e.g., 'ubuntu')?

To start a new container using specified image

What is the function of Docker Extensions in Docker Desktop?

To allow developers to bundle DOcker-based apps for easy installation and running

What is one key difference between managing resources in Docker Desktop on a Mac compared to Windows?

On a Mac, you can customise shared resources in the Preferences, while on Windows, you cannot.

Được phát triển kể từ năm 2010 với mục đích ban đầu là cung cấp khả năng chạy một ứng dụng cloud (dotCloud). Vào 2013, dotCloud đổi tên thành Docker và trở thành open-sourced

Container Runtime sẽ tạo một Shared Linux Kernel với Containers. Sử dụng Linux Kernel để tạo môi trường cô lập với đầy đủ namespace của Kernel

Container
Container Overview
What is a container image?

A container image is a portable, self-contained bundle of software and its dependencies that can be executed consistently across different environments.

What is the difference between a container and a container image?

A container is indeed a running instance of the software, whereas a container image is a bundle of software that includes everything needed to run an application. Containers are created by instantiating an image, and they can be started, stopped, and deleted as needed.

What is a container registry?

A container registry is indeed a service that hosts and distributes container images. Registries provide a centralized location where images can be stored, shared, and accessed by multiple users or systems.

What is a tag in the context of container images?

In the context of container images, a tag is a label used to distinguish a specific version or variant of an image. Tags provide a way to identify and reference different versions of an image, making it easier to manage and track changes over time.

What is the purpose of the "latest" tag in Docker?

The "latest" tag in Docker serves as a default tag when working with images if a specific tag is not specified. When you pull or use an image without specifying a particular tag, Docker will automatically use the image with the "latest" tag

What is a union filesystem in the context of container images?

In the context of container images, a union filesystem (also known as a union mount or aufs) refers to a special type of filesystem that combines multiple individual layers into a single, unified view. This allows the contents of different layers to be accessed and used together seamlessly, even though they may originate from separate sources.

What is a digest in the context of container images?

In the context of container images, a digest refers to a secure and unique identifier that represents an image in a container registry. Digests are typically calculated using cryptographic hash functions (such as SHA-256), which produce a fixed-length string that uniquely identifies the contents of the image.

What is the difference between a digest and an image ID?

A digest is a checksum taken from a container registry, which represents the contents of an image as it exists in the registry. Digests are typically used to verify the integrity of images when they are pulled or pushed between registries. An image ID, on the other hand, is a checksum based on the local container image, which represents the actual bytes stored on disk. Image IDs are typically used by Docker and other container runtimes to identify and manage images locally.

What is the command used to validate the Docker version and configuration?

The command "docker version" provides detailed information about the Docker client and server versions, along with their configuration details. This makes it a more comprehensive option for validating both the version and configuration of Docker.

What is the container engine being used by Docker?

containerd is an industry-standard container runtime that is designed to manage the complete lifecycle of containers on a node. It's built by Docker and is the default container engine used by Docker since version 17.06.

Container Images
What is the purpose of the --rm option when running a Docker container?

The --rm option tells Docker to automatically remove the container when it exits or is stopped. This can be useful for containers that are only needed temporarily and should not persist after they finish running.

What command, in the original Docker command syntax, would display all containers, irrespective of their state, including those that have exited?

The command docker ps -a will list all containers, regardless of their state.

How can you override the default command in a Docker container when running it?

When you add a command to the end of the docker run command, it overrides the default command specified in the Dockerfile. This allows you to customize the behavior of the container without modifying the original image

What does the it option do when running a Docker container?

The -it option (short for "interactive" and "tty") allows you to run a Docker container in interactive mode, which means that you can interact with the container as if it were a local shell session. When used together, these options allocate a pseudo-TTY to the container, allowing you to see the output of commands in real-time.

Which command is used to remove a Docker container?

docker rm is indeed the command used to remove one or more Docker containers.

Which command line option is used to list all the parameters available to the Docker command?

In Docker, running docker --help will display a list of available commands and options, along with their descriptions.

What is the purpose of running a container as a non-root user?

To improve security by limiting privileges

What does the command "docker run --rm nginx" do?

Pulls the nginx image if it does not exist, runs a container and removes the container upon exit.

What is the purpose of the "-d" option in the command "docker run -d --rm -P nginx"?

The "-d" option in the command "docker run -d --rm -P nginx" detaches the container from the terminal, allowing it to run in the background.

What is the purpose of using the "-p" option in the command "docker run -d --rm -p 12345:80 nginx"?

The "-p" option in the command "docker run -d --rm -p 12345:80 nginx" specifies the port to be used for connectivity to the container. In this case, it maps port 80 inside the container to port 12345 on the host machine

What is the purpose of using a volume in Docker?

The purpose of using a volume in Docker is to store and manage data in a container

What is the better approach for managing files used by a container instead of modifying them directly within the container?

Using a volume that contains the data and passing it to the container provides a clean way to manage files outside of the container's filesystem

How do you publish all exposed ports of a container when running it with Docker?

The -P flag tells Docker to publish all exposed ports of the container to the host machine

Which command is used to execute another process inside a running Docker container?

docker exec allows you to run a command or execute another process inside a running Docker container

What is the primary purpose of the LABEL instruction in a Dockerfile?

The LABEL instruction in a Dockerfile is used to provide metadata about the container image, such as version numbers, authors, or other relevant information. Use it with LABEL key=value

Which LABEL is used to mention the author of the container?

The label org.opencontainers.image.authors is explicitly defined in the Open Container Initiative (OCI) specification as a way to provide information about the authors of the container image. Read more at: https://github.com/opencontainers/image-spec/blob/main/annotations.md

What does the WORKDIR instruction do in a Dockerfile?

The WORKDIR instruction sets the working directory for subsequent instructions in the Dockerfile.

What is a drawback of having too many layers in a container image?

Having too many layers in a container image can lead to potential inefficiencies in image size and build times. Each layer adds overhead to the image, increasing its overall size. Moreover, with an excessive number of layers, Docker's layer caching mechanism may not work efficiently during builds, resulting in slower build times.

What is the difference between the CMD and RUN instructions in a Dockerfile?

The CMD instruction specifies the default command that will be executed when the container starts running, whereas the RUN instruction executes commands during the Docker image build process.

What is the purpose of a multistage build in a Dockerfile?

The primary purpose of a multistage build in a Dockerfile is to reduce the size of the final container image.

In a multistage Dockerfile, how can you copy a binary from one stage to another?

In a multistage Dockerfile, you can copy a binary from one stage to another by using the COPY directive with the --from flag. The --from flag specifies the stage from which to copy the file.

What is the function of the Logical AND operator (&&) in a Dockerfile?

In a Dockerfile, the Logical AND operator (&&) is used to chain multiple commands together, so that they are executed only if the previous command completes successfully (i.e., exits with a zero status code). If any of the preceding commands fail, the subsequent commands will not be executed.

What was the purpose of the adduser command in our Dockerfile?

The adduser command in our Dockerfile was used to create a new user with reduced privileges.

What does the ENTRYPOINT in a Dockerfile do?

The ENTRYPOINT instruction in a Dockerfile specifies the command that should be executed when the container is started.

What is the primary advantage of using Docker Buildx for building and pushing container images compared to Docker Build?

Docker Buildx provides a significant advantage over traditional Docker Build when it comes to building and managing container images that need to run on multiple architectures (e.g., ARM, x86, etc.). With Buildx, you can build your image for multiple target platforms simultaneously, which simplifies the process of creating and maintaining multiarch images.

What does the docker system prune command do?

Removes stopped containers, unused networks, dangling images, and dangling build cache

Section 4: Kubernetes Fundamentals

Container Orchestration

What is the primary function of Container Orchestration?

Container Orchestration is primarily concerned with supporting the operational needs in running containers. This includes tasks such as:

  • Scaling containerized applications up or down
  • Managing resource allocation (e.g., CPU, memory)
  • Handling rolling updates and deployments
  • Monitoring application health and performance
  • Providing high availability and fault tolerance. Orchestration tools help ensure that containers are running smoothly, efficiently, and in a way that aligns with the needs of the application.
Which of the following is not a feature of Container Orchestration?

Database management is not typically considered a core feature of Container Orchestration

Which of these is a means of expanding Kubernetes to have functionality outside of core functionality?

CRDs (Custom Resource Definitions) are a means of expanding Kubernetes to have functionality outside of its core features. CRDs allow developers to define new resources and APIs that can be used to extend the Kubernetes platform

Which tool is considered the gold standard for Container Orchestration?

Kubernetes is widely regarded as the gold standard for Container Orchestration due to its robust feature set, large community support, and widespread adoption across industries and organizations

Which of the following is not a key area where Container Orchestration excels?

While container orchestration tools can provide some security features, Cybersecurity Threat Detection is not a primary focus of container orchestration.

What is the primary benefit of Container Orchestration in the deployment of complex applications?

The primary benefit of Container Orchestration in the deployment of complex applications is that it standardizes the deployment process and integrates with various components like networking, storage, security, and autoscaling. This enables developers to focus on writing code, rather than worrying about the underlying infrastructure.

In the context of Container Orchestration, what is the purpose of 'self-healing'?

The purpose of self-healing in Container Orchestration is to automatically fix or replace containers when they fail

Kubernetes Architecture

Which component is responsible for spawning and running containers in a Kubernetes architecture?

The Low-Level Container Runtime (e.g. runc) is a component that's responsible for actually running the containers in a Kubernetes architecture

What is the role of the Kubelet in the Kubernetes architecture?

The Kubelet acts as the primary node agent that runs on each machine in a Kubernetes cluster. Its main responsibility is to maintain the state of Pods (collections of containers) on its host machine

How is ETCD used in the Kubernetes architecture?

ETCD (etcd.io) is a distributed key-value store that's used in Kubernetes to store and manage the state of the cluster. It acts as the single source of truth for all data, including Pod definitions, ReplicaSets, Deployments, Services, and more

What is the role of the Kube-Api Server in the Kubernetes architecture?

The Kube-Api Server acts as the central entry point for the Kubernetes cluster, providing a RESTful API interface to other components and external clients

What is the function of the Kube-Scheduler in the Kubernetes architecture?

The Kube-Scheduler, also known as the Scheduler, is responsible for determining which nodes in a Kubernetes cluster are valid placements for pods based on various constraints and resource requirements.

What role does the Kube-Proxy play in the Kubernetes infrastructure?

The Kube-Proxy, also known as the Proxy, is a network proxy that runs on each node in a Kubernetes cluster. Its primary function is to dynamically configure TCP/UDP and SCTP forwarding on the system it runs on, allowing pods to communicate with each other even if they are not running on the same host.

What is the role of the Controller-Manager in the Kubernetes architecture?

The Controller-Manager, also known as the controller-manager, is a component in the Kubernetes control plane that runs control loops to monitor the state of the cluster and make or request changes to achieve the desired state

Which component bridges functionality of the cloud provider to the Kubernetes server?

The Cloud Controller Manager (CCM) bridges functionality of the cloud provider to the Kubernetes server

What protocol is used by distributed systems to ensure that each node in the cluster agrees on the same state even in the face of failures?

RAFT (Reliable Asynchronous Fault-Tolerant) is a consensus protocol designed specifically for distributed systems to ensure that each node in the cluster agrees on the same state even in the face of failures

How do nodes in a highly available Kubernetes configuration connect to the API server?

In a highly available Kubernetes configuration, nodes typically connect to the API server through a load balancer

What is a Pod in the context of Kubernetes?

In the context of Kubernetes, a Pod is indeed the smallest and simplest unit that you create or deploy. A Pod represents one or more containers that share resources like storage, networking, and execution. Pods can contain multiple containers, but they are scheduled together as a single entity on a node in the cluster.

Which of the following correctly represents the hierarchy of Kubernetes components, from broadest to most specific?

Cluster -> Node -> Pod -> Container

When does the Kubernetes Kube-Scheduler determine the node placement for a pod?

After a pod has been created and registered in etcd, Kube-Scheduler looks at its queue of pending pods to be scheduled (which now includes this newly created pod)

If a Kubernetes cluster hosted on a public cloud provider fails to provision a requested load balancer service, which component might be responsible for this failure?

The Cloud-Controller-Manager is a Kubernetes component that integrates with public cloud providers (like AWS, GCP, Azure) to provision external resources such as load balancers

Which of the following is considered a component of a Kubernetes node?

Kube-Proxy (or kube-proxy) is a network proxy that runs on each node in a Kubernetes cluster

Which of the following is considered a component of the Kubernetes control-plane?

Cloud-Controller-Manager is a component of the control plane that integrates with public cloud providers to provision external resources such as load balancers, persistent volumes, and more.

Kubernetes Namespaces

What is a key benefit of using Kubernetes Namespaces?

One of the key benefits of using Kubernetes Namespaces is isolating resources and limiting the scope of user privileges. Namespaces allow administrators to create multiple virtual clusters within a physical cluster, each with its own set of resources (such as pods, services, and secrets).

How can you describe a namespace within a Kubernetes cluster?

A namespace in Kubernetes can be thought of as a virtual cluster within the larger Kubernetes cluster. It provides a way to logically separate and organize resources, such as pods, services, and secrets, into distinct environments. This enables administrators to isolate resources and limit the scope of user privileges, improving security and simplifying resource management.

Which command is used to view all resources within all namespaces in a Kubernetes cluster?

The command kubectl get all -A is used to view all resources within all namespaces in a Kubernetes cluster. The '-A' flag stands for '--all-namespaces', which tells kubectl to retrieve information from all namespaces, not just the current one.

What is the purpose of the 'kube-system' namespace in Kubernetes?

The 'kube-system' namespace in Kubernetes is specifically designed to hold objects created by the Kubernetes system, such as system pods, services, and deployments that manage the cluster's infrastructure. These objects are typically not user-facing and are instead used internally by the Kubernetes system to manage the cluster.

If you run a command without specifying a namespace in Kubernetes, which namespace will it run in?

When you run a command without specifying a namespace in Kubernetes, it will run in the default namespace by default

How can a new namespace be created in Kubernetes?

To create a new namespace in Kubernetes, you can use the kubectl command with the create subcommand followed by the namespace keyword and the name of your namespace. For example: kubectl create namespace mynamespace

How can a new namespace be created in Kubernetes?

To create a new namespace in Kubernetes, you can use the kubectl command with the create subcommand followed by the namespace keyword and the name of your namespace. For example: kubectl create namespace mynamespace

How can you run a pod in a specific namespace in Kubernetes?

To run a pod in a specific namespace in Kubernetes, you can use the kubectl command with the -n option (or --namespace) followed by the name of your namespace and then the "run" subcommand. For example: kubectl -n mynamespace run pod. This will create and run a new pod within the specified namespace.

How can you delete a pod named 'nginx' in a specific namespace called mynamespace in Kubernetes?

To delete a pod named 'nginx' in a specific namespace called mynamespace in Kubernetes, you can use the kubectl command with the -n option (or --namespace) followed by the name of your namespace and then the "delete" subcommand along with the type and name of the resource to be deleted. For example: kubectl -n mynamespace delete pod/nginx. This will delete the specified pod in the specified namespace.

What are the default namespaces provided with a standard Kubernetes installation?

The four default namespaces provided with a standard Kubernetes installation are default, kube-system, kube-public, kube-node-lease

If a resource is "Namespaced" in Kubernetes, what does this mean?

When a resource is Namespaced in Kubernetes, it means that it is tied to a particular Namespace and exists within the context of that Namespace. This allows for multiple resources with the same name to coexist in different namespaces, without conflicting with each other. For example, you can have a pod named "my-pod" in both the "dev" and "prod" namespaces.

What command will change the current context to use a specific namespace?

The command kubectl config set-context --current --namespace=mynamespace will change the current context to use a specific namespace, named "mynamespace". In Kubernetes, contexts determine which cluster and namespace you are interacting with when using the kubectl command-line tool.

What will happen to the resources inside a namespace if the namespace is deleted in Kubernetes?

When a namespace is deleted in Kubernetes, all the resources within that namespace are also deleted. This includes pods, services, deployments, and any other resource that was created within the namespace. This behavior ensures that deleting a namespace effectively cleans up all associated resources, preventing orphaned or abandoned objects from remaining in the cluster.

Kubernetes Deployments and ReplicaSets

Section 5: Kubernetes in Deep dive

Tạo một mô hình học máy dựa vào dữ liệu

Disclaimer

Đào tạo một mô hình học máy hiệu quả là công việc khó khăn. Bản thân mình mặc dù học tập khá là chăm chỉ, nhưng chưa thể tạo được một mô hình học máy hoàn chỉnh. Bài viết này không đề cập tới việc sử dụng các ứng dụng hỗ trợ training và model experiment tracking, do hầu hết chúng mặc dù có thể sử dụng miễn phí, cũng có một giới hạn nhất định. Việc sử dụng công cụ sẽ giúp tiết kiệm nhiều thời gian, nhưng theo mình sẽ giống như nghiện thuốc, dần dần phụ thuộc vào chúng. Bài viêt này được tạo ra với mục đích thuần túy là một báo cáo môn học, không phải một hướng dẫn hay trình tự cần có. Sử dụng nó với đúng nhu cầu, tìm kiếm và kết luận đâu là phương pháp tốt nhất cho chính dự án của bạn.

Cài đặt môi trường để chạy trên local.

Cài đặt python notebook

  • Cài đặt python theo hướng dẫn: https://www.python.org/downloads/
  • Cài đặt venv (nếu version chưa có)
  • Cài đặt jupyter notebook kernel
  • Tạo một venv tại thư mục dự án: setting venv
  • Cài đặt jupyter notebook 
    pip3 install jupyter ipykernel
python3 -m ipykernel install --user --name=ml-demo --display-name "ml-demo"
  • Tại giao diện notebook, phía trên bên phải, chọn kelnel vừa tạo.

Cài đặt Experiments Tracking tool MLflow

Để thuận tiện, ta sử dụng Docker

docker-compose.yml
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
services:
  mlflow-server:
    build:
      context: .
      dockerfile: Dockerfile
    ports:
      - "5000:5000"
    volumes:
      - mlflow-data:/mlflow


volumes:
  mlflow-data:
Dockerfile
1
2
3
4
5
6
7
8
9
FROM python:3.13
WORKDIR /mlflow
RUN pip3 install mlflow psutil pynvml
ENV BACKEND_URI sqlite:///mlflow.db
ENV MLFLOW_ENABLE_SYSTEM_METRICS_LOGGING true
ENV MLFLOW_DEPLOYMENT_SERVER_START_TIMEOUT 600
ENV MLFLOW_GATEWAY_SEARCH_ROUTES_PAGE_SIZE 10
EXPOSE 5000
CMD mlflow ui --backend-store-uri $BACKEND_URI --host 0.0.0.0 --port 5000

Khởi tạo container, sau đó truy cập vào địa chỉ web http://localhost:5000/ để vào giao diện web.

Dữ liệu sử dụng

Trong bài này, mình đã chuẩn bị một bộ dữ liệu mô phỏng. Download và sử dụng tại đây.

Huấn luyện mô hình

Xem đầy đủ file notebook tại đây

Xử lý dữ liệu

Đọc dữ liệu từ file csv và kiểm tra một số thông tin của dữ liệu

df = pd.read_csv('data/train_.csv')
df.info()
df.shape
df.isnull().sum()
df.head()

Kết quả cho thấy thông tin các cột, loại dữ liệu của từng cột, số giá trị null của các cột, cuối cùng là một phần dữ liệu.

  • Dữ liệu dạng time series: bài toán forecast
  • Dữ liệu dạng nhãn: bài toán phân loại.

Ta có thể dễ dàng nhận ra rằng cột cuối cùng của dữ liệu là Label. Vậy đối với dữ liệu này, bài toán ta cần giải thuộc trường hợp thứ hai.

Phương pháp xử lý dữ liệu thô sơ nhất, là ta xử lý các trường hợp null của các cột. Ở ví dụ này, mình chỉ đơn giản điền các trường null thành -1

data_n_null = df.fillna(-1, inplace=False)

Cuối cùng, ta chia dataset thành các tập train, test.

data_sample = data_n_null.sample(frac=0.3) # We just use 30% of dataset to check, which model compatible.
X = data_sample.drop(columns=['Label'])
y = data_sample['Label']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.2, random_state = 42)

Đào tạo với mô hình cơ bản

Với bài toán phân loại, có rất nhiều mô hình có thể thực hiện tốt. Với hiểu biết hạn hẹp, ở đây mình chỉ giới thiệu một vài mô hình cơ bản

Ta tiến hành đào tạo và lấy thông số F1, lưu lại các feature có đóng góp quan trọng với mô hình.

model = DecisionTreeClassifier()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
f1 = f1_score(y_test, y_pred, average='weighted')
print(f"F1 score: {f1}")
feature_scores = pd.Series(model.feature_importances_, index=X_train.columns).sort_values(ascending=False)
plt.figure(figsize=(20, 20))
sns.barplot(x=feature_scores, y=feature_scores.index)
plt.xlabel('Feature Importance Score')
plt.ylabel('Features')
plt.title("Visualizing Important Features")
feature_importance_plot = "feature_importance.png"
plt.savefig(feature_importance_plot, bbox_inches='tight')

Tương tự với Random Forest

model = RandomForestClassifier()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
f1 = f1_score(y_test, y_pred, average='weighted')
print(f"F1 score: {f1}")
feature_scores = pd.Series(model.feature_importances_, index=X_train.columns).sort_values(ascending=False)
plt.figure(figsize=(20, 20))
sns.barplot(x=feature_scores, y=feature_scores.index)
plt.xlabel('Feature Importance Score')
plt.ylabel('Features')
plt.title("Visualizing Important Features")
feature_importance_plot = "feature_importance.png"
plt.savefig(feature_importance_plot, bbox_inches='tight')

Cuối cùng là XGBoost

model = XGBClassifier()
label_encoder = LabelEncoder()
y_train_num = label_encoder.fit_transform(y_train)
y_test_num = label_encoder.fit_transform(y_test)
model.fit(X_train, y_train_num)
y_pred = model.predict(X_test)
f1 = f1_score(y_test_num, y_pred, average='weighted')
print(f"F1 score: {f1}")
feature_important = model.get_booster().get_score(importance_type='weight')
keys = list(feature_important.keys())
values = list(feature_important.values())
data = pd.DataFrame(data=values, index=keys, columns=['score']).sort_values(by = 'score', ascending=True)
data.nlargest(40, columns="score").plot(kind='barh', figsize = (20,20))

Ta lần lượt có được thời gian training, thông số F1 cùng hình ảnh minh họa mức độ quan trọng của các cột (feature) trong dataset với mô hình. Hình dưới là kết quả của mô hình Decision Tree

feature-importance-decision-tree

Sử dụng MLflow để tracking các chỉ số của model

Sử dụng MLflow rất đơn giản. Nhiều model có hỗ trợ. Ta chỉ cần gọi một lệnh.

# Setting mlflow information
ML_TRACKING_URL = "http://localhost:5000"
mlflow.set_tracking_uri(ML_TRACKING_URL)
mlflow.set_experiment("decision_tree")
mlflow.sklearn.autolog()

# Star training model
model = DecisionTreeClassifier()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
f1 = f1_score(y_test, y_pred, average='weighted')
# Log f1 metric to model metrics
mlflow.log_metric("f1_score", f1)

feature_scores = pd.Series(model.feature_importances_, index=X_train.columns).sort_values(ascending=False)
plt.figure(figsize=(20, 20))
sns.barplot(x=feature_scores, y=feature_scores.index)
plt.xlabel('Feature Importance Score')
plt.ylabel('Features')
plt.title("Visualizing Important Features")
feature_importance_plot = "feature_importance.png"
plt.savefig(feature_importance_plot, bbox_inches='tight')

# Save figure to model artifact and remove it from local
mlflow.log_artifact(feature_importance_plot)
os.remove(feature_importance_plot)

Sau khi thực thi xong, các thông số được ghi vào MLflow. Thực thi nhiều lần sẽ được ghi nhiều lần. Ta có thể xem nhiều thông số bằng cách nhấn vào từng experiment.

mlflow-over=view

Sử dụng optuna để hyper parameter turning

Có nhiều thuật toán và thư viện để thực hiện nhiệm vụ này. Bản thân mình đã thử nghiệm GridSearchCV và RandomizedSearchCV của sklearn nhưng chúng quá nặng, chạy chậm. Vì vậy không phù hợp với điều kiện hiện tại.

Optunal sử dụng các study và trial để định nghĩa quá trình hyper param. Một study bao gồm nhiều trial. 

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
def xgboost_objective(trial):
    with mlflow.start_run(nested=True) as run:
        params = {
            "tree_method" : "hist",
            "device" : "cuda",
            "objective": "reg:squarederror",
            "n_estimators": 1000,
            "verbosity": 0,
            "eval_metric" : ["rmse", "mae", "mape", "logloss","error","auc"],
            "learning_rate": trial.suggest_float("learning_rate", 1e-3, 0.1, log=True),
            "max_depth": trial.suggest_int("max_depth", 1, 10),
            "subsample": trial.suggest_float("subsample", 0.05, 1.0),
            "colsample_bytree": trial.suggest_float("colsample_bytree", 0.05, 1.0),
            "min_child_weight": trial.suggest_int("min_child_weight", 1, 20),
        }
        model = XGBClassifier(**params)
        mlflow.xgboost.autolog()
        model.fit(X_train, y_train, verbose=False)
        y_pred = model.predict(X_test)
        accuracy = accuracy_score(y_test, y_pred)
        f1 = f1_score(y_test, y_pred, average='weighted')
        precision = precision_score(y_test, y_pred, average='weighted')
        recall = recall_score(y_test, y_pred, average='weighted')
        mlflow.log_metric("accuracy", accuracy)
        mlflow.log_metric("f1_score", f1)
        mlflow.log_metric("precision", precision)
        mlflow.log_metric("recall", recall)

        # Log a file contain some information of model
        metrics_file = "model_summary.json"
        metrics = {
            "parameter" : {**params},
            "metrics" : {
                "f1" : f1,
                "precision" : precision,
                "accuracy" : accuracy,
                "recall" : recall
            }

        }

        with open(metrics_file, "w") as f:
            json.dump(metrics, f, indent=4)

        mlflow.log_artifact(metrics_file)
        os.remove(metrics_file)

        # Save run_id of run to trial
        trial.set_user_attr("run_id", run.info.run_id)
    return f1

# This function will callback after each trial. It will mark which value is best now
def champion_callback(study, frozen_trial):
    winner = study.user_attrs.get("winner", None)
    if study.best_value and winner != study.best_value:
        study.set_user_attr("winner", study.best_value)
        if winner:
            improvement_percent = (abs(winner - study.best_value) / study.best_value) * 100
            print(
                f"Trial {frozen_trial.number} achieved value: {frozen_trial.value} with "
                f"{improvement_percent: .4f}% improvement"
            )
        else:
            print(f"Initial trial {frozen_trial.number} achieved value: {frozen_trial.value}")

tags = {
    "dataset_frac": 1.0,
    "random_state": 42,
    "test_size" : 0.2,
    "droped_column" : ['ID','IPv','Drate','Telnet','SMTP','ARP','cwr_flag_number','ece_flag_number','fin_flag_number','SSH','psh_flag_number','rst_flag_number'], # Base on feature importance score, we will drop some column to decrease dimention.This help us downgrade size of model
    "author": "Son Nguyen"
}

data = data_n_null.drop(columns=tags['droped_column'])
data_sample = data.sample(frac=tags['dataset_frac'])
X = data_sample.drop(columns=['Label'])
y = data_sample['Label']
label_encoder = LabelEncoder()
y = label_encoder.fit_transform(y)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = tags['test_size'], random_state = tags['random_state'])

mlflow.set_experiment("xgboost")
optuna.logging.set_verbosity(optuna.logging.ERROR)
with mlflow.start_run(nested=True) as run:

    # mlflow.xgboost.autolog() can not put auto log here
    study = optuna.create_study(direction='maximize')
    study.optimize(xgboost_objective, n_trials=100, timeout=7200, callbacks=[champion_callback], show_progress_bar=True)

    best_trial = study.best_trial
    best_run_id = best_trial.user_attrs['run_id']
    # best_param = study.best_params
    best_value = study.best_value

    model_name = "XGBoost-Classifier"
    client = mlflow.tracking.MlflowClient()
    latest_ = client.get_latest_versions(model_name, stages=None)[0]

    model_uri = f"runs:/{best_run_id}/model"
    best_model = mlflow.register_model(model_uri, model_name)

    best_param = client.get_run(best_run_id).data.params

    # We will check the best trial in this study is higher than existing model. If yes, we will register this trial as new version of Model. Otherwise skip that
    if latest_:
        previous_f1_score = client.get_metric_history(latest_.run_id, "f1_score")[-1].value
        if previous_f1_score >= best_value:
            print(f"Last model is better. Current values {best_value}, latest values {previous_f1_score}")
        else:
            client.update_registered_model(
                name=model_name,
                description="Best moldel",
            )

            for key, value in best_param.items():
                client.set_model_version_tag(
                    name=model_name,
                    version=best_model.version,
                    key=key,
                    value=value
                )

            client.set_model_version_tag(
                name=model_name,
                version=best_model.version,
                key="values",
                value=best_value
            )

            for key, value in tags.items():
                mlflow.set_tag(key,value)
            mlflow.set_tag("job", "xgboost using optuna to search parameter")

Tổng quát, ta sử dụng optuna để suggest giá trị của các parameter trong một range do ta quy định. Nó chạy tối đa bao nhiêu lần trong tối đa bao nhiêu thời gian để tìm parameter tốt nhất, cho giá trị F1 cao nhất.

Sau khi chạy hoàn tất một study với rất nhiều trial, ta thu thập được nhiều thông số của các lần chạy. Ta tiến hành so sánh các mối tương quan của chúng để điều chỉnh khoảng tham số.

contribute-parallel

Hình trên cho thấy mức liên quan giữa các parameter tới việc chỉ số F1 của mô hình cao hay thấp. Từ đó quyết định mở rộng, thu hẹp, dịch chuyển khoảng tham số mà ta sẽ cung cấp cho optuna để dò tìm.

Info

Sẽ cố gắng cập nhật theo kiến thức mới của mình.

Fail2ban - Công cụ chống DDOS và brute force hiệu quả

Giới thiệu về Fail2ban

Fail2ban là một công cụ bảo mật mã nguồn mở giúp bảo vệ hệ thống khỏi các cuộc tấn công brute-force (thử mật khẩu liên tục). Công cụ này hoạt động bằng cách giám sát các tệp nhật ký (log files) để phát hiện các dấu hiệu của những cuộc tấn công không mong muốn. Khi phát hiện có một địa chỉ IP thực hiện các hành vi đáng ngờ, Fail2ban sẽ thực hiện các biện pháp phòng ngừa như chặn IP đó bằng tường lửa (firewall), qua đó giảm thiểu nguy cơ bị xâm nhập.

Cách thức hoạt động của Fail2ban

  • Giám sát tệp nhật ký: Fail2ban đọc và phân tích các tệp nhật ký từ các dịch vụ như SSH, Apache, và Postfix.

  • Xác định các IP xấu: Dựa vào các quy tắc (filters) đã được định nghĩa trước, Fail2ban xác định các địa chỉ IP có dấu hiệu xâm nhập như nhiều lần đăng nhập thất bại trong một khoảng thời gian ngắn.

  • Thực hiện lệnh chặn: Khi phát hiện IP đáng ngờ, Fail2ban sẽ thực hiện các hành động (jails) để chặn IP, thường là sử dụng iptables để chặn truy cập hoặc thực hiện các hành động tùy chỉnh khác.

  • Gỡ chặn sau thời gian quy định: Sau một khoảng thời gian cấu hình, Fail2ban sẽ tự động gỡ chặn các IP nếu không tiếp tục phát hiện hành vi đáng ngờ.

Một số tính năng chính của Fail2ban

  • Hỗ trợ đa dạng dịch vụ: Có thể thiết lập để bảo vệ nhiều dịch vụ trên hệ thống như SSH, HTTP(S), FTP, email.

  • Linh hoạt trong cấu hình: Cho phép người dùng định nghĩa các quy tắc chặn, thời gian chặn, và các hành động tuỳ chỉnh khi phát hiện IP đáng ngờ.

  • Khả năng mở rộng: Dễ dàng thêm các bộ lọc (filter) mới hoặc tùy chỉnh theo nhu cầu bảo mật.

  • Fail2ban là một giải pháp đơn giản nhưng rất hiệu quả trong việc bảo vệ hệ thống khỏi các cuộc tấn công brute-force, giúp giảm thiểu nguy cơ bị xâm nhập và gia tăng an ninh cho hệ thống của bạn.

Cấu hình Fail2ban theo best practice

Nhìn chung, cài Fail2ban trên linux được thực hiện dễ dàng, hỗ trợ một số hệ điều hành cơ bản. Người dùng cũng có thể cài đặt trên các hệ điều hành khác thông qua việc sử dụng python script1.

Mặc dù là một repo với số lượng star cũng như thời gian phát triển dài, nhưng tài liệu sử dụng cho phần mềm khá hạn chế, chỉ được host bằng Github Wiki. Vì vậy, trong quá trình sử dụng, mình sẽ dùng phần dưới đây để bổ sung và cập nhật các thiết đặt.

Best Practice

Cây thư mục cấu hình của Fail2ban

/etc/fail2ban
├── action.d
│   ├── abuseipdb.conf
│   ├── apf.conf
│   ├── apprise.conf
│   ├── blocklist_de.conf
│   ├── cloudflare-token.conf
│   ├── cloudflare.conf
|   ...
├── fail2ban.conf
├── fail2ban.d
├── filter.d
│   ├── 3proxy.conf
│   ├── apache-auth.conf
│   ├── apache-badbots.conf
│   ├── apache-botsearch.conf
│   ├── apache-common.conf
│   ├── apache-fakegooglebot.conf
│   ├── apache-modsecurity.conf
│   ├── apache-nohome.conf
│   ├── apache-noscript.conf
│   ├── apache-overflows.conf
│   ...
├── jail.conf
├── jail.d
│   └── 00-firewalld.conf
├── paths-common.conf
└── paths-fedora.conf

Tại best practice trên wiki các tác giả đã trình bày cơ bản về các phương pháp thực hiện cơ bản để Fail2ban hoạt động tốt và ít sử dụng tài nguyên. Tóm tắt có thể đề cập

  • Fail2ban sử dụng regex để phát hiện các truy cập bất thường trong các file nhật ký, từ đó có thông tin để cấm những truy cập này. Vì vậy cần optimize regex patterns trong các folder filter.d và action.d.

  • Prefiltering and Regex Order: Nếu log có nhiều các thông tin khác, có thể sử dụng prefregex để filter bớt các thông tin này để giảm số message mà Fail2ban phải xử lý. Đồng thời sắp xếp các regex theo tần suất xuất hiện, các mẫu chung nên được viết ở trên.

  • Giảm thiểu ghi các log không liên quan, các log thông tin ứng dụng nên ghi ra file khác để Fail2ban không phân tích chúng. Đặt mức ghi log thấp và phân loại chi tiết log cho mỗi ứng dụng cũng làm tăng hiệu suất của Fail2ban (ví dụ như 403 và 404 riêng cho nginx)

  • Sử dụng tính năng increment bantime theo thời gian, tăng số thời gian cấm truy cập sau nhiều lần xác thực không thành công liên tục.

Mẫu cấu hình fail2ban

/etc/fail2ban/fail2ban.local
[DEFAULT]
loglevel = INFO
logtarget = /var/log/fail2ban.log
syslogsocket = auto
socket = /var/run/fail2ban/fail2ban.sock
pidfile = /var/run/fail2ban/fail2ban.pid
dbfile = /var/lib/fail2ban/fail2ban.sqlite3
dbpurgeage = 1d
dbmaxmatches = 10
/etc/fail2ban/jail.local
[INCLUDES]
before = paths-fedora.conf

[DEFAULT]

bantime.increment = true
bantime.rndtime = 300
bantime.maxtime = 1d
bantime.factor = 1
bantime.formula = ban.Time * (1<<(ban.Count if ban.Count<20 else 20)) * banFactor
bantime.overalljails = false
ignoreself = true
ignoreip = 127.0.0.1/8 ::1
ignorecommand = # if an ip match with ban rule, it will run this command (script), if script exit(0), fail2ban will not ban it, otherwise 1 is ban
bantime  = 30m
findtime  = 1m
maxretry = 5
maxmatches = %(maxretry)s
backend = auto
usedns = raw
logencoding = auto
mode = normal

filter = %(__name__)s[mode=%(mode)s]

# Destination email address used solely for the interpolations in
# jail.{conf,local,d/*} configuration files.
#destemail = root@localhost

# Sender email address used solely for some actions
#sender = root@<fq-hostname>

# E-mail action. Since 0.8.1 Fail2Ban uses sendmail MTA for the
# mailing. Change mta configuration parameter to mail if you want to
# revert to conventional 'mail'.
#mta = sendmail
protocol = tcp
chain = <known/chain>
port = 0:65535
fail2ban_agent = Fail2Ban/%(fail2ban_version)s
banaction = nftables
banaction_allports = nftables
action_ = %(banaction)s[port="%(port)s", protocol="%(protocol)s", chain="%(chain)s"]
#action_xarf = %(action_)s
             #xarf-login-attack[service=%(__name__)s, sender="%(sender)s", logpath="%(logpath)s", port="%(port)s"]
action = %(action_)s
/etc/fail2ban/action.d/nftables.conf
[Definition]
type = multiport
rule_match-allports = meta l4proto \{ <protocol> \}
rule_match-multiport = $proto dport \{ $(echo '<port>' | sed s/:/-/g) \}
match = <rule_match-<type>>
rule_stat = %(match)s <addr_family> saddr @<addr_set> <blocktype>
_nft_for_proto-multiport-iter = for proto in $(echo '<protocol>' | sed 's/,/ /g'); do
_nft_for_proto-multiport-done = done
_nft_list = <nftables> -a list chain <table_family> <table> <chain>
_nft_get_handle_id = grep -oP '@<addr_set>\s+.*\s+\Khandle\s+(\d+)$'
_nft_add_set = <nftables> add set <table_family> <table> <addr_set> \{ type <addr_type>\; \}
              <_nft_for_proto-<type>-iter>
              <nftables> add rule <table_family> <table> <chain> %(rule_stat)s
              <_nft_for_proto-<type>-done>
_nft_del_set = { %(_nft_list)s | %(_nft_get_handle_id)s; } | while read -r hdl; do
               <nftables> delete rule <table_family> <table> <chain> $hdl; done
              <nftables> delete set <table_family> <table> <addr_set>
_nft_shutdown_table = { <nftables> list table <table_family> <table> | grep -qP '^\s+set\s+'; } || {
                        <nftables> delete table <table_family> <table>
                      }
actionstart = <nftables> add table <table_family> <table>
              <nftables> -- add chain <table_family> <table> <chain> \{ type <chain_type> hook <chain_hook> priority <chain_priority> \; \}
              %(_nft_add_set)s
actionflush = { <nftables> flush set <table_family> <table> <addr_set> 2> /dev/null; } || {
              %(_nft_del_set)s
              %(_nft_add_set)s
              }
actionstop = %(_nft_del_set)s
             <_nft_shutdown_table>
actioncheck = <nftables> list chain <table_family> <table> <chain> | grep -q '@<addr_set>[ \t]'
actionban = <nftables> add element <table_family> <table> <addr_set> \{ <ip> \}
actionunban = <nftables> delete element <table_family> <table> <addr_set> \{ <ip> \}
[Init]
table = f2b-table
table_family = inet
chain = f2b-chain
chain_type = filter
chain_hook = input
chain_priority = -1
addr_type = ipv4_addr
name = default
port = http,https
protocol = tcp, udp
blocktype = drop
nftables = nft
addr_set = addr-set-<name>
addr_family = ip
/etc/fail2ban/jail.d/nginx-limit-req.conf
[nginx-limit-req]
enabled = true
port    = http,https
logpath = /var/log/nginx/error.log
/etc/fail2ban/filter.d/nginx-limit-req.conf
# This file use default of fail2ban, I do not change any thing

Danh sách cấu hình Fail2ban

Một số tài liệu hướng dẫn2 đã có đề cập về việc cấu hình Fail2ban, trọng tâm vào việc cấu hình chi tiết các dịch vụ trong jail.d. Ở đây nhắc lại và đề cập một số cấu hình mà mình thấy cần phải biết.

Cấu hình fail2ban.conf

loglevel = INFO

Cài đặt mức độ chi tiết của fail2ban log. Các giá trị bao gồm: CRITICAL, ERROR, WARNING, NOTICE, INFO

logtarget = /var/log/fail2ban.log

Định nghĩa log được ghi ra vào đâu, Các giá trị có thể là: STDOUT, STDERR, SYSLOG, SYSOUT, SYSTEMD-JOURNAL, FILE. Mặc định log được ghi vào /var/log/fail2ban.log.

syslogsocket = auto

Nếu cài đặt logtarget = SYSLOG, cài đặt trường này thành auto hoặc ghi nó ra file

socket = /var/run/fail2ban/fail2ban.sock

Nơi lưu socket file để giao tiếp daemon.

pidfile = /var/run/fail2ban/fail2ban.pid

Nơi lưu socket pid của process fail2ban

allowipv6 = auto

Có sử dụng fail2ban ở interface ipv6 hay không

dbfile = /var/lib/fail2ban/fail2ban.sqlite3

Địa chỉ lưu trữ dữ liệu của fail2ban. Fail2ban sử dụng sqlite làm database, hiện chưa hỗ trợ lưu vào các database truyền thống như mysql, postgres. Có thể sửa thành None để không lưu hoặc memory để chỉ lưu vào memory (sẽ bị mất dữ liệu khi restart process)

dbpurgeage = 1d

Thời gian mà danh sách bị cấm trong database được xóa đi. Mặc định là 1 ngày.

dbmaxmatches = 10

Số lượng khớp được lưu trong database với mỗi ticket.

stacksize = 0

Kích thước stack được sử dụng cho các subsequently created threads

Cấu hình jail.conf

bantime = 1h

Thời gian mặc định một source matches bị cấm.

enabled = true

Có cho phép fail2ban xử lý các kết nối ssh hay không

before = paths-distro.conf

Include một số cấu hình của hệ điều hành như backend log, mysql log, nginx log. File này request cấu hình trong 2 file before = paths-common.conf và after = paths-overrides.local. Nghĩa là mặc định, một config sẽ được cấu hình trong paths-common.conf, hoặc paths-distro.conf và chúng sẽ bị ghi đè bởi paths-overrides.local nếu khác nhau.

bantime.increment = true

Thời gian cấm được tăng theo cấp số nhân không. Mặc định là banTime * 1, 2, 4, 8, 16, 32.

bantime.rndtime = 300

Thời gian tối đa mà hệ thống random ngẫu nhiên để cấm một nguồn. Điều này sẽ làm giảm tác dụng của các botnet tính chính xác thời gian cấm được xóa và tấn công lại.

I

Thời gian tối đa cấm mà nó không tăng nữa, kể cả tiếp tục bị tấn công.

bantime.factor = 1

Hệ số nhân của công thức tính thời gian cấm. Mặc định là 1, thời gian được tính theo công thức bantime.formula

bantime.formula = ban.Time * (1<<(ban.Count if ban.Count<20 else 20)) * banFactor

Công thức tính thời gian cấm của lần tiếp theo. Mặc định theo công thức trên, là lũy thừa hệ số 2.

bantime.multipliers = 1 5 30 60 300 720 1440 2880

Công thức tính thời gian cấm thay cho bantime.formula. Hệ số này nhân với bantime. Ví dụ, với bantime = 60, thời gian cấm sẽ được tính theo các lần matches: 1 min, 5 min, 30 min, 1 hour, 5 hour, 12 hour, 1 day, 2 day

bantime.overalljails = false

Nếu một IP được matches với 1 jail, fail2ban có sử dụng nó để kiểm tra trên toàn bộ các jail config khác không. Ví dụ, một IP bị cấm bởi nginx thì có được đưa vào xem xét trên ssh, mysql hay không. Mặc định là false

ignoreself = true

Bỏ qua địa chỉ local. Fail2ban cũng không cấm các host match với địa chỉ local này.

ignoreip = 127.0.0.1/8 ::1

Các dãy địa chỉ được bỏ qua, fail2ban sẽ không cấm các địa chỉ này.

ignorecommand = /path/to/command

Nếu fail2ban xác định một IP thuộc rule bị cấm. Nó sẽ chạy command /path/to/command, nếu script trả kết quả exit 0, fail2ban sẽ bỏ qua địa chỉ này. Ngược lại, quá trình cấm sẽ bắt đầu. Ví dụ: 

#!/bin/bash
IP=$1
MY_DYNAMIC_IP=$(/usr/bin/curl -s http://my-website/dynamic-ip-list)
if [[ "$IP" =~ $MY_DYNAMIC_IP ]]; then
    exit 0  # Ignore this IP
else
    exit 1  # Ban this IP
fi

maxretry = 5

Số lần lỗi trước khi bị ban

findtime = 10m

Thời gian mà một host bị cấm nếu request maxretry trong thời gian findtime.

maxmatches = %(maxretry)s

Số lượng log matches lưu trong memory đối với mỗi IP. Mặc định bằng maxretry. Nghĩa là memory sẽ lưu tối đa 5 matches log cho mỗi IP.

backend = auto

Chỉ định backend nào sẽ được sử dụng để monitor log. Các lựa chọn có thể là pyinotify, gamin, polling, systemd và auto.

usedns = warn

Chỉ định có sử dụng dns để cấm hay không. Khi một DNS match với rule, fail2ban sẽ thực hiện một thao tác lookup để tìm source IP của DNS đó.

  • yes: nếu một hostname được bắt gặp, một request DNS lookup được thực hiện.
  • warn: nếu một hostname được bắt gặp, một request DNS lookup được thực hiện, ghi xuống log là warning.
  • no: nếu một hostname được bắt gặp, nó sẽ không được sử dụng để cấm, nhưng vẫn log xuống dưới dạng info.
  • raw: Sử dụng địa chỉ IP trong raw log, không thực hiện DNS lookup.

logencoding = auto

Loại encode mà các file log sử dụng. Config thông số này sẽ giúp fail2ban đọc được log của các ứng dụng để process.

enabled = false

Có kích hoạt jail hay không. Mặc định jail sẽ không kích hoạt, người sử dụng sau khi cài đặt và cấu hình các chi tiết liên quan sẽ thay đổi thông số này để kích hoạt fail2ban.

mode = normal
filter = %(name)s[mode=%(mode)s]

Định nghĩa mode và filter. Người dùng có thể định nghĩa nhiều mode với từng ứng dụng khác nhau.

sender = root@fq-hostname
destemail = root@localhost
mta = sendmail

Địa chỉ mà fail2ban sử dụng để gửi cùng địa chỉ nhận email thông báo. MTA là engine mà fail2ban sử dụng để gửi email.

protocol = tcp

Protocal sử dụng

chain = known/chain

Chỉ định chain được sử dụng để thêm rule. Fail2ban sử dụng iptables hoặc nftables để chặn các truy cập tới server.

port = 0:65535

Danh sách port có thể cấm. Người sử dụng có thể chỉ định một range port có thể cấm, range còn lại sẽ nằm ngoài phạm vi.

fail2ban_agent = Fail2Ban/%(fail2ban_version)s

Format của user agent. Tham khảo thêm tại https://tools.ietf.org/html/rfc7231#section-5.5.3

banaction = iptables-multiport
banaction_allports = iptables-allports

Chỉ định cách thực hiện hành động cấm. Mặc định sẽ sử dụng iptables

action_ = %(banaction)s[port="%(port)s", protocol="%(protocol)s", chain="%(chain)s"]

Chỉ định hành động cấm. Chỉ cấm.

action_mw = %(action_)s
%(mta)s-whois[sender="%(sender)s", dest="%(destemail)s", protocol="%(protocol)s", chain="%(chain)s"]

Chỉ định hành động cấm. Cấm và gửi email thông báo cấm tới destemail

action_xarf = %(action_)s
xarf-login-attack[service=%(name)s, sender="%(sender)s", logpath="%(logpath)s", port="%(port)s"]

Chỉ định hành động cấm. Cấm và gửi email thông báo cấm tới destemail kèm các dòng log liên quan.

action_cf_mwl = cloudflare[cfuser="%(cfemail)s", cftoken="%(cfapikey)s"]
%(mta)s-whois-lines[sender="%(sender)s", dest="%(destemail)s", logpath="%(logpath)s", chain="%(chain)s"]

Chỉ định hành động cấm trên cloudflare và gửi email tới những người nhận và các dòng log liên quan.

action_blocklist_de = blocklist_de[email="%(sender)s", service="%(name)s", apikey="%(blocklist_de_apikey)s", agent="%(fail2ban_agent)s"]
action_abuseipdb = abuseipdb

Gửi danh sách block tới fail2ban để các lập trình viên của họ phân tích.

action = %(action_)s

Chọn default action của fail2ban. Giá trị này được overwrite bởi các giá trị action_ đã đề cập bên trên.

Cấu hình action.d

Các action của fail2ban quy định nó làm gì khi match 1 rule. Ở đây ta sẽ xét 2 tính năng quan trọng nhất là chặn và cảnh báo, thông qua nftables và mail. Các action khác không đề cập.

type = multiport

Xác định match type nào để thực hiện.

rule_match-custom =

Nếu config type là custom, sử dụng config này để cấu hình rule custom đó.

rule_match-allports = meta l4proto { <protocol> }

Nếu config type là custom, sử dụng config này để cấu hình rule custom đó.

rule_match-multiport = $proto dport { $(echo '<port>' | sed s/:/-/g) }

Nếu config type là multiport, sử dụng config này để cấu hình rule custom đó.

match = <rule_match-<type>>

Phân giải rule dựa trên type

rule_stat = %(match)s <addr_family> saddr @<addr_set> <blocktype>

Một rule hoàn chỉnh để fail2ban cung cấp cho nftables nhập vào các chain.

_nft_for_proto-multiport-iter = for proto in $(echo '<protocol>' | sed 's/,/ /g'); do

Chỉ định lệnh shell lặp lại cho các giao thức trong ngữ cảnh nftables. Nghĩa là nó sẽ loop theo các protocol đã được config. 

#Example: 
protocol = tcp, udp

# Rule will final to this
for proto in tcp udp; do
  # Commands inside the loop will execute for:
  # proto = "tcp" in the first iteration
  # proto = "udp" in the second iteration
done

_nft_list = <nftables> -a list chain <table_family> <table> <chain>

Câu lệnh để list all rule trong một chain

_nft_get_handle_id = grep -oP '@<addr_set>\s+.*\s+\Khandle\s+(\d+)$'

Câu lệnh dùng để tìm và trích xuất handle từ chuỗi đầu vào.

_nft_add_set =

Thêm một tập địa chỉ vào nftables

_nft_del_set =

Xóa các rule và tập địa chỉ set trong nftables

_nft_shutdown_table =

Câu lệnh xóa table trong nftables khi shutdown fail2ban

actionstart =

Chỉ định chuỗi hành động khi start service

actionflush =

Chỉ định chuỗi hành động xóa các chỉ mục trong tập địa chỉ

actionstop =

Chỉ định chuỗi hành động dừng cấu hình Fail2ban

actioncheck =

Chỉ định chuỗi hành động kiểm tra các rule trong chain

actionban =

Chỉ định chuỗi hành động thêm một rule cấm vào nftables

actionunban =

Chỉ định chuỗi hành động xóa một rule (unban) trong chain

[Init]

Các cấu hình trong phần này quy định các thiết đặt để tạo table, chain, family của nftables.

  1. Fail2Ban. How to install fail2ban packages. 2023. URL: https://github.com/fail2ban/fail2ban/wiki/How-to-install-fail2ban-packages (visited on 2024-11-01). ↩↩

  2. Webdock. How to configure fail2ban for common services. 2023. URL: https://webdock.io/en/docs/how-guides/security-guides/how-configure-fail2ban-common-services (visited on 2024-11-01). ↩↩

Thiết kế ứng dụng Google Apps Script CICD từ Github

Giới thiệu về Google Apps Script

[Phần giới thiệu tạo từ ChatGPT]

Google Apps Script là một nền tảng phát triển mã nguồn miễn phí do Google cung cấp, cho phép người dùng tạo các ứng dụng tùy chỉnh và tự động hóa các tác vụ trong các dịch vụ của Google như Google Sheets, Google Docs, Google Drive, Gmail, và nhiều hơn nữa.

  1. Một số đặc điểm chính của Google Apps Script:

    • Ngôn ngữ: Google Apps Script sử dụng JavaScript, rất thân thiện cho những người đã quen thuộc với ngôn ngữ này.
    • Tích hợp sẵn với dịch vụ Google: Apps Script có các API tích hợp sẵn, giúp dễ dàng truy cập và thao tác với dữ liệu trong các ứng dụng Google Workspace, như tạo email tự động với Gmail, xử lý dữ liệu trong Google Sheets, hoặc quản lý tập tin trong Google Drive.
    • Khả năng tự động hóa: Người dùng có thể lên lịch các tác vụ tự động bằng cách sử dụng trình kích hoạt (trigger), chẳng hạn như tự động gửi báo cáo hàng ngày qua email hoặc cập nhật dữ liệu vào Google Sheets hàng tuần.
    • Giao diện xây dựng web: Apps Script hỗ trợ xây dựng giao diện người dùng (UI) bằng HTML, CSS và JavaScript. Điều này giúp tạo ra các ứng dụng web đơn giản và tùy chỉnh giao diện người dùng cho các tác vụ phức tạp.
    • Triển khai dễ dàng: Google Apps Script cho phép triển khai các dự án thành ứng dụng web, tiện ích bổ sung (add-ons) cho Google Workspace, hoặc API web để tích hợp với các dịch vụ khác.

  2. Một số ứng dụng của Google Apps Script:

    • Quản lý dữ liệu: Tự động cập nhật dữ liệu giữa Google Sheets, Google Forms và Google Drive.
    • Gửi email tự động: Tạo các quy trình gửi email theo điều kiện trong Gmail.
    • Xây dựng các tiện ích bổ sung cho Google Workspace: Tạo add-ons giúp mở rộng tính năng của Google Sheets, Google Docs và các ứng dụng khác.
    • Tích hợp bên ngoài: Kết nối với các API bên ngoài để tích hợp với các dịch vụ khác, như Slack, Trello, hoặc các ứng dụng CRM.

Tạo một ứng dụng Apps Script

Chúng ta sẽ làm gì?

Tạo một ứng dụng Google Form hỗ trợ quyên góp/mượn/trả sách cho thư viện.

  • Người dùng quyên góp sách nhập thông tin sách vào form. Kết quả được thêm vào danh mục sách trong thư viện. Một email được gửi tới người quyên góp sách nhằm cảm ơn đóng góp, đồng thời thông tin người đóng góp được thêm vào danh sách để vinh danh.

  • Người dùng mượn sách lấy sách từ thư viện, nhập thông tin vào form. Kết quả là số lượng của đầu sách đó trong danh mục giảm đi. Một dòng nhật ký thể hiện thông tin về người mượn, đầu sách, thời gian mượn được ghi vào bảng. Từ thời gian mượn đếm ngược tới khi hết 14 ngày, một email tự động nhắc nhở việc trả sách được gửi cho người mượn.

  • Người dùng trả sách trả sách về thư viện, nhập thông tin vào form. Kết quả số lượng của đầu sách đó trong danh mục tăng lên. Dòng nhật ký thể hiện thông tin mượn sách được cập nhật ngày trả. Một email cảm ơn được gửi tới người vừa trả sách, đính kèm danh mục sách còn trong thư viện để người dùng đó có thể sẵn sàng tra cứu.

Tạo Google Form

Để đáp ứng các yêu cầu được đặt ra tại phần đặt vấn đề, ta cần tạo một Google Form đơn giản. Hình bên minh họa form vừa được tạo

example-form

Sau khi đã có thông tin cơ bản về form, tại góc trên bên phải, ta mở trình tạo script để bắt đầu tạo ứng dụng.

open-script-editor

Thử những dòng code đơn giản

Trong giao diện appscript, ta nhập vào code của mình và nhấn Run để chạy thử code. Đoạn code mẫu dưới đây nhận vào thông tin được nhập trong form và in nó ra. Form ID chính là dòng chuỗi ký tự nằm trên link của form https://docs.google.com/forms/d/your-google-form-id-in-edit-version/edit 

function onFormSubmitTrigger() {
  var form = FormApp.openById("your-google-form-id-in-edit-version");
  var formResponses = form.getResponses();
  var formResponse = formResponses[formResponses.length - 1];
  var itemResponses = formResponse.getItemResponses();

    for (var j = 0; j < itemResponses.length; j++) {
        var itemResponse = itemResponses[j];
        console.info(itemResponse.getResponse())

    }

}

Kết quả như hình nghĩa là script đã hoạt động

test-script

Setup CICD

Tại phần này, ta sử dụng Github Action để trigger hành động push lên branch và chạy runtime. Runtime là script clasp, xác thực với Google và push code lên Script đã chỉ định

Install clasp

  • Install NodeJS

  • Install clasp 

    npm install @google/clasp -g

  • Sau khi cài đặt thành công, tiến hành login vào clasp 

    clasp login

  • Một web popup được mở lên, ta login vào bằng tài khoản Google, cho phép tất cả quyền với clasp. Sau khi có thông báo Logged in! You may close this page. Ta tắt trình duyệt. Clasp secret được lưu tại /home/your-user/.clasprc.json. Nội dung file có dạng: 

    {"token":{"access_token":"ya29.a0AeDClZDSqUjpogftPSUV2YEbqcmdzm583fr3Rd_JoURVY7fQ0175","refresh_token":"1//0gXg54AF-AkdBCgYIARAAGBASNwF-L9IrB_UcEiO2xoywoMncHEQX31g9X0uKyVTAOMoxVwcgpyNeuBoiCtqz-jB2NPr96QSy0nU","scope":"https://www.googleapis.com/auth/logging.read https://www.googleapis.com/auth/drive.metadata.readonly https://www.googleapis.com/auth/script.projects https://www.googleapis.com/auth/script.webapp.deploy https://www.googleapis.com/auth/userinfo.email openid https://www.googleapis.com/auth/drive.file https://www.googleapis.com/auth/service.management https://www.googleapis.com/auth/script.deployments https://www.googleapis.com/auth/userinfo.profile https://www.googleapis.com/auth/cloud-platform","token_type":"Bearer","id_token":"eyJhbGciOjE3MzAzOTIzMTZ9.i06D7jynHSvjAKRaMucEK3vQYF7aRRHy9H_8zp5uglcnKecMdXbyqL1x334UXx2vggEutNvzAdFUr9M8ec6y9LWcNCJx8l8tHgakMA-0hpp-bp3wBx4Gzac-H-8DSo7wTw3E9XEBDTYZBe1kPqiN0ivVqzfQ6PusaGvsuuY8n0dVvNC559EFkyGfklE_xIxKNJbUBem9NednIfkkfKbuA-eURN16BE86cdO8MBE99pCrdy2w7eYO0s8wd-Xl46OhQKm4TRFz5ZGf06NdkC_SQtHwphurxKCYVuECjon7iVXLpjpKmdHAS6jyYl78qd6bTVloonLA9kl4o_HCjcbOyQ","expiry_date":1730392315187},"oauth2ClientSettings":{"clientId":"1072944n0.apps.googleusercontent.com","clientSecret":"v6V3fKV_zWU7iw1DrpO1rknX","redirectUri":"http://localhost"},"isLocalCreds":false}
    Ta lưu thông tin này và add vào github Action

Thao tác trên App Script

Để có thể clasp làm việc với appscirpt, source code của chúng ta cần có các file config.

Đầu tiên là appscript.json, đây là một file cài đặt của project, nó quy định runtime, dependencies... Ta có thể dễ dàng kiểm tra nó bằng cách

  • Trên giao diện Apps Script, tại thanh công cụ bên trái, chọn biểu tượng cài đặt, vào Project Settings.

  • Tại giao diện cài đặt, phần Genral settings, chọn dấu tích vào ô bên trái của lưạ chọn Show "appsscript.json" manifest file in editor

  • Quay trở lại giao diện Editor, ta sẽ thấy file appsscript.json, file có nội dung tương tự phía dưới.

{
    "timeZone": "Asia/Ho_Chi_Minh",
    "dependencies": {},
    "exceptionLogging": "STACKDRIVER",
    "runtimeVersion": "V8",
    "webapp": {
        "access": "ANYONE",
        "executeAs": "USER_DEPLOYING"
    }
  }

Thứ hai là file .clasp.json, file này chỉ dấu project nào, script nào bạn muốn thao tác. File này có thể tạo ra bằng các câu lệnh của clasp. Ở đây mình đưa ra file mình đã sử dụng

{
    "scriptId": "your-script-id",
    "rootDir": ".",
    "projectId": "your-project-id",
    "fileExtension": ["js","html"]
}

Các thông tin scriptID và projectID có thể lấy tạị giao diện cài đặt. Nếu là script mới, thông số Project Number sẽ không có. Bạn cần tạo một project và change project ID cho script đó.

script-id-project-id

Ngoài việc hard code project ID và script ID ở code, bạn có thể sử dụng github variables và script để parse thông tin đó vào file .clasp.json. Ở đây mình không sử dụng variables đó.

Có một thông tin cần nữa là Deployment ID. Sau khi deploy script, bạn lưu lại nó để sử dụng sau. Thông tin này lấy được bằng cách

  • Tại giao diện chính của Apps Script, phía trên bên phải, chọn Deploy

  • Tại pop-up deploy, chọn Manage deployments

  • Lựa chọn deployments cần quản lý, copy và lưu lại thông tin Deployment ID

Thao tác trên github

  • Sử dụng Github Action, ta tạo các secrets

    • CLASPRC_JSON: Là chuỗi được lấy từ clasp ở trên
    • REPO_ACCESS_TOKEN: Là chuỗi access token của tài khoản github
    • DEPLOYMENT_ID: đã được nhắc tới ở trên.

  • Project structure như sau 

    .github
└── workflows
    └── cicd.yml
config
├── .clasp.json
└── appsscript.json
src
├── app1.js
...
└── appn.js

Các file .clasp.json và appsscript.json ta đã có ở trên. Các file trong thư mục src chứa source code của project. File cicd.yml như dưới đây

name: CI/CD
on:
  workflow_dispatch:
  push:
    branches: ["main"]
  schedule:
    - cron: "0 1 * * *"

permissions:
  contents: read
  pages: write
  id-token: write

concurrency:
  group: "pages"
  cancel-in-progress: false   

jobs:
  apps_script_deploy:
    runs-on: ubuntu-latest
    environment: production
    steps:
      - name: Install clasp
        id: install-clasp
        run: sudo npm install -g @google/clasp

      - name: Write CLASPRC_JSON secret to .clasprc.json file
        id: write-clasprc
        run: echo "$CLASPRC_JSON_SECRET" > ~/.clasprc.json
        env:
          CLASPRC_JSON_SECRET: ${{ secrets.CLASPRC_JSON }}

      - name: Check clasp login status
        id: clasp_login
        run: clasp login --status 

      - name: Save current .clasprc.json contents to CLASPRC_JSON_FILE environment variable
        id: save-clasprc
        run: |
          echo ::add-mask::$(tr -d '\n\r' < ~/.clasprc.json)
          echo "CLASPRC_JSON_FILE=$(tr -d '\n\r' < ~/.clasprc.json)" >> $GITHUB_ENV        

      - name: Save CLASPRC_JSON_FILE environment variable to CLASPRC_JSON repo secret
        id: set-clasprc-secret
        if: ${{ env.CLASPRC_JSON_FILE != env.CLASPRC_JSON_SECRET  }}
        uses: hmanzur/[email protected]
        env:
          CLASPRC_JSON_SECRET: ${{ secrets.CLASPRC_JSON }}
        with:
          name: "CLASPRC_JSON"
          value: ${{ env.CLASPRC_JSON_FILE }}
          repository: ${{ github.repository }}
          token: ${{ secrets.REPO_ACCESS_TOKEN }}


      - name: Checkout repo
        id: checkout-repo
        if: ${{github.event_name    != 'schedule' }}
        uses: actions/checkout@v2


      - name: set environtment
        id: set-env
        if: ${{github.event_name    != 'schedule' }}
        run: rsync -auvh --delete config/.clasp.json config/appsscript.json src/

      - name: debug location of directory
        if: ${{github.event_name    != 'schedule' }}
        run: |
          pwd
          ls -lah

      - name: Push script to scripts.google.com
        id: clasp-push
        if: ${{ github.event_name   != 'schedule'}}
        run: cd src && clasp push -f

      - name: Deploy Script
        id: clasp-deploy
        if: ${{github.event_name    != 'schedule' }}
        run: cd src/ && clasp deploy -i "$DEPLOYMENT_ID" -d "$GITHUB_REF"
        env:
          DEPLOYMENT_ID: ${{ secrets.DEPLOYMENT_ID }}

      - name: remove .clasprc.json credential file
        run: rm -rf ~/.clasprc.json

Như vậy, sau khi chúng ta push code lên branch main, clasp sẽ sử dụng REPO_ACCESS_TOKEN để truy cập vào repository, sử dụng CLASPRC_JSON để login vào google, push code lên scriptID được cấu hình sẵn, tạo một deployments mới thay cho DeploymentID cũ.

  • in Technical
  • 14 min read

Từ iptables tới nftables

nftables là một dự án phát triển sau với mục đích thay thế {ip,ip6,arp,eb}tables. Nó cung cấp một khuôn khổ phân loại gói tin mới dựa trên network-specific Virtual Machine và một command line tool mới. Nó có sẵn trên Linux Kernel kể từ phiên bản 3.13. Hầu hết các system admin đã quen với việc dùng iptables, bài này sẽ đưa ra các so sánh giữa iptables và nftables.

Lược sử iptables và nftables

Lược sử iptables và nftables

Cả iptables và nftables đều là những sản phẩm của dự án The Netfilter Project.

Netfilter được thành lập bởi Paul "Rusty" Russell, là một lập trình viên người Úc. Rusty đã kêu gọi nhằm thiết kế và cải thiện lại ipchains và ipfwadm trên những phiên bản Linux 2.0.x.

Các hoạt động đóng góp vào các ứng dụng sơ khởi trên Linux vẫn xảy ra, nhưng ít người có thể duy trì nó một cách lâu dài. Rusty là người kiên trì nhất và đã giữ vững các đóng góp của mình trong top đầu contributions. Điều này làm Marc Boucher chú ý và hai người đã thành lập dự án này. Hai người đã đóng góp nhiều công sức và viết ra một số modules như iptable_{filter,nat,mangle}. Sau đó, những contributions tốt được James Morris đóng góp, thứ hạng ngay dưới Rusty. Morris là core team member thứ 3 của project. Cả ba người đã làm việc và phát hành Netfilter là một phần của Linux Kernel 2.4. Có nhiều thay đổi trong thời gian này, nhiều cộng đồng đã thành lập và giải tán. Nhiều người đã đóng góp vào project, Harald Welte là một người trẻ đã xử lý những hỗn độn trong NAT code.

Vào tháng 11 năm 2001, development workshop đầu tiên của netfilter được tổ chức. Kể từ đó, nhiều lần workshop được tổ chức hơn và có thêm các core member với những đóng góp rất tích cực. Tại lần thứ 2, họ đã quyết định rằng sẽ bầu một người làm chủ tịch, người đó sẽ đưa ra quyết định cuối cùng cho mọi chuyện. Những thành viên không còn đóng góp trong thời gian dài sẽ là thành viên danh dự.

Pablo Neira Ayuso trở thành co-maintainer từ 2011, và tại workshop 2013, anh chính thức được bầu làm người đứng đầu trong nhóm core team.

Note

Mặc dù nftables có những cải tiến trong việc quản lý dòng lệnh bằng command line interface, song đối với những hệ thống lớn, việc system admin gõ từng lệnh để cấu hình rule là không nhiều. Các rule chủ yếu sẽ được viết theo mẫu trên các file sau đó import cấu hình vào. Vậy nên bài viết sẽ nhấn mạnh các yếu tố sử dụng file config.

Info

Các câu lệnh và hình chụp được thực hiện trên lab, OS Rocky Linux 9.4

Chuyển config từ iptables sang nftables

Do cùng thuộc một project, với vai trò đi sau, nftables đương nhiên phải hỗ trợ chuyển đổi từ iptables sang nó. Rule cũ từ iptables có thể dễ dàng chuyển đổi sang nftables rule1 bằng câu lệnh iptables-translate. Ví dụ:

iptables-translate -A OUTPUT -s 10.10.10.24/32 -d 10.10.15.11/32,10.10.25.11/32 -p tcp -m tcp --dport 3306 -m state --state NEW,ESTABLISHED -j ACCEPT -m comment --comment "Allow call database"
sẽ có kết quả là 
nft 'add rule ip filter OUTPUT ip saddr 10.10.10.24 ip daddr 10.10.15.11 tcp dport 3306 ct state new,established counter accept comment "Allow call database"'
'add rule ip filter OUTPUT ip saddr 10.10.10.24 ip daddr 10.10.25.11 tcp dport 3306 ct state new,established counter accept comment "Allow call database"'
Tất nhiên, translate cũng hỗ trợ ruleset từ một file

iptables-restore-translate -f iptables > nf-rules.txt

Ngoài ra còn một số câu lệnh khác được hỗ trợ, sẽ không đề cập thêm ở đây do tác giả thấy không cần thiết.

Warning

Sau khi kiểm thử, nhận thấy rằng các rule được translate có thể không hoạt động giống cách mà chúng hoạt động ở iptables. Kiểm tra lại các rule trước khi active chúng vì nó sẽ drop connection. Hãy cẩn thận nếu không bạn sẽ rơi vào tình trạng tự cắn lưỡi do drop ssh connection.

Phương pháp cấu hình

Bằng kinh nghiệm cá nhân, như đã đề cập ở trên, tôi thấy phần lớn sẽ tập trung rule trong một hoặc một số file, mỗi khi cần thêm/xóa rule, system admin thêm/xóa rule trong các file này. Sau đó restart iptables hoặc dùng chuỗi các dòng lệnh nhằm xóa tất cả rule hiện hữu, thêm toàn bộ rule mới, commit cấu hình hiện tại.

Sau khi tham khảo một số phương pháp cấu hình iptables2 và so sánh với phương pháp cấu hình của bản thân, nhận thấy các phương pháp cấu hình không hỗ trợ nhiều file rule. Hoặc các rule sẽ được viết hết vào 1 file, hoặc sẽ dùng script để load nhiều file rule. Như vậy, ưu điểm của nftables đã rõ ràng hơn khi nó có hỗ trợ nhiều file config thông qua config include.

Bắt đầu cấu hình với nftables

Sau khi cài đặt (hoặc start service đối với các server có sẵn), ta có thông tin của file nftables.service

thong-tin-service

Kiểm tra nội dung file, ta thấy khi start hoặc reload, nftables sẽ flush ruleset và load toàn bộ rule từ file /etc/sysconfig/nftables.conf.

tchi-tiet-service

Sau khi theo dõi file config của file /etc/sysconfig/nftables.conf, nhận thấy nó sẽ include tới các file trong /etc/nftables. Cụ thể là main.nft. Trong main.nft, ta lại thấy nó include các file khác trong thư mục.

Best Practice

Như vậy, best practice có khả năng là:

  • Uncomment dòng include trong file /etc/sysconfig/nftables.conf để nó yêu cầu rule set từ /etc/nftables/main.nft
  • Backup và tạo mới file /etc/nftables/main.nft, trong file này include tới các file config rule chi tiết.
  • Tạo thư mục /etc/nftables/conf.d/ và chứa tất cả các file rule chi tiết. Khai báo từng file trong /etc/nftables/main.nft.

Tiến hành thử nghiệm

Ta sẽ tiến hành cấu hình với những rule cơ bản

  • Chỉ mở kết nối SSH từ một source IP tới server
  • Cho phép ping tới server
  • Established connections được cho phép ở cả hai chain INPUT và OUTPUT
  • Allow traffic loopback và forward
  • DROP các connection khác trên chain INPUT và OUTPUT.

Theo như best practice đã đề cập ở phần trên. ta cấu hình như sau

/etc/sysconfig/nftables.conf
# Uncomment the include statement here to load the default config sample
# in /etc/nftables for nftables service.

include "/etc/nftables/main.nft"

# To customize, either edit the samples in /etc/nftables, append further
# commands to the end of this file or overwrite it after first service
# start by calling: 'nft list ruleset >/etc/sysconfig/nftables.conf'.
/etc/nftables/main.nft
include "/etc/nftables/conf.d/ssh.nft"
/etc/nftables/conf.d/ssh.nft
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
add table ip connection

add chain ip connection INPUT { type filter hook input priority 0; policy drop; }
add chain ip connection FORWARD { type filter hook forward priority 0; policy accept; }
add chain ip connection OUTPUT { type filter hook output priority 0; policy drop; }

add rule ip connection INPUT ip saddr 10.30.90.40 ip daddr 10.20.90.30 tcp dport 22 ct state new,established counter accept comment "Allow ssh connection from my server" # (1)
add rule ip connection INPUT iifname "lo" counter accept
add rule ip connection INPUT icmp type echo-request counter accept
add rule ip connection INPUT icmp type echo-reply counter accept
add rule ip connection INPUT ct state established counter accept
add rule ip connection INPUT counter drop
add rule ip connection FORWARD counter accept
add rule ip connection OUTPUT oifname "lo" counter accept
add rule ip connection OUTPUT ct state established counter accept
add rule ip connection OUTPUT counter drop
  1. Rule allow ssh from in comming. Because all established accepted, so we don't need create same rule for chain OUTPUT. If you do not have established rule, you must be create one more rule for OUTPUT chain.

Để các rule hoạt động, ta restart nftable bằng câu lệnh systemctl restart nftables. Kiểm tra lại danh sách rule, nft list ruleset, kết quả như sau

table ip connection {
    chain INPUT {
        type filter hook input priority filter; policy drop;
        ip saddr 10.30.90.40 ip daddr 10.20.90.30 tcp dport 22 ct state established,new counter packets 993 bytes 77572 accept comment "Allow ssh connection from my server"
        iifname "lo" counter packets 0 bytes 0 accept
        icmp type echo-request counter packets 0 bytes 0 accept
        icmp type echo-reply counter packets 0 bytes 0 accept
        ct state established counter packets 0 bytes 0 accept
        counter packets 108 bytes 6894 drop
    }

    chain FORWARD {
        type filter hook forward priority filter; policy accept;
        counter packets 0 bytes 0 accept
    }

    chain OUTPUT {
        type filter hook output priority filter; policy drop;
        oifname "lo" counter packets 0 bytes 0 accept
        ct state established counter packets 745 bytes 163284 accept
        counter packets 360 bytes 58317 drop
    }
}

Kiểm tra lại thấy ssh đã vào được server, nhưng các connection tới nginx, httpd đã không còn hoạt động.

Inside the blind box

Lược dịch từ bài viết của Andrej Stender3 và thêm vào các chi tiết của tôi

Netfilter

Netfilter là một framework trong linux kernel. Nó cung cấp các hooks cho phép các packages trong mạng đi qua và xử lý chúng khi các packages này đi qua kernel. Các thành phần khác của kernel có thể đăng ký hàm call back với các hooks này, cho phép chúng kiểm tra các gói tin và tiến hành drop, accept gói tin trong kernel.

flowchart LR
  A(net_device) --> B[Prerouting];
  B --> C{ Routing };
  C --> D[Input];
  C --> E[Forward];
  D --> F(Local Process);
  F --> G(Routing);
  G --> H[Output];
  H --> I[Postrouting];
  I --> Z(net_device);
  E --> I;

Một gói tin nhận được từ network device đầu tiên đi qua Prerouting hook. Định tuyến quyết định chuyện gì sẽ xảy ra và kernel xác định gói tin này có được đưa vào một local process (chuyển tới một port đang listen trên server) hay forward nó tới Postrouting (trường hợp hệ thống hoạt động như router).

Trong trường hợp đầu tiên, gói tin chuyển tới Input hook và đi vào local process. Local process xử lý các tác vụ của chương trình và tạo ra một gói tin (server trả lời message của client) và gửi chúng tới Output hook, đi tới Postrouting hook, cuối cùng gửi ra ngoài thông qua một network device.

Trong trường hợp thứ hai, gói tin chuyển qua Forward hook và đi tới Postrouting hook, cuối cùng gửi ra ngoài thông qua một network device.

Netfilter hook là một tập các hook functions được sắp xếp theo thứ tự ưu tiên. Đối với mỗi gói tin mạng đi qua hook , các hook functions sẽ được gọi lần lượt theo thứ tự mà chúng có trong mảng hook (thứ tự được xác định bởi độ ưu tiên).

nf-hook-flow

Mỗi hook function được yêu cầu trả về một giá trị cho Netfilter, Có một vài giá trị trả về nhưng chỉ có hai giá trị liên quan là NF_ACCEPT và NF_DROP. NF_ACCEPT nói với Netfilter rằng nó "cho phép" gói tin đó, tới trạm của hook function tiếp theo (nếu tồn tại). Nếu tất cả các hook function đều trả về NF_ACCEPT, gói tin sẽ đi tiếp quá trình của nó trong kernel network stack. Ngược lại, gói tin sẽ bị "dropped" và nó sẽ không còn di chuyển tới hook function tiếp theo.

Iptables

Iptables tổ chức các rules của nó vào các tables và chains. Các tables đơn giản được hiểu là các group để gom các chains có điểm chung lại với nhau. Các rules thật sự nằm trong các chain. Iptables đăng ký các chains này với Netfilter hook như là các hook function. Nghĩa là khi các gói tin đi qua một hook (Prerouting, Input) thì sẽ đi qua các hook function được đăng ký với chúng, và do đó, đi qua các rule được quy định.

Iptables, có một tập hợp các tables đã đã được tạo trước, mỗi tables có một số chains đã được định sẵn. Các chains được đặt tên giống như tên của các hook của Netfilter.

table contains chains
filter INPUT, FORWARD,OUTPUT
nat PREROUTING,INPUT, OUTPUT,POSTROUTING
mangle PREROUTING,INPUT, FORWARD,OUTPUT,POSTROUTING
raw PREROUTING,OUTPUT

Các tables và các chain mặc định này có thể dễ dàng thấy được khi ta cấu hình các rule, và sau đó sử dụng câu lệnh iptables-save để lưu các rule đó vào file. Hình dưới cho thấy, mặc dù trên hệ thống của mình không setup các rule ở các tables mangle, raw thì khi save các rule, iptables vẫn nhận diện các rule mặc định để lưu vào file.

iptables-default-tables

Do các chains trong iptables được đặt tên giống với các hook name trong Netfilter, ta dễ dàng biết được các chain đó sẽ được đưa vào hook nào trong Netfilter flow. Hình dưới mô tả flow gói tin sẽ đi qua tập chác chain của iptables đã đăng ký với Netfilter hook. Có thể thấy rõ chains nào của iptables sẽ được gọi trước, cái nào được gọi sau (thông qua chỉ số ưu tiên màu đỏ, nhỏ hơn thì được gọi trước).

nf-hook-iptables

Như vậy, iptables có các chain tương tác với tất cả các hook trong Netfilter. Và do iptables có pre-defined tables và chains, các rule mặc định sẽ luôn được gọi ở các hook function bất kể việc chúng ta có định nghĩa chúng hay không. Hai điểm này là điểm khác biệt lớn và là ý tưởng để tạo nên nftables sau này.

nftables

Nhìn chung, cách mà nftables tổ chức các rules, chains và tables giống như iptables. Các tables tiếp tục chứa các chains và các chains mang rules. Tuy nhiên, như đã đề cập ở phần trên, người dùng phải định nghĩa toàn bộ các tables và chains một cách rõ ràng. Người dùng đặt tên cho các tables và chains khi tạo chúng.

NFtables chia các chains thành hai loại:

  • Base-chains sẽ được đăng ký với Netfilter như là một hook function đã đề cập ở trên và người dùng cần chỉ định hook đó khi tạo chains. Người dùng không bị bắt buộc tạo chains name giống với name của Netfilter hook mà chúng được đăng ký. Điều này vừa thuận lợi nhưng cũng đồng thời gây ra một số nhầm lần
  • Regular chains không được đăng ký với bất kỳ hook nào.

Không giống như iptables phải chia ra nhiều userspace tool để hỗ trợ các thành phần khác nhau (ipv4, ipv6), nftables sử dụng một concept mới gọi là Address Families. Khi người dùng tạo table, sẽ cần phải chỉ định nó được tạo trong Address Families nào. Các Address Families được map với các hook theo danh sách bên dưới.

  • ip: maps to IPv4 protocol hooks / NFPROTO_IPV4 (default)
  • ip6: maps to IPv6 protocol hooks / NFPROTO_IPV6
  • inet: maps to both IPv4 and IPv6 protocol hooks
  • arp: maps to ARP protocol hooks / NFPROTO_ARP
  • bridge: maps to bridging hooks / NFPROTO_BRIDGE
  • netdev: maps to ingress hook / NFPROTO_NETDEV

Ví dụ sau nghĩa là, bạn tạo một table mới tên foo, trong Address Families ip, sau đó tạo một base-chains tên là bar trong table foo, đăng ký nó với Netfilter hook input, chỉ định số ưu tiên là 0

nft create table ip foo
nft create chain ip foo bar {type filter hook input priority 0\;}

Ruleset best practice

Do đã quen thuộc với cách đặt tên các table và chain ở iptables giống với các hook ở Netfilter, mặc dù nftable không bắt buộc, ta cũng nên đặt tên table và chain như vậy để dễ quản lý và vận hành trong quá trình chuyển tiếp.

add table inet filter

# Base chain
add chain inet filter INPUT { type filter hook input priority 0; policy drop; }
add chain inet filter FORWARD { type filter hook forward priority 0; policy accept; }
add chain inet filter OUTPUT { type filter hook output priority 0; policy drop; }

# Regular chain
add rule inet filter INPUT iifname "lo" counter accept comment "Allow connection on loopback interface"
add rule inet filter INPUT icmp type echo-request counter accept comment "Allow ping to server"
add rule inet filter INPUT icmp type echo-reply counter accept comment "Allow reply ping package"
add rule inet filter INPUT ip saddr 10.30.90.40 ip daddr 10.30.90.40 counter accept
add rule inet filter INPUT ct state established counter accept comment "Allow reply package on input chain"
add rule inet filter INPUT ip saddr 10.30.80.40 ip daddr 10.30.90.40 tcp dport 22 ct state new,established counter accept comment "Allow ssh from my admin server"
add rule inet filter INPUT counter drop comment "Drop other input connection"

add rule inet filter OUTPUT oifname "lo" counter accept comment "Allow connection on loopback interface"
add rule inet filter OUTPUT ct state established counter accept comment "Allow reply package"
add rule inet filter OUTPUT counter drop comment "Drop other output connection"

Bên trên diễn dải danh sách rule được sử dụng với cùng yêu cầu thể hiện tại phần thực nghiệm

  1. nftables wiki. Moving from iptables to nftables. 2021. URL: https://wiki.nftables.org/wiki-nftables/index.php/Moving_from_iptables_to_nftables (visited on 2024-10-03). ↩

  2. SERVER FAULT. Insert multiple iptables rules in critical situations. 2019. URL: https://serverfault.com/questions/980343/insert-multiple-iptables-rules-in-critical-situations (visited on 2024-10-03). ↩

  3. Andrej Stender. Nftables - packet flow and netfilter hooks in detail. 2022. URL: https://thermalcircle.de/doku.php?id=blog:linux:nftables_packet_flow_netfilter_hooks_detail (visited on 2024-10-14). ↩