containerlab을 사용하여 cilium + BGP 테스트 환경 만들기

containerlab이 이제 network 환경 구성을 도와주는 도구인것 같다. BGP 통신을 테스트 할 수 있는 환경을 구성해서 테스트 해보려고 하는데 mac 사용자들에게는 강추하는 orbstack을 사용하려고 한다.virtual box를 사용해서 더 쉽게 테스트 환경을 만들 수도 있지만.. 노트북의 성능 문제로 virtualbox를 2개 이상 실행하면 컴퓨터가 너무 느려지는 저같은 분들은 이렇게 테스트를 진행해보는걸 추천합니다. linux VM 생성하기orbstack을 사용하면 컨테이너 생성 뿐만 아니라 빠르게 vm 생성도 가능하다.ubuntu vm을 생성한다.orb create ubuntu linux 생성이 완료되었는지 확인해보겠다.orb list orbstack을 사용하는 리눅스 커널에선 TC..

• format_list_bulleted K8S/cilium
• · 2025. 8. 15.
• textsms

[발표영상정리] Better Bandwidth Management with eBPF

https://youtu.be/QTSS6ktK8hY?feature=shared 기존 쿠버네티스 대역폭 제한의 문제점쿠버네티스에는 파드 네트워크 대역폭 제한을 위한 기능이 있습니다.ingress / egress 어노테이션에 50Mbit/sec 같은 값을 넣으면 제한이 걸립니다.하지만 이 기능은 bandwidth meta plugin에서만 지원하며, 내부적으로 토큰 버킷 필터(Token Bucket Filter, TBF) 를 사용합니다.문제는 이 방식이 프로덕션 환경에서 확장성이 떨어진다는 점입니다. Pod 유입 속도를 제한하려면 호스트 veth의 유출 경로에 규칙을 설정해야 합니다.예를 들어, ingress 트래픽 제어 설정인 kubernetes.io/ingress-bandwidth="50M"의 경우 v..

• format_list_bulleted K8S/cilium
• · 2025. 8. 3.
• textsms

[발표영상정리] Turning up Performance to 11: Cilium, NetKit Devices, and Going Big with TCP

https://youtu.be/AVEBcZc0YsQ?feature=shared 이 발표에서는 쿠버네티스 환경에서 성능 병목을 제거하고, 최신 커널 기능과 Cilium의 혁신들을 통해 네트워킹 성능을 극한까지 끌어올린 과정을 소개했습니다.아래는 발표 내용을 토대로 정리한 주요 내용입니다.https://isovalent.com/blog/post/cilium-netkit-a-new-container-networking-paradigm-for-the-ai-era/ Cilium netkit: The Final Frontier in Container Networking PerformanceIn this blog post, we're looking at Cilium's support for netkit - a rev..

• format_list_bulleted K8S/cilium
• · 2025. 8. 2.
• textsms

cilium 1.18.0 달라진점 정리

1.18.0이 릴리즈 되었는데 좀 관심가는 변경점이 생겨서 정리해보려고 한다. iptablesRandomFully서로 다른 파드(네트워크 네임스페이스)에서 쿠버네티스 밖에 있는 동일한 목적지로 연결을 하면 내부적으로 연결에 필요한 튜플이 겹쳐서 충돌할 수 있습니다. 아무래도 외부로 나가는 과정에서 nat가 되는데 같은 포트를 사용하게 되면 충돌이 나게 되기 때문입니다. 커널이 출발지 포트를 자동으로 할당할 때, 커넥션을 만들기 전에는 어떤 포트가 사용중인지 알 수 없어서 비슷한 시기에 커넥션을 생성하면 동일한 포트를 사용하게 될 가능성이 있습니다. 특히 UDP나 short-lived TCP 요청에서 더 자주 발생한다고 합니다. 이번에 변경된건 --random-fully을 사용하게 되는건데 추가를 ..

• format_list_bulleted K8S/cilium
• · 2025. 8. 2.
• textsms

gce에 cilium native-routing으로 설치하기

gke에 옵션으로 cilium을 설치할 수 있는건 다들 해보셧을 거라 생각합니다. 하지만 gce에는..? native-routing이란 ..!! 간단하게 설명하면 파드의 아이피를 overlay네트워크를 사용하거나 nat해서 노드의 아이피로 변환하지 않고 그대로 라우팅을 하는 라우팅 방법입니다. 공식 문서를 보면 alias ip를 사용해서 GKE 뿐만 아니라 GCE에서도 가능한것 처럼 소개되어있는데 구체적으로 어떻게 하면 되는지 나와있지 않아 삽질을 엄청 하였고.. 결국 방법을 찾아냈는데 그 내용을 공유해볼까 합니다. https://docs.cilium.io/en/stable/network/concepts/routing/#google-cloud 참고로 이 글을 gce의 네트워크에 대해서는 잘 모르는 사람이..

• format_list_bulleted K8S/cilium
• · 2025. 2. 2.
• textsms

네트워크 패킷 추적 도구 - PWRU: Packet, Where Are You?

네트워크 문제를 해결하다 보면, 패킷이 어디로 갔는지, 왜 도착하지 않는지 알기 어려운 상황에 종종 직면하게 됩니다. tcpdump나 ngrep 같은 기존 도구들은 패킷 추적에 유용하지만, 복잡한 네트워크 환경에서는 한계가 있습니다. 바로 이때 등장하는 것이 pwru입니다. pwru란 무엇인가?pwru는 "Packet, Where Are You?"의 약자로, eBPF(extended Berkeley Packet Filter) 기술을 사용해 Linux 커널에서 패킷을 추적하는 도구입니다. eBPF는 커널의 동작을 세밀하게 분석할 수 있도록 해주며, 이를 통해 패킷이 이동하는 경로를 정확히 추적할 수 있습니다. 특히 pwru는 Cilium 프로젝트의 일환으로 개발되었기 때문에, 복잡한 네트워크 환경을 갖춘 ..

• format_list_bulleted K8S/cilium
• · 2024. 10. 21.
• textsms

Bonding 인터페이스에서 Cilium XDP 활성화 하기

네트워크 성능 최적화는 많은 엔지니어들에게 중요한 과제입니다. 특히, 고성능 네트워크 환경에서는 패킷 처리 속도를 높이고 지연 시간을 줄이는 것이 필수적입니다. 이 글에서는 XDP(eXpress Data Path)와 Bonding 인터페이스를 결합하여 네트워크 성능을 최대화하는 방법과 이를 실제로 설정하는 방법을 설명합니다. 이 글에서 다루지 않는것Bonding 설정의 기본: Bonding 인터페이스를 어떻게 설정하는지에 대한 기본적인 설명.XDP의 깊은 기술적 내용: XDP의 상세한 내부 동작 방식에 대한 설명. XDP란?XDP(eXpress Data Path)는 네트워크 패킷이 운영체제에 도달하기 전에 빠르게 처리할 수 있게 해주는 Linux 기능입니다. 이렇게 하면 네트워크 성능을 크게 높이고, 데..

• format_list_bulleted K8S/cilium
• · 2024. 10. 21.
• textsms

Maglev 알고리즘 사용해보기

이전 글에서 maglev가 어떻게 동작하는지 대충(?) 살펴봤는데 이젠 그럼 실제로 어떤지도 살펴보려고 한다.이전글 읽어보기2024.10.03 - [K8S/cilium] - Maglev: Google의 로드밸런싱 알고리즘 테스트용 클러스터 만들기클러스터 만들기kind gateway api crd 설치kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/gateway-api/v1.2.0/config/crd/standard/gateway.networking.k8s.io_gatewayclasses.yamlkubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/gateway-api/..

• format_list_bulleted K8S/cilium
• · 2024. 10. 18.
• textsms

Cilium ClusterMesh 구성해보기

멀티 클러스터 환경에서 다양하게 구성하는 경우가 많아서 이번에는 Cilium의 ClusterMesh를 이용하여 Mesh환경을 구성해보도록 하겠습니다.  클러스터 구성 전 주의사항설치 전 주의사항은 두개의 클러스터가 모두 같은 네트워크 모드를 사용해야합니다. 한쪽이 vxlan 캡슐화를 하는데 한쪽은 native routing을 사용하면 안됩니다.각 클러스터의 pod, service cidr은 겹치면 안됩니다. 모든 클러스터의 노드는 서로 IP 연결이 가능해야 하며, 이는 각 노드의 InternalIP를 사용하여 구성됩니다. 이 요구 사항은 일반적으로 클러스터 간 네트워크 피어링 또는 VPN 터널을 설정하여 충족됩니다.클러스터 간의 네트워크는 상호 통신을 허용해야 하며, 구체적인 포트는 방화벽 규칙(Fire..

• format_list_bulleted K8S/cilium
• · 2024. 10. 13.
• textsms

Kind에서 Cilium으로 외부 접근 LoadBalancer 설정하기

Cilium을 사용하는 경우, Orbstack과 함께 하면 LoadBalancer(LB)가 자동으로 생성되는 편리함이 있습니다. 별도의 설정이 필요 없다는 점이 좋긴 하지만, 여러 개의 LB를 생성해서 테스트할 때는 불편할 수 있습니다. 그래서 이번 기회에 Kind로 클러스터를 생성하고 테스트하는 방법을 정리하려고 합니다. Cilium은 공식적으로 Kind에 설치하는 방법을 제공하고 있지만, 기능이 워낙 다양하다 보니 기본 설정 외에는 구체적인 가이드를 찾기 어렵습니다. 공식문서를 참고해서 클러스터를 생성해보고 싶다면 아래의 링크를 참고하면 됩니다.https://docs.cilium.io/en/stable/installation/kind/  테스트 환경 구성 목표기본적으로 IPAM을 통해 대역을 설정하면..

• format_list_bulleted K8S/cilium
• · 2024. 10. 13.
• textsms

Maglev: Google의 로드밸런싱 알고리즘

Maglev는 Google에서 개발한 로드밸런싱 알고리즘으로, 백엔드 서버 간의 부하를 효율적으로 분산하는 역할을 합니다. 핵심 아이디어Maglev의 핵심 아이디어는 다음과 같습니다:소수 M 크기의 해시 테이블(슬롯)을 만든다.각 백엔드에 대해 “슬롯에 들어갈 순서”를 (offset, skip)으로 계산해시 테이블에 차례로 백엔드를 배정해 나가며, 슬롯이 이미 차 있으면 다음 순서로 건너뛴다. Maglev 동작 상세하게 살펴보기초기 설정 lb에 달려있는 백엔드가 이렇게 3개있고  이렇게 해시 테이블의 사이즈가 7일때  해시 알고리즘 2개를 이용해서 해시 테이블을 구성합니다.  오프셋 계산을 위한 해시 알고리즘 얼마만큼 건너뛸건지를 계산할 해시 알고리즘  이렇게 해서 다음과 같이 먼저 각각의 백엔드 값을 ..

• format_list_bulleted K8S/cilium
• · 2024. 10. 3.
• textsms

cilium의 메트릭 정보 켜보기

cilium 설치하기 cilium install --version 1.17.1 -n kube-system \ --set kubeProxyReplacement=true \ --set k8sServiceHost=${API_SERVER_IP} \ --set k8sServicePort=${API_SERVER_PORT} \ --set hubble.enabled=true \ --set hubble.relay.enabled=true \ --set hubble.ui.enabled=true \ --set prometheus.enabled=true \ --set operator.prometheus.enabled=true \ --set hubble.metrics.enableOpenMetrics=true \ ..

• format_list_bulleted K8S/cilium
• · 2024. 10. 3.
• textsms

간단하게 egress gateway 사용해보기

cilium에서는 egress gateway를 지원하는데 별도의 파드가 뜨는 방식이 아닌 노드를 egress 노드로 만들어서 해당 노드에 설정되어있는 아이피로 변환시키는 방법을 사용합니다.  한번 직접 테스트를 해보도록 하겠습니다.  kind: ClusterapiVersion: kind.x-k8s.io/v1alpha4nodes:- role: control-plane- role: worker- role: worker- role: workernetworking: disableDefaultCNI: true # kind cni 설치 안하기 kubeProxyMode: "none" # kube-proxy 설치 안하게 하기  바로 kind로 클러스터 생성하고 cilium도 설치해 줍니다. API_SERVER=$(..

• format_list_bulleted K8S/cilium
• · 2024. 9. 29.
• textsms

cilium 선택적 서비스 노드 노출하기

Selective Service Node Exposure는 서비스를 생성하고 그 서비스를 통해 트래픽을 받을 수 있는 노드를 설정 할 수 있는 기능입니다. 1.17버전 부터 사용이 가능합니다.  아래의 그림에서 처럼 서비스의 annotations에 정의되어있는 service.cilium.io/node의 값과 같은 값을 갖고 있는 노드에서만 해당 서비스로 호출이 가능합니다. 서비스가 아닌 파드아이피로 직접 호출할 때에는 어디에서든지 통신이 가능합니다. 직접 테스트 해보기노드에 라벨을 붙이고 나면 cilium과 오퍼레이터를 재시작 해야하기 때문에 이번엔 클러스터 생성할 때 부터 라벨을 붙여보겠습니다.cat > labeled-cilium.yaml  라벨이 잘 들어가져있나 확인해봅니다.   cilium을 설치합..

• format_list_bulleted K8S/cilium
• · 2024. 9. 28.
• textsms

Cilium 최적화하기: irqbalance 중지 후 cpu pinning하기

irqbalance와 CPU Pinning의 원리시스템에서 발생하는 하드웨어 인터럽트(IRQ)는 프로세서가 작업을 수행하는 동안 네트워크 패킷 처리, 디스크 I/O 등 다양한 작업을 중단시키는 역할을 한다. irqbalance는 이러한 인터럽트를 여러 CPU 코어에 분산시켜 특정 코어에 과부하가 걸리지 않도록 도와준다. 하지만 모든 환경에서 항상 효과적이지는 않다. 특히 Cilium과 같이 높은 네트워크 성능이 필요한 경우, 인터럽트가 무작위로 여러 코어에 분산되면 캐시 미스가 발생하고 인터럽트 처리 지연이 늘어나면서 성능이 저하될 수 있다. 이러한 문제를 해결하기 위해 CPU Pinning을 적용하면 특정 NIC 인터럽트를 특정 CPU 코어에 고정할 수 있다. 이를 통해 CPU 코어와 메모리 간의 캐시..

• format_list_bulleted K8S/cilium
• · 2024. 9. 26.
• textsms

cilium 테스트용 로컬 환경 구성하기

저는 kind(v0.24.0)와 orbstack 사용합니다. cilium-cli 설치하기$ brew install cilium-cli$ cilium versioncilium-cli: v0.16.16 compiled with go1.23.0 on darwin/arm64cilium image (default): v1.16.0cilium image (stable): v1.16.1cilium image (running): unknown. Unable to obtain cilium version. Reason: release: not found  kind를 이용하여 마스터 노드1대 워커노드 2대의 쿠버네티스 클러스터를 생성합니다. cilium은 systemd cgroup 드라이버 사용을 권장하기 때문에 cgrou..

• format_list_bulleted K8S/cilium
• · 2024. 8. 26.
• textsms