cookie

We use cookies to improve your browsing experience. By clicking «Accept all», you agree to the use of cookies.

avatar

Кубернетичек

Advertising posts
652
Subscribers
-124 hours
No data7 days
-230 days

Data loading in progress...

Subscriber growth rate

Data loading in progress...

https://cloud.google.com/blog/products/containers-kubernetes/google-kubernetes-engine-clusters-can-have-up-to-15000-nodes может кто видел эту статью от 2020 года, но скейл до 15к нод, впечатляет. К сожалению, технических деталей 0
Show all...
Google Kubernetes Engine clusters can have up to 15,000 nodes | Google Cloud Blog

We worked with Bayer Crop Science to create Google Kubernetes Engine clusters with up to 15,000 nodes.

Интересная задача пришла, необходимо было внутри контейнера в кубе создавать enroot контейнеры в тойже cgroup, что и основной контейнер. По умолчанию cgroup маунтится в рид онли, и чтобы писать в него, нужно иметь привилегированный контейнер (может и можно как-то и с капабилити выкрутиться, но я пока что проиграл в это). Но, оказывается, я не одинок в такой задаче https://github.com/kubernetes/kubernetes/issues/121190 И в cri-o (в отличии от containerd), есть такая аннотация
io.kubernetes.cri-o.cgroup2-mount-hierarchy-rw
которая и делает cgroup writable для непривилигированого контейнера.
Show all...
Writable cgroup for unprivileged containers · Issue #121190 · kubernetes/kubernetes

What happened? Except for the case when the privileged field is enabled in a container securityContext, cgroup fs is mounted in /sys/fs/cgroup as read only. While this behavior is desirable for mos...

🔥 7
https://www.coreweave.com/blog/coreweave-and-loft-labs-leverage-vcluster-in-kubernetes-at-scale В статье coreweave рассказывает как они предоставляют "kubernetes as a service" (Если кто не знает, coreweave - это один из крупнейших облачных провайдров для МЛ ворклоадов). В реальности, как сервис, это кластер с доступом к vcluster-control-plane (который они называют katalyst, говорят, там помимо vcluster pro есть своя кастомизация). А по сути, в рамках этого апи, они скрывают множество baremetal кластеров и через vcluster syncer деплоят ворклоады на множество бареметал кластеров. И эти ребята не боятся альфа фич в облаках включать, судя по всему они используют DRA (на канале описывал, что это, но еще раз приложу основные фичи DRA от Nvidia). То есть еще раз: пользователю предоставляет куб аписервер и баре метал кластера. По мне так круто сделали. Получается меньше уровней абстракции инфраструктуры, меньше движцущихся частей - более надёжная инфраструктура для долгоживущих приложений ( в мл поды порой могут работать неделями) Ну и для холивара, судя по репе coreweave, они юзают calico и argocd (второе, они официально заявили)
Show all...
😁 2😱 1
Может для кого-то не новость, но в кубе есть нюанс со stale reads. Давеча словил проблему, что оператор пытался привести стейт пода к desired состоянию...к поду, которого уже не было в кластере. И делал это циклино, но после смены лидера контроллера - стало работать норм. Собственно я попал на эту ишью. Но вообще, эта история длится аж 2018 года, за подробностями можно глянуть данное видео https://t.co/1gTuDLce4w.
Show all...
The Kubernetes Storage Layer: Peeling the Onion Minus the Tears - Madhav Jivrajani, VMware

Don't miss out! Join us at our next Flagship Conference: KubeCon + CloudNativeCon Europe in Paris from March 19-22, 2024. Connect with our current graduated, incubating, and sandbox projects as the community gathers to further the education and advancement of cloud native computing. Learn more at

https://kubecon.io

The Kubernetes Storage Layer: Peeling the Onion Minus the Tears - Madhav Jivrajani, VMware The Kuberentes storage layer to the end user is etcd, but it actually consists of 3 different layers. In order to scale Kubernetes to the limits it can today, a significant amount of work has been done and continues to happen on the storage layet. The 3 layers of abstraction are - the watch cache, the cacher and finally etcd. Understanding how API requests interact with each layer can have significant cost reductions and performance gains, and understanding the implementation of these layers can seem challenging, but it doesn't have to be! Knowing the internals of the storage layer can greatly supplement a user's existing knowledge of their workloads and can help them starting from capacity planning all the way to writing better controllers. A rough outline of the talk is as follows: - Overview of how Kubernetes processes requests - The Cacher - The watch cache - Potential CPU and Memory hotspots at each layer - Recent work done to improve reliability and scalability - Q&A

🤔 2
Во-первых, вышла вторая часть статьи про sched_ext https://blogs.igalia.com/changwoo/sched-ext-scheduler-architecture-and-interfaces-part-2/ Во-вторых, тут Линус сказал, что в 6.11 он не заедет, но возможно заедет в 6.12 версию. Выжимку можно тут прочитать. Он там еще поблеймил, что rust медленно интегрируется в линукс, так как "old-time kernel developers are used to C and don't know Rust".
Show all...
sched_ext: scheduler architecture and interfaces (Part 2)

This is the second blog post about the sched_ext, a BPF-based extensible scheduler class. In this blog post, I briefly update what has been happening in sched_ext, then introduce the scheduler architecture and the sched_ext API. After reading this, you should have a good understanding of the sched_ext architecture and be ready to read the source code of any sched_ext schedulers.

https://kubernetes.io/docs/reference/labels-annotations-taints/#servicekubernetesioservice-proxy-name прикольный лейбл, который позволяет закрывать часть сервисов за разными CNI/kube-proxy/loxilb если есть такая необходимость (многие CNI в тч cilium, умеют с этим лейблом работать)
Show all...
Well-Known Labels, Annotations and Taints

Kubernetes reserves all labels and annotations in the kubernetes.io and k8s.io namespaces. This document serves both as a reference to the values and as a coordination point for assigning values. Labels, annotations and taints used on API objects apf.kubernetes.io/autoupdate-spec Type: Annotation Example: apf.kubernetes.io/autoupdate-spec: "true" Used on: FlowSchema and PriorityLevelConfiguration Objects If this annotation is set to true on a FlowSchema or PriorityLevelConfiguration, the spec for that object is managed by the kube-apiserver.

👍 3
от чего ушли к тому пришли: https://github.com/janlauber/one-click еще и оператор есть https://github.com/janlauber/one-click-operator
Show all...
GitHub - janlauber/one-click: One-Click: Deploy your favourite container with a single click in Kubernetes.

One-Click: Deploy your favourite container with a single click in Kubernetes. - janlauber/one-click

🔥 1
https://github.com/kubernetes/enhancements/pull/4709 в 1.31 неплохо обновлен API DRA. за эволюцией фичи можно посмотреть здесь https://github.com/kubernetes-sigs/wg-device-management/tree/main/dra-evolution
Show all...
KEP-4381: DRA update for 1.31 by pohly · Pull Request #4709 · kubernetes/enhancements

One-line PR description: Update the DRA API and design for Kubernetes 1.31 Issue links: DRA: structured parameters #4381 DRA: control plane controller ("classic DRA") #3063 ...

👍 2
https://kubernetes.io/blog/2024/08/12/feature-gates-in-client-go/ Прикольная фича в client-go. Я в контроллерах для обычно использую https://github.com/kelseyhightower/envconfig?ysclid=lzqp46kh8c345050696 или через аргцменты. Но вариант client-go через структуры выглядит красивее
Show all...
Introducing Feature Gates to Client-Go: Enhancing Flexibility and Control

Kubernetes components use on-off switches called feature gates to manage the risk of adding a new feature. The feature gate mechanism is what enables incremental graduation of a feature through the stages Alpha, Beta, and GA. Kubernetes components, such as kube-controller-manager and kube-scheduler, use the client-go library to interact with the API. The same library is used across the Kubernetes ecosystem to build controllers, tools, webhooks, and more. client-go now includes its own feature gating mechanism, giving developers and cluster administrators more control over how they adopt client features.

Choose a Different Plan

Your current plan allows analytics for only 5 channels. To get more, please choose a different plan.