Kakashi's Blog

Linux 的 file descriptor 筆記

FD 真的好重要

前言說來慚愧，一直以來都在跟 Linux 打交道，也瞭解 everything in unix is a file 的概念，卻沒有真的好好理解 file descriptor 的基本結構是怎樣，但是在知乎上面看到這篇 Linux file descriptor 演進史，讓我對於他為什麼長這樣有更進一步的認識。(其實原本想找找英文資料，不過這篇講歷史的還蠻清楚的) 基本上這篇文章會筆記目前新版......

Posted by Kakashi on 2020-08-22

linux

Linux 5.1 的 io_uring

之前在 Facebook 上面分享不少技術文章的心得，被網友建議說可以放在 blog 上面，其實原本想在 blog 上面放一些比較長且整理過的東西，不過想想如果自己的心得能讓更多人看見，並且有機會交流也是不錯的事情，接下來應該會慢慢將之前的筆記謄過來。 https://www.facebook.com/kkcliu/posts/10157179358206129 io_uring前陣子在寫 ......

Posted by Kakashi on 2020-08-19

linux

Improve CPU Utilization of Go app By Using BPF

In this post, I’d like to share an experience that how I used BPF to fix a CPU saturation issue in a Go app. Especially this CPU saturation issue happened in the cgo level so that it’s really hard ......

Posted by Kakashi on 2020-06-05

golang bpf cgo

AWS SSM session manager 筆記

一直以來，如何登入到 AWS EC2 instance 就是個大問題，以往的方式都是在建立 Instance 的時候，設定其 key pair ，再把 private key 好好的保存下來，不過這個方式對於管理許多機器的人，其實是很煩人的，試問有多少人會乖乖的 rotate 機器上面的 key，而在有很多服務和機器的情況下，對於這些 key 的生命週期管理是非常重要的。再者，在有些情況下......

Posted by Kakashi on 2020-04-11

AWS

有關 Cache 的一些筆記

cache is hard

前言最近看了 Amazon 的一篇文章 Caching challenges and strategies，在談論 cache 的種類，還有一些使用的邏輯和策略，剛好就想稍微整理一下有關於 cache 在分散式系統上面的一些筆記，這中間如果還有看到其他內容，還會再把它補起來，這邊強烈推薦大家看一下AWS原文，還有筆記最後整理的一些 Reference，相信看完大家都可以學習到很多東西。何時......

Posted by Kakashi on 2020-03-27

AWS backend redis

How I Analyze S3 Upload Latency Issues

TLDR;Recently I helped company to finish S3 bucket migration in order to improve image upload speed of our lambda function. I found out letting lambda function and S3 buckets located in the same re......

Posted by Kakashi on 2020-03-16

AWS S3

Golang 10th Anniversary x GTG 45th 心得

Golang 好棒棒

上禮拜很開心可以參加 Golang 10th anniversary 的聚會，身為這次聚會的 co-organizer 加上贊助商，不但要參加 Golang 官方的行前會議，還有準備訂 Pizza 加上當講者，要做的事情真的是蠻多的，然後 Pizza 訂太少，讓晚來的同學沒有吃到，真的是蠻抱歉的，下次還有機會訂 Pizza 就知道該怎麼辦了。這次聚會相關資料如下，之後有興趣參加的人可以......

Posted by Kakashi on 2019-11-13

golang

Coscup 分享 - HA Prometheus Solution Thanos

Thanos 真的很不錯！

上個月參加了 Coscup，完成了我的 Coscup 講者處女秀，對比三年前當主持人，其實當講者輕鬆了不少，而且看到很多熟面孔的感覺非常好。這次參加的 SDN x Cloud Native x Golang 議程軌，其實有非常多的好主題，而我也分享了一個跟 CNCF & Golang 有相關的 Opensource Project - Thanos，Thanos 主要就是為了解決 ......

Posted by Kakashi on 2019-08-22

Prometheus Thanos CNCF

Performance tweaking for fluentd aggregator (EFK stack)

PrefaceLogging is one of the critical components for developers. Every time when things went wrong, we had no doubt but checked what’s going on in logs. Fluentd is an open source data collector sol......

Posted by Kakashi on 2019-05-02

elasticsearch fluentd

透過 IAM access advisor API 來幫 IAM permission 做大掃除

終於學會怎麼系統性的清 IAM

Preface隨著組織慢慢變大，在 AWS 上面常常會遇到一個問題就是，我的 IAM entity 的 permission 是不是開的太大了，這個問題常常發生在 developer 想要快速驗證自己的 application 能不能 work，而作為 admin 的我們有時會給予太大的權限，等到該專案開展到一定程度的時候，其實需要使用到的權限應該是穩定下來了，但又難以找每個專案負責人慢慢 ......

Posted by Kakashi on 2019-04-08

AWS IAM

Kakashi's Notes