はじめに Apache Iceberg とは Icebergのメタデータは、どこを見れば分かるのか 検証内容 検証環境 1. INSERT 後に生成されるメタデータを確認する 2. UPDATE後にメタデータがどのように変化するのかを確認する 3. 実データファイルを大量に作り、コンパクション処理(rewrite_da…
はじめに プラットフォームエンジニアリングチームの齊藤(id:saitoperf)です。 マイクロアドでは、Kubernetes (K8s) クラスタのライフサイクル管理に Rancher を使用しています。 Rancher は、OSS の K8s クラスタ管理ツールで、クラスタの構築・可視化・バージョンアップなど、運…
はじめに 監視要件の整理 APIの基本監視 ML特有の監視 オンライン評価指標 ビジネス指標 監視基盤の構成 ダッシュボード設計 Latency・Traffic・Errors Saturation アラート設計 今後の展望 ビジネス指標のダッシュボード監視 動的なアラート条件の導入 まとめ 機械学習エンジニア絶賛採用中…
はじめに こんにちは、マイクロアドでアプリケーションエンジニアをしている渡部です。 12月初旬に、会社で契約しているGoogle Workspaceのユーザーのみが使用できるGoogleカレンダーアドオンを公開しました。 アドオンの目的と機能 開発の背景 マイクロアドでは、営業活動における顧客とのアポイントメントや商談…
はじめに こんにちは、マイクロアドで機械学習エンジニアをしている木村です。 この記事では、マイクロアドにおける ML(Machine Learning)モデル学習バッチのログ設計とその監視について紹介します。 また、後半では実際のダッシュボードを用いた運用事例についても紹介します。 はじめに MLOpsとは 監視要件の…
マイクロアドでフロントエンドエンジニアをしている大石です。 フロントエンド領域で欠くことのできない"デザイン"に課題はありませんか? 仮実装フェーズから最終成果物まで、非デザイナーでもデザインを行うケースは多々あります。 非デザイナーのフロントエンドエンジニアでも、根拠を持ってUIを組み立てられる仕組みがあると開発が一…
TL;DR Trinoで時々発生するメモリ管理関連のタイムアウトエラーは、ドキュメントに記載されていない memory-manager.http-client.request-timeout パラメータを設定することで解決できることがあります。 # config.properties(Coordinatorのみ) me…
はじめに プラットフォームエンジニアリングユニットの齊藤(id:saitoperf)です。 マイクロアドでは、複数の Kubernetes (K8s) クラスタを Rancher から構築・管理しています。 Rancher は、OSS の K8s クラスタ管理ツールで、クラスタの状況確認や UI 上からのバージョンアッ…
マイクロアドで広告配信システムのバックエンド開発をしている飛田です。 私たちの開発チームでは、GitHub Copilotを中心としたAIアシスタントを活用しています。試行錯誤を重ねる中で効果的だったプラクティスを、今回はいくつかご紹介します。 まだまだ模索中の部分も多いですが、何かの参考になれば幸いです。 本記事のポ…
はじめに こんにちは!マイクロアドのシステム開発部の酒井です。 ここ数年、ChatGPTをはじめとする生成AIが大きな話題になっていますね。マイクロアドでも、日々の開発業務で生成AIを活用しています。使ってみると想像以上に便利で、もはや日常でも手放せないツールになっています。 この記事では、マイクロアドの開発で主に使っ…
こんにちは. マイクロアドで機械学習エンジニアをしている崎下です。 時間によって変わる広告配信リクエスト量に応じて適切に配信量を調整するためのシステムの開発を担当しています。 今回は時間変化するデータの評価手法としてカルマンフィルタについての勉強会を実施したため、その内容をまとめてご紹介します。 本記事の構成 本記事で…
はじめに こんにちは。マイクロアドで機械学習エンジニアをしている前田、簀河原です。 この記事では、マイクロアドにおける Click Through Rate (CTR) 予測の精度および安定性向上のために Target Encoding を活用した事例を紹介します。 はじめに CTR予測とは Target Encodi…
はじめに はじめまして!25 卒新入社員(入野、森田)です! 私たちは新卒開発研修にて日程調整アプリ「525」を開発しました! 今回の技術ブログでは、日程調整アプリ「525」についてご紹介していきます。 開発研修について マイクロアドの新卒エンジニアは、4 月にビジネス職・エンジニア職合同での全体研修を終えた後、エンジ…
はじめに こんにちは!マイクロアドでインフラエンジニアをしている大泉です。 今回はGoogle CloudのCloud Load Balancing(以下、CLB)にOAuth2認証を導入したお話をします! 背景として、権限分掌の観点から、ネットワーク構築を担当するチームとアプリケーション構築を担当するチームでプロジェ…
はじめに マイクロアドでサーバーサイドエンジニアをしている高橋です。 Apache Spark SQL connector for Google BigQuery(以下spark-bigquery-connector)でSparkからBigQueryにデータを転送する際に、ドキュメント通りでもうまくいかない部分がありま…
はじめに こんにちは。システム開発部 新規プロダクト開発ユニット(NDU)の東です。 NDUはその名の通り、新規プロダクトを開発するユニットです。 新規プロダクトの立ち上げにおいて、開発部門は効率的な開発で迅速なローンチを行うことを目標の1つとして開発をしています。 この記事では、Slack Bolt for Java…
はじめに マイクロアドでサーバサイドエンジニアをしているタカギです。 この記事は、JSON形式の生ログをParquet形式へ変換する際に発生する膨大なI/Oを削減した話になります。 背景 マイクロアドではデータ基盤移行プロジェクトを進めてきました。 様々な検証が進められるなか、懸念点として浮上した話が、ストレージI/O…
マイクロアドのData LakehouseとIcebergテーブルの最適化について 2025-06-17:OTFSG Osaka Meetup #01 株式会社マイクロアド 永富 安和 ( @yassan168 ) #otfsg_tokyo
はじめに こんにちは、マイクロアドでサーバサイドエンジニアをしている藤田です。 Vue I18n を使った多言語対応は非常に便利ですが、プロジェクトが成長するにつれ、翻訳メッセージファイルの管理に頭を悩ませることはありませんか? マイクロアドが提供しているプロダクトの 1 つに、 メディア事業者向けのサプライサイドプラ…
「新しいサービスをゼロから作り上げ、世の中に提供したい」―― そんな情熱を胸に、新卒でマイクロアドに入社し、入社4年目から新規事業領域に飛び込んだ陶山尚季さん。エンジニアとしての専門性を追求しな...