こんにちは、分析基盤を担当しながらインフラも面倒見ている鍵本です。
本日は Google Kubernetes Engine(GKE) 環境において OOMKilled されたコンテナを検知する方法についてお話します。
続きを読む海外エンジニアにアピールするためMediumにZeals Tech Blogを開設しました！
NTCIR-15 Dialogue Evaluation Task DialEval-1
A brief introduction and a simple approach
DialEval-1 consists of two subtasks: Nugget Detection (ND) and Dialogue Quality (DQ). They aim to evaluate customer-helpdesk dialogues automatically. The ND subtask is to classify whether a customer or helpdesk turn is a nugget, where being a nugget means that the turn helps towards problem solving; and the DQ subtask is to assign quality scores to each dialogue in terms of three criteria: task accomplishment, customer satisfaction, and efficiency. The official evaluation results of 18 runs are received from 7 teams. IMTKU (Dept. of Information Management, Tamkang University, Taiwan) and I, on behalf of ZEALS, by utilizing XLM-RoBERTa via HuggingFace Transformers, fastai, and blurr, achieve top-1 or top-2 in terms of various evaluation metrics for both ND and DQ.
続きを読む
pandas高速化ライブラリの検証
はじめに
初めまして、ZealsでMLエンジニアをしている三宅とジョーです！
今回のブログではpandas高速化ライブラリを検証し、その有用性を探っていきます！
- はじめに
- 目的
- pandasの非効率性
- 高速化ライブラリ
- 1. Modin
- 2. Dask
- 3. Vaex
- 検証
- 検証を行うマシンのスペック
- 検証方法
- プログラムの実行
- ライブラリ毎の処理時間比較まとめ
- ライブラリ毎のmemory使用量(MiB)比較まとめ
- 考察
- 処理時間について
- メモリ使用量について
- 結論
- 参考記事
Railsアプリケーションの技術的負債3つと、そのリファクタリングについて
はじめに
こんにちは！ZealsでRailsエンジニアをしている鈴木です。
みなさんは定期的に技術的負債の返済をしていますか？
今回は我々が日頃リファクタリングによって負債を返済する活動の中で得た気づきについてご紹介したいと思います。
- はじめに
- 技術的負債とは
- 弊社のRailsプロジェクトにおける技術的負債
- 1. Model内の複雑なクエリ
- 2. Serviceクラスの統一性
- 3. システム利用者が使用する用語での実装
- 最後に
Design Systems & Style Code Refactoring
By Vish Nambiar & Kim Hyun-sung
Contents
- Contents
- Introduction
- Our Current Problems
- 1. DRY - Don't Repeat Yourself
- 2. Locating implementations of CSS
- 3. We spend too much time on styling
- Previous Refactoring Strategies
- The Connection Between Style and Design
- Our Solution
- Design Systems
- Organising Our Codebase
- Using Storybook
- Conclusion
JSON log formatterを使ってPythonのlogが複数行分割される問題を防ぐ
こんにちは！Zeals で Python をメインに書いている新卒 1 年目のソフトウェアエンジニアの玉城です。
Python で Cloud Logging（旧: Stackdriver Logging） や Datadog にログを出力するとき、複数行に分割されてしまい、元のログイベントとの関連付けが難しくなり困ったことはないでしょうか。
例えば、以下のようにログを書いたときに
logger.info("test\n I want to eat sushi")
Cloud Logging にはこのように表示されてしまうといった感じです。
これを JSON フォーマットにすることで解決してみましょう。
