次世代Opsを担うデータ分析基盤Opsエンジニア｜DevOps、DataOpsで成長

仕事内容

【会社の特徴】 ① 最先端のテクノロジーを駆使してデータ業界を牽引するデータコンサルティング企業 、Snowflakeの導入実績は日本国内においてNo.1クラス ② PyLadies Tokyo初代代表＆自然言語処理のスペシャリストである分析業界の女性トップリーダー真嘉比や全世界で30名日本唯一のDATA HERO OF THE YEARを受賞したデータエンジニア菱沼等、 業界のトップランナー在籍、社員の8割がデータの技術者であるプロフェッショナル集団 ③ 幅広いかつ最新の技術領域の勉強会、サポートが充実 【業務内容】 クラウド技術とデータエンジニアリングを軸に開発されたデータ分析基盤を安定稼働させるだけでなく、“より良い状態”へと進化させていく運用のプロフェッショナルとして活躍いただくポジションです。 昨今、DevOps、DataOps、LLMOpsなど、あらゆる分野でOpsが再評価されています。私たちも「Opsがサービス価値の根幹を支える」と考え、データの流れを止めない守りと、お客様の事業成長を支える将来に繋げる攻めのOps体制を追求しています。 【業務詳細】 データパイプライン（ETL/ELT）のジョブ監視、エラー対応および再実行判断、ジョブ改善 複数ジョブを統括するワークフローのスケジューリング管理（AirFlowなど） クラウド環境のリソース管理、運用改善（パフォーマンス、コスト最適化など） モニタリングツールを用いたリソース監視、アラート対応（影響範囲の特定、初期対応など） チケットベースでのタスク対応（Backlogなど） ドキュメント整備（構成図、運用手順、ナレッジなど） 【プロジェクト事例】 大手コンビニサプライチェーンの基盤システム構築 プロスポーツ団体向け顧客分析データ基盤構築　 【このポジションの特徴】 現在は、弊社で構築した15〜20のデータ分析基盤を運用しております。1つのシステムを1人で抱えるのではなく、複数人体制で知見を共有し、属人化を避けるチーム運用を行っています。 業務参画時には、まずは手順が整理された定常運用からスタートします。理解度に応じて非定常なトラブル対応や改善提案、構成変更などにも段階的に携わっていただきます。 【技術環境】 言語：Python、SQL、Scala、Java DWH：Snowflake、BigQuery、Redshift、Synapse データ基盤：Databricks、Spark、Presto、Hadoop BIツール：Tableau、Looker、PowerBI、Datorama、DOMOなど クラウド：AWS、GCP、Azure ETL/ELTツール: dbt、Fivetran、trocco、Airbyte、Talend、AWS Glue AIフレームワーク：VertexAI、SageMaker、AzureML IaCツール：Terraform、CloudFormation、Ansible 【ポジションの魅力】 ◆データの利活用を可能にし、お客様の事業を成長させていく実感が得られます。 データドリブン経営にとりかかる企業が増え、社会全体においてデータの需要がどんどん大きくなっています。その中でも、データの利活用を進められていない領域はまだまだ多く、活躍できるシチュエーションは豊富にあります。実務上扱うのは一般公開されていない大量のデータであり、顧客の眠っているデータを掘り起こし、それを自分の手でアレンジしていくことで顧客の事業に大きなインパクトを残すことができる経験が得られる楽しさがあります。 ◆常に新しい技術に触れながら、試行錯誤を楽しめる仕事です。 決まったやり方で単にこなすのではなく、顧客のニーズに合わせて最善策を考え、試行錯誤しながら進めていきます。チームに相談しながら解決策を見つけ、チャレンジしていくことが可能です。常にアンテナを張って良さそうなツールはすぐ試すので、最新の技術を実務で試していくことができます。 技術動向、手法の調査・検証も実施しながら積極的に採用しており、直近では、Snowflakeをはじめ、dbtなどとのパートナーシップを結んでいます。