テクニカルアーキテクトSME / Technical Architect SME

Azure Databricks PySpark Delta Lake Azure Data Factory Azure Synapse Big Data Engineering Power BI

日本, 東京都

正社員

12,000,000円 - 15,000,000円 / 未選択

26635 | フィデル・テクノロジーズ株式会社 | 投稿 2025/06/19

応募友人に送信

フィデル・テクノロジーズ株式会社 - テクニカルアーキテクトSME / Technical Architect SME

概要

フィデル・テクノロジーズ株式会社（2001年設立）は、東京に拠点を置き、テクノロジー、ローカライゼーション、バイリンガル人材のサービスとソリューションを、日本の企業様に提供しているラングテック（＝言語＋テクノロジー）コンサルティング会社です。

グローバルな職場環境でお仕事を働きたい方、新しい技術の習得やスキルアップに情熱をお持ちの方は、ぜひ私たちにご連絡ください！お待ちしております。

Fidel Technologies KK (フィデル・テクノロジーズ株式会社) (since 2001) is a Tokyo based LangTech Consulting firm & offers Technology - Localization - Bilingual Staffing services & solutions to global as well as SME Japanese clients.

If you are looking for a dynamic, creative and international working environment; if you are passionate about learning new technologies and building new skills, please contact us; we would love to have a chat with you!

スキル・資格

• Databricks/SynapseノートブックとAzure Data Factoryを使用したデータ取り込みと変換パイプラインの開発における8年以上の専門知識。
• Deltaテーブル、Delta Lake、Azure Data Lake Storage Gen2に対する確かな理解と実務経験。
• シームレスなデータ取り込みと変換のためのAuto LoaderとDelta Liveテーブルの効率的な使用経験。
• Databricks SQLを使用したクエリレイヤーの構築と最適化に精通していること。
• Databricks と Azure Synapse、ADLS Gen2、Power BI を統合し、エンドツーエンドのアナリティクスソリューションを実現した経験。
• Power BI レポートの開発、最適化、デプロイ経験がある。
• 最新のCI/CDプラクティス、特にDatabricksとクラウドネイティブソリューションに精通していること。

• Demonstrated expertise of 8+ years in developing data ingestion and transformation pipelines using Databricks/Synapse notebooks and Azure Data Factory.
• Solid understanding and hands-on experience with Delta tables, Delta Lake, and Azure Data Lake Storage Gen2.
• Experience in efficiently using Auto Loader and Delta Live tables for seamless data ingestion and transformation.
• Proficiency in building and optimizing query layers using Databricks SQL.
• Demonstrated experience integrating Databricks with Azure Synapse, ADLS Gen2, and Power BI for end-to-end analytics solutions.
• Prior experience in developing, optimizing, and deploying Power BI reports.
• Familiarity with modern CI/CD practices, especially in the context of Databricks and cloud-native solutions

業務内容

• Azure Databricks/ Fabricを使用した高度なアナリティクスソリューションのアーキテクチャ、設計、実装をリードする。ビッグデータ技術、データエンジニアリング、クラウドコンピューティングを深く理解し、Azure DatabricksとStrong SQLを得意とする方を求めています。
• ビジネス関係者や他のITチームと密接に連携し、要件を理解し、効果的なソリューションを提供する。
• データソリューションのエンドツーエンドの実装を監督し、ビジネス要件やベストプラクティスとの整合性を確保する。
• Azure Databricks、PySpark、その他の関連ツールを使用したデータパイプラインとETLプロセスの開発をリードする。
• Azure Databricksを他のAzureサービス（Azure Data Lake、Azure Synapse、Azure Data Factoryなど）やオンプレミスシステムと統合する。
• データエンジニアリングチームに技術的なリーダーシップとメンターを提供し、継続的な学習と改善の文化を醸成する。
• アーキテクチャ、プロセス、データフローを適切に文書化し、セキュリティとガバナンスの標準を遵守する。
• コード品質、データセキュリティ、スケーラビリティの面でベストプラクティスが守られていることを確認する。
• Databricksおよび関連技術の最新動向を常に把握し、イノベーションを推進する。

• Lead the architecture, design, and implementation of advanced analytics solutions using Azure Databricks/ Fabric. The ideal candidate will have a deep understanding of big data technologies, data engineering, and cloud computing, with a strong focus on Azure Databricks along with Strong SQL.
• Work closely with business stakeholders and other IT teams to understand requirements and deliver effective solutions.
• Oversee the end-to-end implementation of data solutions, ensuring alignment with business requirements and best practices.
• Lead the development of data pipelines and ETL processes using Azure Databricks, PySpark, and other relevant tools.
• Integrate Azure Databricks with other Azure services (e.g., Azure Data Lake, Azure Synapse, Azure Data Factory) and on-premise systems.
• Provide technical leadership and mentorship to the data engineering team, fostering a culture of continuous learning and improvement.
• Ensure proper documentation of architecture, processes, and data flows, while ensuring compliance with security and governance standards.
• Ensure best practices are followed in terms of code quality, data security, and scalability.
• Stay updated with the latest developments in Databricks and associated technologies to drive innovation.

勤務地情報