Igor Gorbenko
Verified Expert in Engineering
Database and Back-end Developer
Igor是一名数据工程师和云架构师,拥有近13年构建高负载可靠系统的丰富经验, DWH, ETL, 以及俄罗斯天然气工业银行的机器学习管道, Stanford, GlaxoSmithKline, Fujitsu, AbbVie, and Royal Mail. 他是一名与云无关的工程师,专门研究Flask、FastAPI和数据库集成. Igor还热衷于建立基于gcp的系统,以利用企业提高工作效率, gain more flexibility, and allow a strategic advantage.
Portfolio
Experience
Availability
Preferred Environment
PyCharm, Slack, Linux, Git
The most amazing...
...我开发的推荐系统是世界上最流行的视频流媒体平台之一, Tango Live.
Work Experience
Big Data Architect and Team Lead
Tango
- 设计了一个高负载的推荐系统,作为一个应用程序的主要组件.
- 开发了用于训练机器学习模型和其调用的编排的管道.
- 创建了一个机制来监控推荐系统的所有组成部分的运行.
- 优化数据加载到存储,重构遗留代码.
Key Big Data Developer
EPAM Systems
- 设计了一套公寓室内设计推荐系统.
- 开发了平面室内推荐系统的后端部分, 包括用于收集信息的刮板,用于训练模型和所有数据处理过程.
- 解决了Jira上报告的与数据管道相关的事件.
Big Data Architect
Netwrix
- 将异常计算进程从Docker容器迁移到EMR Apache Spark集群. 这使得计算速度可以优化几倍.
- 由于动态计算EMR集群配置,使用AWS的成本降低了几倍.
- 开发具有报告和警报机制的监测系统. Implemented the CI/CD process.
- 在基于云的预测系统设计中发挥技术领导作用.
Lead Big Data Developer
First Line Software
- 开发了将客户原始数据转换为OMOP公共数据模型(CDM)标准的ETL过程的完整周期.
- 开发并实现了一个使用Python、SQL和Spark自动进行数据转换的工具.
- 创建并执行了一个工具,用于使用Python、Django和JavaScript可视化转换后的数据.
Senior Software Developer
Fujitsu Global
- 开发了一个由事故表演者分发门票的系统.
- 开发并实施项目跟踪系统.
- 将计费报表系统迁移到SQL Server reporting Services (SSRS).
Chief Software Engineer
Gazprombank
- 开发分析和管理报告系统.
- 开发了一个自动安装零售汇率的系统. 该系统使银行从货币兑换业务中获得的收入增加了数倍,降低了货币风险.
- 创建了一个计划和监督计划执行的系统.
- 通过“客户银行”功能建立了一个打击欺诈交易的系统.
Experience
Recommendation System for Tango
http://www.tango.me/live/recommended我是工程团队的负责人,负责数据和云方面的整个开发过程.
基于EPAM的公寓室内设计推荐系统
我是一个项目架构师,也是一个数据工程师和后端开发人员. 我设计了系统的架构和各个组件之间的交互.
一个复杂的医疗数据ETL,带有用于一线软件的自定义转换工具包
http://www.ohdsi.org/data-standardization/the-common-data-model/I was a tech lead on this project. 我的职责是使用Python开发框架组件的核心部分, 它允许我们自动安排ETL步骤并在转换后运行其他任务, such as unit tests, stats reports, and so on. 我还执行代码审查并运行ETL管道.
Skills
Languages
SQL, Bash, Python, Scala, C#.NET, Excel VBA
Tools
PyCharm, Git, Apache Beam, Apache Airflow, Postman, Slack, Grafana, Terraform, Amazon Cognito, Cloud Dataflow, GitLab, Apache NiFi, Google Kubernetes Engine (GKE), BigQuery, Spark SQL, Amazon Athena, Google Cloud Dataproc
Paradigms
REST, ETL, Database Design
Platforms
Linux, Amazon Web Services (AWS), Google Cloud Platform (GCP), Docker, Apache Kafka, New Relic, Oracle, Kubernetes
Storage
PostgreSQL, Microsoft SQL Server, Data Pipelines, JSON, Databases, Redshift, Google Bigtable, Amazon DynamoDB, IBM Informix, Cloud Firestore
Other
IT Systems Architecture, Big Data, Big Data Architecture, Data Architecture, Data Engineering, FastAPI, Redis Clusters, Machine Learning Operations (MLOps), Machine Learning, Google BigQuery, Pub/Sub, Investments, Stock Market, Google Cloud Functions, Cloud Run
Frameworks
Flask, Apache Spark, Django, Locust
Libraries/APIs
Dropbox API, Google APIs
Education
Master's Degree in Information Technologies
喀山国立研究技术大学-喀山,俄罗斯
Certifications
AWS Certified Solutions Architect Associate
AWS
Professional Cloud Architect
Google Cloud
Professional Data Engineer
Google Cloud
Associate Cloud Engineer
Google Cloud
AWS Certified Developer
PSI
AWS Certified Cloud Practitioner
PSI
How to Work with Toptal
在数小时内,而不是数周或数月,我们的网络将为您直接匹配全球行业专家.
Share your needs
Choose your talent
Start your risk-free talent trial
Top talent is in high demand.
Start hiring