ทักษะที่สำคัญของงาน วิศวกรข้อมูล มีสกิลและคุณสมบัติอะไรบ้าง
คุณสมบัติเบื้องต้นสำหรับงาน วิศวกรข้อมูล
• ปริญญาตรีสาขาวิทยาการคอมพิวเตอร์ วิศวกรรมศาสตร์ หรือสาขาที่เกี่ยวข้อง
• ทักษะการเขียนโปรแกรมที่แข็งแกร่งในภาษาต่างๆ เช่น Python, Java หรือ Scala
• มีประสบการณ์กับเทคโนโลยีข้อมูลขนาดใหญ่ เช่น Hadoop, Spark หรือ Kafka
• ความเชี่ยวชาญในด้าน SQL และระบบการจัดการฐานข้อมูล
• ความรู้เกี่ยวกับการสร้างแบบจำลองข้อมูล กระบวนการ ETL และคลังข้อมูล
ทักษะและบุคลิกอันพึงประสงค์ของงาน วิศวกรข้อมูล
Big data
Apache Flink
CUDA
Databricks
Hadoop
Hive
Impala
Kafka
Spark
Data manipulation
Dask
Pandas
Vaex
dplyr
Data scrapping
Beautiful Soup, Beautifulsoup, bs4
Requests
ScrapingBee
Scrapy
Selenium
lxml
rvest
xml2
Data statistics
Numpy
SciPy
Shogun
mlpack
Data visualization
Matplotlib
Metabase
Metrics
Palantir
Power BI
Qlik Sense
SAP Analytics
SAS
Tableau
Database
Cassandra
Database maintenance
Database queries
MySQL
NoSQL
PostgreSQL
PostgreSQL
SQL
Solr
Programming languages
Ajax
Bash
C
C#
C++
Go / Golang
Java
JavaScript
Kotlin
Node.js
PHP
Perl
PowerShell
Python
R
Ruby
Rust
Scala
TypeScript
Python-based frameworks
AIOHTTP
Bottle
CherryPy
Django
Falcon
FastAPI
Flask
Grok
Jam.py
Nevow
Pylons project
Quixote
TurboGears
Web2py
การคิดเชิงวิเคราะห์
การคิดเชิงวิเคราะห์
มีความคิดอย่างเป็นกระบวนการ
รวบรวมข้อมูล
ทักษะการแก้ปัญหา
ตัดสินใจบนพื้นฐานของความเป็นจริง
สามารถหาข้อบกพร่องของงานได้
แก้ปัญหาอย่างเป็นระบบ