Scikit-Learn para MLLib: Machine Learning em Larga Escala
20
De Scikit-Learn para MLLib CLASSIFICAÇÃO EM LARGA ESCALA
-
Upload
guilherme-peixoto -
Category
Software
-
view
45 -
download
3
Transcript of Scikit-Learn para MLLib: Machine Learning em Larga Escala
Agenda
● O quê: Spark● O quê: MLlib● Exemplo KMeans em "Toy Dataset" ● DataFrames● Classificação de Spam em Produção● Por quê?
● Clustering [KMeans, LDA]● Classificação [SVM, Naïve Bayes, Random Forests]● Regressão● Extração de características● Recomendação, timização de parâmetros, avaliação de
modelos...
Algoritmos
Pipelines
● Transformer○ Gera um DF a partir de outro DF
● Estimator○ Abstrai o conceito de um algoritmo que é treinado sob um
conjunto