APIs e Datasets para estudar programação, banco de dados, Machine Learning e Data Science
Algo muito importante para quem esta estudando programação ou deseja estudar banco de dados é ter alguma base de dados para praticar. Para isso precisamos de datasets, que são um conjunto de informações referentes a um determinado assunto. Os dados podem vir de várias origens, como PDF, CSV, JSON, Excel, entre outros formatos.
Neste artigo eu compartilho APIs e bases de dados para quem está estudando programação, banco de dados, Machine Learning e Data Science.
Dados para Machine Learning e Data Science
O Kaggle é uma comunidade com centenas de datasets compartilhados pelos seus usuários. Existem mais de 50 mil datasets. Se você trabalha com o Jupyter Notebook vai gostar muito deste site.
https://archive.ics.uci.edu/ml/index.php
Este é um repositório de Machine Learning. Possui 622 datasets sobre diferentes assuntos
Este é um site de estatísticas que aborda ciência, política e esportes
Possui um conjunto de dataset da bolsa de valores americana
A Wikipedia também tem datasets com informações sobre todos os seus artigos.
https://datacatalog.worldbank.org
No site do banco mundial você encontra datasets com dados econômicos de todo o mundo.
https://data.world/datasets/open-data
Mais de 128 mil datasets sobre vários assuntos.
https://registry.opendata.aws
A empresa do Jeff Bezzos também possui datasets sobre vários assuntos. Atualmente o número de datasets disponíveis no AWS da Amazon supera os 300
https://azure.microsoft.com/en-us/services/open-datasets
O serviço Azure da Microsoft também possui datasets sobre vários assuntos.
https://datasetsearch.research.google.com
O Google possui um buscador específico para datasets, que aponta para resultados disponíveis em outras plataformas.
https://data.gov/
O Data.gov possui mais de 250 mil datasets referentes a informações do governo dos Estados Unidos.
https://data.worldbank.org/
O World Bank Open Data possui dataset sobre indicadores sociais de várias regiões do mundo.
https://www.earthdata.nasa.gov/
Earth Data é um gateway com informações da Terra coletadas pelos satélites da NASA.
https://archive.ics.uci.edu/datasets
O UC Irvine Machine Learning Repository possui mais de 600 repositórios, este é um projeto patrocinado pela National Science Foundation dos Estados Unidos.
https://github.com/search?q=datasets&type=repositories
O GitHub possui repositórios públicos com datasets
Bancos de dados sobre o Brasil
https://www.ibge.gov.br/estatisticas/downloads-estatisticas.html
O Instituto Brasileiro de Geografia e Estatística possui dezenas de indicadores sociais e econômicos sobre o Brasil,
Este é o portal brasileiro de dados abertos. Existem mais de 11 mil conjuntos de dados sobre diversas categorias, como saúde, comercio, saúde e educação, nos mais diversos formatos, como CSV, PDF, KML ou JSON.
https://dadosabertos.bcb.gov.br
Bases de dados públicos dispobilizada pelo Banco Central do Brasil
https://www.portaldatransparencia.gov.br
O Portal da Transparência tem informações sobre os gastos do governo federal.
Dados sobre o Sistema Único de Saúde
https://www.umbraosm.com.br/base-ibge.html
Bases de dados geoespaciais para utilizar no Open Street Maps
Possui datasets e APIs com dados referentes a Covid, eleições, empresas e gastos do governo federal.
https://www.tse.jus.br/eleitor/estatisticas-de-eleitorado
O site do Tribunal Superior Eleitoral possui informações sobre o perfil do eleitor brasileiro.
APIs
A API da Marvel possui informações sobre os personagens e revistas em quadrinhos do universo Marvel
Esta API tem informações sobre os filmes da franquia Star Wars
Contem informações sobre Pokemons. Recentemente disponibilizou de forma experimental acesso a API utilizando GraphQL.
https://developers.themoviedb.org
The Movie Database é um dos maiores bancos de filmes e séries
A agência espacial norte americana disponibiliza uma API com diversas informações, como imagens e dados de suas espaçonaves.
https://openweathermap.org/api
Se você não sai de casa sem saber se vai chover esa API é para você.
https://www.exchangerate-api.com
Possui informações para cotação e conversão de valores para 161 moedas.
A SpaceX possui uma API onde você pode obter dados de suas naves espaciais
Se você gosta de gatos vai adorar esta API, com dados e imagens sobre gatos. Esta API é gratuita é permite até 10 mil requisições por mês.
Agora se você gosta do melhor amigo do home tem duas opções de APIs com dados e imagens sobre cachorros.
Esta API tem mais de 10 milhões de conselhos.
https://docs.awesomeapi.com.br
Esta API está em portugês e possui informações sobre conversão de moedas e CEP
Os Correios não tem API para consulta de CEP, mas com este webservice você consegue pesquisar o CEP e retornar qual o endereço.
https://servicodados.ibge.gov.br/api/docs
O IBGE fornece uma API com os conteudos dos seus produtos, você pode consultar nomes de países, malhas geográficas, localicades, nomes e códigos do CNAE, entre outras informações.
