Importando Dados da Série Histórica das ações BM&F Bovespa usando R

November 4, 2016 no comments Posted in Código, R

Aos interessados em estudar o comportamento das ações BM&F Bovespa saiba que as informações são disponibilizadas em uma base de dados contendo a série histórica das ações negociadas[4].

Particularmente não tenho experiência como investidor em bolsa, mas tenho uma grande curiosidade sobre os modelos matemáticos que tentam estimar ou prever o comportamento do mercado de ações.

Entretanto para o início de um estudo ou proposição de modelo que procure estimar o comportamento representado dos dados ao longo do tempo é necessário que primeiro tenhamos acesso aos dados.

No caso dos dados das ações BM&F Bovespa, a recuperação não é imediata via Excel, a enumeração dos campos é bem desconfortável. Provavelmente deve haver um modo inteligente de especificar onde inicia e termina cada campo, mas até essa data ao pesquisar uma solução, quando escrevi esse post, a solução propostano site da Microsoft  me pareceu “boring”, cansativa e propensa e erros.
Anyway, suplantada ou não por outro método mais eficiente, para iniciantes e curiosos sempre é bom ver formas alternativas de se remover um obstáculo. Ai vai.

O objetivo principal aqui é mesmo o demonstrar uma das aplicações de um pacote muito eficiente na leitura de grandes arquivos de dados, o IOTOOLS, e estimular curiosos a se iniciar na programação em R.

Em 2014, automatizei o processo de importação no R, mas de modo extremamente ineficiente, demorava demais.

Voltei a pesquisar as alternativas + recentes e me deparei com o pacote IOTOOLS para o R. Se você tem interesse por Análise de Dados, não importando se é um Estatístico ou não devia levar em consideração aprender “um pouco de R”.

Infelizmente para alguns, a grande maioria do material que considero interessante para curiosos de qualquer área de formação está disponível em Inglês.

Em Inglês a série para Leigos (for Dummies) tem um opção interessante, versão Kindle e Impressa. Até a presente data (11/2016) não vi versão em português.

Vamos ao que interessa, como importar a série histórica com o R. É simples curto e grosso. Assumo que a versão mais recente R já está instalado em sua máquina. Caso contrário veja os links na lista de Referências ao final.

Cuidado preliminar, após baixar o arquivo e usando um editor de texto como Notepad++ para Windows ou TextWrangler para Mac OSX e similares, remova a primeira e a última linha do arquivo.

As definições dos nomes dos campos e suas posições em cada linha do arquivo eu armazeno em um pequeno arquivo de apoio, mas poderiam ser definidas diretamente no corpo do script em R.

Esse pequeno arquivo só contem 3 colunas, o nome do campo, sua posição inicial e final e está salvo no arquivo “LayoutCamposSerieHistorica.csv”.

O script apenas lê esses campos e cria um vetor chamado “endings” com as posições de início de cada campo + última posição de cada linha do arquivo da série histórica das ações BM&F Bovespa e passa o processo de importação para rotina input.file do IOTOOLS.

E lá estamos nós. O arquivo convertido.

 

É realmente muito rápido.  No meu mac mini que não é de ponta, todo o processo de ler um arquivo com 390.000 linhas, gerar um data.frame e depois exportar no formato csv, levou 2.48 segundos. A importação algo próximo a 1.4 segundos.

Em tempo, se usam o R e ainda não usam o RStudio, vão correndo baixar a versão + recente. O mundo R pode ser dividido em 2 eras, antes e depois do RStudio.

Em outro “post”, caso surja interesse,  irei falar sobre como transformar essa aplicação pode se tornar interativa. Um site na web com o Shiny.

Aqui a interface da minha aplicação web de conversão de dados do IBOVESPA.

 

Referências

  1. AÇÃO (FINANÇAS). In: WIKIPÉDIA. Wikipédia, a enciclopédia livre. [S.l: s.n.], 31 jul. 2016. Disponível em: <https://pt.wikipedia.org/w/index.php?title=A%C3%A7%C3%A3o_(finan%C3%A7as)&oldid=46318787>. Acesso em: 5 nov. 2016.
  2. AZEVEDO, J. Instalação do R e do RStudio. Estatística é com R! [S.l: s.n.]. Disponível em: <http://www.estatisticacomr.uff.br/?p=164>. Acesso em: 5 nov. 2016. , 8 jul. 2015
  3. BM&F BOVESPA. BM&F BOVESPA – Serviços financeiros · Centro de negócios. Disponível em: <http://www.bmfbovespa.com.br/pt_br/index.htm>. Acesso em: 5 nov. 2016a.
  4. BM&F BOVESPA. Séries históricas. Disponível em: <http://www.bmfbovespa.com.br/pt_br/servicos/market-data/historico/mercado-a-vista/series-historicas/>. Acesso em: 5 nov. 2016b.
    Notepad++ v7.2 – Current Version. Disponível em: <https://notepad-plus-plus.org/download/v7.2.html>. Acesso em: 5 nov. 2016.
  5. R: The R Project for Statistical Computing. Disponível em: <https://www.r-project.org/>. Acesso em: 5 nov. 2016.
    RSTUDIO INC. RStudio. RStudio. [S.l: s.n.]. Disponível em: <https://www.rstudio.com/products/rstudio/>. Acesso em: 5 nov. 2016. , [S.d.]
  6. TextWrangler na Mac App Store. Disponível em: <https://itunes.apple.com/pt/app/textwrangler/id404010395?mt=12>. Acesso em: 5 nov. 2016.
  7. The Comprehensive R Archive Network. Disponível em: <https://cran.fiocruz.br/>. Acesso em: 5 nov. 2016.
    URBANEK, S.; ARNOLD, T. iotools: I/O Tools for Streaming. [S.l: s.n.], 2015. Disponível em: <https://cran.r-project.org/web/packages/iotools/index.html>. Acesso em: 5 nov. 2016.

(favor avisar caso algum dos endereços endereço se altere)

açõesanálise de dadosarquivocotaçõesCSVdata miningetlExcelextração de dadoshistóricaibovespaimportarmineração de dadosprogramaçãoRrstudiosérietemporal

Leave a Comment

Related Story
%d bloggers like this: