GSpread

O GSpread é um pacote que possibilita a edição e obtenção de dados das planilhas do Google SpreadSheet, utilizando Python. Ou seja, é possível manipular os dados utiliznado toda uma variedade de packages do Python e inseri-los em Google Spreadsheets.

Outro pacote relevante para trabalhar junto é o df2gspread, que lê a tabela no formado do Pandas.

Aviso: Esse post tem a finalidade de mostrar os comandos básicos e me deixar com uma “cola” rápida para meu uso cotidiano. Todas os códigos são exemplificativos e podem/devem ser alterados, indicando o nome dos arquivos e diretórios corretamente.

Nota: É possível acessar esse post em formato pdf, diretamente por meio do repositório do GitHub ou ainda, de maneira interativa, usando o .

Importando Bibliotecas

As bibliotecas básicas, ou packages, necessárias para criação do mapa são:

• O GSpread, que é a biblioteca que lê e edita as tabelas do Google;
• O df2gspread é uma biblioteca que, junto com o GSpread, lê e escreve as tabelas no formato do Pandas.

import gspread
from oauth2client.service_account import ServiceAccountCredentials

from df2gspread import df2gspread as d2g
from df2gspread import gspread2df as g2d

Autenticando no Google Spreadsheet

Códigos necessários para “entrar” em modo de edição de uma planilha, a partir do python.

# Escopo Utilizado
scope = ['https://spreadsheets.google.com/feeds']

api_file = 'python-gspread-credentials.json'

# Lê a Credencial para Autenticação
credentials = ServiceAccountCredentials.from_json_keyfile_name(
    os.path.join('..', 'codes/vault', api_file),
    scope)

# Autenticação, de fato
gc = gspread.authorize(credentials)

Escolhe a planilha e aba a ser editada

# Abre a Planilha
wkb = gc.open_by_key('1bRwjoieInaRkmoyvlisMtDi-2kZ-5CvyKEQ2V_Xk1U8')    # Pelo ID da planilha
#wkb = gc.open_by_url('https://docs.google.com/spreadsheets/d/1bRwjoieInaRkmoyvlisMtDi-2kZ-5CvyKEQ2V_Xk1U8/edit#gid=0')    # Pela URL da planilha
#wkb = gc.open('Teste Python')               # Pelo nome da planilha

# Seleciona a primeira página da planilha
wks = wkb.get_worksheet(0)             # Pela ordem, começando com 0
#wks = wkb.worksheet('January')        # Pelo nome da aba

Escrevendo Dados

Célula Individual

# Pela notação padrão do Google Spreadshhet
wks.update_acell('A1', 'Dia e Hora')

# Pela notação de coordenadas
wks.update_cell(1, 2, 'Bingo!')

%run '~/Documents/SourceCode/codes/files/str_today.py'
wks.update_acell('A2', srt_today())

Conjunto de Células

# Cabeçalho
wks.update_acell('A1', 'Estado')
wks.update_acell('B1', 'Capital')

# Dicionário com os estados e as capitais
capitais = {'Paraíba': 'João Pessoa', 'Santa Catarina': 'Florianópolis', 'São Paulo': 'São Paulo'}

# Contador de colunas e celulas
column = 1
row = 2

for estado, capital in capitais.items():
    # Atualiza a celula 2 da coluna 1 com o nome do estado
    wks.update_cell(row, column, estado)

    # A coluna agora é a B
    column = 2

    # Atualiza a celula 2 da coluna 2 com o nome da capital
    wks.update_cell(row, column, capital)

    # A coluna agora é a A
    column = 1

    # Acrescenta mais um valor no numero da celula
    row += 1

# Atualiza um Conjunto de Células iguais
cell_list = wks.range('A1:C7')

for cell in cell_list:
    cell.value = '00'

# Update in batch
wks.update_cells(cell_list)

Arquivo para Google Spreadsheet

# Lendo e filtrando dados
empresas = pd.read_csv('data/empresas.xz')
empresas = empresas[empresas['state'] == 'SP']
empresas = empresas[empresas['city'] == 'SANTOS']

empresas.dtypes

from df2gspread import df2gspread as d2g

d2g.upload(empresas,
           gfile='1bRwjoieInaRkmoyvlisMtDi-2kZ-5CvyKEQ2V_Xk1U8',
           wks_name='Página1',
           start_cell='A1',
           credentials=credentials,
           col_names=True,
           row_names=False,
           clean=False)

wks.title

Lendo Dados

Célula Individual

# Pega o valor específico de uma célula
val = wks.cell(1,1).value
print(val)

val = wks.acell('A3').value
print(val)

# Seleciona todos os dados de uma coluna
val = wks.col_values(1)
print(val)

# Seleciona todos os dados de uma linha
val = wks.row_values(1)
print(val)

# Procurando uma localização específica
cell = wks.find('CENTRO')
print(f'Encontrado na celula {cell.row} coluna {cell.col}')

# Gera uma lista de listas
list_of_lists = wks.get_all_values()
list_of_lists

Google Spreadsheet para arquivo

from df2gspread import gspread2df as g2d

tab = g2d.download(gfile='1bRwjoieInaRkmoyvlisMtDi-2kZ-5CvyKEQ2V_Xk1U8',
                   wks_name='Página1',
                   start_cell='A1',
                   credentials=credentials,
                   col_names=True,
                   row_names=False)

tab.head(2)

# Lixo, com o df2gspread passou a ser desnecessário esse código
import pandas as pd

data = wks.get_all_values()
#data = wks.get_all_records(empty2zero=False, head=4, default_blank='',allow_underscores_in_numeric_literals=False)
headers = data.pop(0)

tab = pd.DataFrame(data, columns=headers)

tab.head(2)

Referências

• Toda introdução está em https://www.linkedin.com/pulse/manipulando-planilhas-do-google-usando-python-renan-pessoa
• Um guia de referências https://gspread.readthedocs.io/en/latest/user-guide.html
• https://df2gspread.readthedocs.io/en/latest/index.html

---

Exportando o Juptyter Notebook para outros formatos

O arquivo .ipynb pode ser exportado em formatos diversos. Abaixo carrego uma função que escrevi para facilitar o processo de exportação do arquivo em diferentes locais do PC para, posteriormente, atualizar os repositórios contidos no GitHub.

# %load '~/Documents/SourceCode/codes/files/export_jupyter.py'
def export_jupyter(path, extensions=['html', 'markdown', 'latex', 'pdf', 'python'], today=True):
    """
    Export .ipynb file to others formats
    :return: File in other formats
    """
    # Import Packages
    import os
    import datetime

    # Data
    timestamp = datetime.datetime.now()
    srt_today = (str(timestamp.year) + '-' +
                 str(f"{timestamp.month:02d}") + '-' +
                 str(f"{timestamp.day:02d}"))

    # Extensions
    for extension in extensions:
        if today==True:
            os.system('jupyter nbconvert --to {} {} --output {}'.
                      format(extension, get_jupyternotebook_name(),
                             os.path.join(path, srt_today+'-'+get_jupyternotebook_name().split('.')[0])))
            print('Arquivo {} exportado corretamente para o formato {} usando prefixo da data.'.
                  format(get_jupyternotebook_name(), extension))

        else:
            os.system('jupyter nbconvert --to {} {} --output {}'.
                      format(extension, get_jupyternotebook_name(),
                             os.path.join(path, get_jupyternotebook_name().split('.')[0])))
            print('Arquivo {} exportado corretamente para o formato {} sem usar prefixo da data.'.
                  format(get_jupyternotebook_name(), extension))

# %load '~/Documents/SourceCode/codes/files/get_jupyternotebook_name.py'
def get_jupyternotebook_name():
    """
    Returns the name of the current notebook as a string
    From https://mail.scipy.org/pipermail/ipython-dev/2014-June/014096.html
    :return: Returns the name of the current notebook as a string
    """
    # Import Packages
    from IPython.core.display import Javascript
    from IPython.display import display

    display(Javascript('IPython.notebook.kernel.execute("theNotebook = " + \
    "\'"+IPython.notebook.notebook_name+"\'");'))

    # Result
    return theNotebook

Com as funções para exportar o Jupyter Notebook e para obter o nome do arquivo .ipynb carregadas, basta exportar o arquivo, inicialmente para a pasta docs dentro do projeto e também, visando atualizar os posts do site, para a respectiva pasta.

export_jupyter('docs',['pdf'], False)
export_jupyter('/home/michel/Documents/SourceCode/michelmetran.github.io/_posts', ['markdown'], True)

Atualizando Repositório do Projeto e do site

Após as exportações dos arquivos nos formatos necessários, basta atualizar o repositório diretamente pelo Jupyter Notebook. Abaixo é atualizado o repositório desse projeto específico, bem como a derivação desse projeto no site.

%run '~/Documents/SourceCode/codes/git/update_github.py'

git_full('/home/michel/Documents/SourceCode/package_gspread', '.', 'Atualizando')
git_full('/home/michel/Documents/SourceCode/michelmetran.github.io', '.', 'Atualizando')