00 - Organizing CSVs.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Imports\n",
    "import pandas as pd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Loading the dataframe\n",
    "df = pd.read_csv('../raw-data/Flights/flights.csv', header=0, engine='python', encoding='utf-8')\n",
    "# df = pd.read_csv('raw-data/Voos_Brasil/2000/VRA_do_MES_2000_01.csv', header=0, delimiter=';', engine='python', encoding='iso-8859-1')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['EMPRESA (SIGLA)', 'EMPRESA (NOME)', 'EMPRESA (NACIONALIDADE)', 'ANO',\n",
       "       'MÊS', 'AEROPORTO DE ORIGEM (SIGLA)', 'AEROPORTO DE ORIGEM (NOME)',\n",
       "       'AEROPORTO DE ORIGEM (UF)', 'AEROPORTO DE ORIGEM (REGIÃO)',\n",
       "       'AEROPORTO DE ORIGEM (PAÍS)', 'AEROPORTO DE ORIGEM (CONTINENTE)',\n",
       "       'AEROPORTO DE DESTINO (SIGLA)', 'AEROPORTO DE DESTINO (NOME)',\n",
       "       'AEROPORTO DE DESTINO (UF)', 'AEROPORTO DE DESTINO (REGIÃO)',\n",
       "       'AEROPORTO DE DESTINO (PAÍS)', 'AEROPORTO DE DESTINO (CONTINENTE)',\n",
       "       'NATUREZA', 'GRUPO DE VOO', 'PASSAGEIROS PAGOS', 'PASSAGEIROS GRÁTIS',\n",
       "       'CARGA PAGA (KG)', 'CARGA GRÁTIS (KG)', 'CORREIO (KG)', 'ASK', 'RPK',\n",
       "       'ATK', 'RTK', 'COMBUSTÍVEL (LITROS) - APENAS EMPRESAS BRASILEIRAS',\n",
       "       'DISTÂNCIA VOADA (KM)', 'DECOLAGENS', 'CARGA PAGA KM',\n",
       "       'CARGA GRATIS KM', 'CORREIO KM', 'ASSENTOS', 'PAYLOAD', 'HORAS VOADAS'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Check the columns\n",
    "df.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# df with company\n",
    "company = pd.DataFrame()\n",
    "company['Sigla'] = df['EMPRESA (SIGLA)']\n",
    "company['Nome'] = df['EMPRESA (NOME)']\n",
    "company['Nacionalidade'] = df['EMPRESA (NACIONALIDADE)']\n",
    "company.drop_duplicates(inplace=True)\n",
    "\n",
    "# df with aerodrome\n",
    "aerodrome = pd.DataFrame()\n",
    "aerodrome['Sigla'] = df['AEROPORTO DE ORIGEM (SIGLA)'].append(df['AEROPORTO DE DESTINO (SIGLA)'])\n",
    "aerodrome['Nome'] = df['AEROPORTO DE ORIGEM (NOME)'].append(df['AEROPORTO DE DESTINO (NOME)'])\n",
    "aerodrome['Pais'] = df['AEROPORTO DE ORIGEM (PAÍS)'].append(df['AEROPORTO DE DESTINO (PAÍS)'])\n",
    "aerodrome['Continente'] = df['AEROPORTO DE ORIGEM (CONTINENTE)'].append(df['AEROPORTO DE DESTINO (CONTINENTE)'])\n",
    "aerodrome.drop_duplicates(inplace=True)\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "final_df = pd.DataFrame()\n",
    "final_df['Empresa'] = df['EMPRESA (SIGLA)']\n",
    "final_df['Ano'] = df['ANO']\n",
    "final_df['Mes'] = df['MÊS']\n",
    "final_df['Aeroporto Origem'] = df['AEROPORTO DE ORIGEM (SIGLA)']\n",
    "final_df['Aeroporto Origem Pais'] = df['AEROPORTO DE ORIGEM (PAÍS)']\n",
    "final_df['Aeroporto Origem Continente'] = df['AEROPORTO DE ORIGEM (CONTINENTE)']\n",
    "final_df['Aeroporto Destino'] = df['AEROPORTO DE DESTINO (SIGLA)']\n",
    "final_df['Aeroporto Destino Pais'] = df['AEROPORTO DE DESTINO (PAÍS)']\n",
    "final_df['Aeroporto Destino Continente'] = df['AEROPORTO DE DESTINO (CONTINENTE)']\n",
    "final_df['Natureza'] = df['NATUREZA']\n",
    "final_df['Grupo de Voo'] = df['GRUPO DE VOO']\n",
    "final_df['Passageiros Pagos'] = df['PASSAGEIROS PAGOS']\n",
    "final_df['Passageiros Gratis'] = df['PASSAGEIROS GRÁTIS']\n",
    "final_df['Carga Paga'] = df['CARGA PAGA (KG)']\n",
    "final_df['Carga Gratis'] = df['CARGA GRÁTIS (KG)']\n",
    "final_df['Correio'] = df['CORREIO (KG)']\n",
    "# final_df['ASK'] = df['ASK']\n",
    "# final_df['RPK'] = df['RPK']\n",
    "# final_df['ATK'] = df['ATK']\n",
    "# final_df['RTK'] = df['RTK']\n",
    "final_df['Distancia'] = df['DISTÂNCIA VOADA (KM)']\n",
    "final_df['Decolagens'] = df['DECOLAGENS']\n",
    "final_df['Assentos'] = df['ASSENTOS']\n",
    "final_df['Payload'] = df['PAYLOAD']\n",
    "\n",
    "del df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "# Saving csvs\n",
    "company.to_csv('company.csv', header=1, index=False, encoding='utf-8')\n",
    "aerodrome.to_csv('aerodrome.csv', header=1, index=False, encoding='utf-8')\n",
    "final_df.to_csv('flights.csv', header=1, index=False, encoding='utf-8')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}