Python csv文件記錄流程代碼解析
1、合并所有測試集和訓(xùn)練集的文件：
使用cmd到所在盤下，輸入copy *.CSV all_***.csv即可
2、單獨(dú)提取異常數(shù)據(jù)列作為csv文件：
import csv
import codecs
#coding:utf-8
with open("G:\\data_release\\train1.0\\all_train.csv","rt",encoding="utf-8")as f:
reader=csv.DictReader(f)
column=[row['triggername'] for row in reader]
file_name="G:\\data_release\\train1.0\\triggername.csv"
file_csv = codecs.open(file_name,'w+','utf-8')
writer = csv.writer(file_csv, delimiter=' ', quotechar=' ', quoting=csv.QUOTE_MINIMAL)
for data in column:
writer.writerow(data)
雖然可以寫入，但是出現(xiàn)亂碼原因應(yīng)該為csv的BOM沒有更改
解決方法：將encoding='utf8'改為encoding='gb18030'
但是打開文件發(fā)現(xiàn)并不是所有內(nèi)容都在第一列，有一些出現(xiàn)第二列，原因是一句話里面出現(xiàn)了逗號(hào)
解決方法：遍歷列表將逗號(hào)改為空格
i=0
while i < len(column):
column[i].replace(","," ")
i+=1
不知道怎么的不適合我用的csv文件，還在繼續(xù)檢查中
3、刪除一些字符，如果知道字符的位置可以在列表的基礎(chǔ)上進(jìn)行操作
去除首部空格 line=line.lstrip()
4、導(dǎo)入一個(gè)csv文件的時(shí)候 data = pd.read_csv('G:\pytorch\data1.csv',encoding='utf-8')
報(bào)錯(cuò)的內(nèi)容是這樣的：
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 0: invalid continuation byte
修改至data = pd.read_csv('F:\data1.csv', encoding='unicode_escape',header=None,sep = '\t',error_bad_lines=False)也沒有用
刪除整行重復(fù)項(xiàng)：
from more_itertools import unique_everseen
with open('F:\data1.csv','r') as f, open('F:\data2.csv','w') as out_file:
out_file.writelines(unique_everseen(f))
5、unexpected index是代碼的縮進(jìn)出現(xiàn)問題
6、文本文件用rt，二進(jìn)制文件用rb打開
with open("fer2013.csv", "rt", encoding="utf-8") as vsvfile:
reader = csv.reader(vsvfile)
rows = [row for row in reader]
print(rows)
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python+OpenCV實(shí)現(xiàn)將圖像轉(zhuǎn)換為二進(jìn)制格式
今天小編就為大家分享一篇Python+OpenCV實(shí)現(xiàn)將圖像轉(zhuǎn)換為二進(jìn)制格式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-01-01
利用Python對(duì)文件夾下圖片數(shù)據(jù)進(jìn)行批量改名的代碼實(shí)例
今天小編就為大家分享一篇關(guān)于利用Python對(duì)文件夾下圖片數(shù)據(jù)進(jìn)行批量改名的代碼實(shí)例，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2019-02-02
本文主要介紹了ubuntu遷移anaconda到另外的目錄，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
今天小編就為大家分享一篇Django 淺談根據(jù)配置生成SQL語句的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了Python的numpy選擇特定行列的方法,有時(shí)需要抽取矩陣中特定行的特定列,比如,需要抽取矩陣x的0,1行的0,3列,結(jié)果為矩陣域,需要的朋友可以參考下2023-08-08
python獲取beautifulphoto隨機(jī)某圖片代碼實(shí)例
python獲取beautifulphoto隨機(jī)某圖片代碼實(shí)例,大家參考使用吧2013-12-12
python解決報(bào)錯(cuò)ImportError: Bad git executable.問題
這篇文章主要介紹了python解決報(bào)錯(cuò)ImportError: Bad git executable.問題。具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-06-06
解決mnist數(shù)據(jù)集下載的相關(guān)問題
這篇文章主要介紹了解決mnist數(shù)據(jù)集下載的相關(guān)問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
Python實(shí)現(xiàn)火柴人的設(shè)計(jì)與實(shí)現(xiàn)
火柴人（Stick Figure）是一種極簡風(fēng)格的圖形,通常由簡單的線段和圓圈組成,卻能生動(dòng)地表達(dá)人物的姿態(tài)和動(dòng)作,本文旨在介紹如何使用Python實(shí)現(xiàn)火柴人的設(shè)計(jì)與繪制,通過編程的方式,讓讀者了解火柴人背后的基本原理和實(shí)現(xiàn)方法,需要的朋友可以參考下2024-10-10
pytorch教程之Tensor的值及操作使用學(xué)習(xí)
這篇文章主要為大家介紹了pytorch教程中關(guān)于Tensor的操作使用，有需要的朋友可以借鑒參考下，希望可以有所幫助，祝大家升職加薪，共同進(jìn)步2021-09-09