第Tensorflow中使用cpu和gpu有什么區(qū)別目錄使用cpu和gpu的區(qū)別一些術語的比較(tensorflow和pytorch/cpu和gpu/)tensorflow和pytorchcpu和gpucuda

使用cpu和gpu的區(qū)別

在Tensorflow中使用gpu和cpu是有很大的差別的。在小數(shù)據集的情況下，cpu和gpu的性能差別不大。

不過在大數(shù)據集的情況下，cpu的時間顯著增加，而gpu變化并不明顯。

不過，我的筆記本電腦的風扇終于全功率運行了。

importtensorflowastf

importtimeit

importnumpyasnp

importmatplotlib.pyplotasplt

defcpu_run(num):

withtf.device('/cpu:0'):

cpu_a=tf.random.normal([1,num])

cpu_b=tf.random.normal([num,1])

c=tf.matmul(cpu_a,cpu_b)

returnc

defgpu_run(num):

withtf.device('/gpu:0'):

gpu_a=tf.random.normal([1,num])

gpu_b=tf.random.normal([num,1])

c=tf.matmul(gpu_a,gpu_b)

returnc

cpu_result=np.arange(m,dtype=np.float32)

gpu_result=np.arange(m,dtype=np.float32)

x_time=np.arange(m)

foriinrange(m):

k=k*10

x_time[i]=k

cpu_str='cpu_run('+str(k)+')'

gpu_str='gpu_run('+str(k)+')'

#print(cpu_str)

cpu_time=timeit.timeit(cpu_str,'from__main__importcpu_run',number=10)

gpu_time=timeit.timeit(gpu_str,'from__main__importgpu_run',number=10)

#正式計算10次，取平均時間

cpu_time=timeit.timeit(cpu_str,'from__main__importcpu_run',number=10)

gpu_time=timeit.timeit(gpu_str,'from__main__importgpu_run',number=10)

cpu_result[i]=cpu_time

gpu_result[i]=gpu_time

print(cpu_result)

print(gpu_result)

fig,ax=plt.subplots()

ax.set_xscale("log")

ax.set_adjustable("datalim")

ax.plot(x_time,cpu_result)

ax.plot(x_time,gpu_result)

ax.grid()

plt.draw()

plt.show()

藍線是cpu的耗時，而紅線是gpu的耗時。

一些術語的比較(tensorflow和pytorch/cpu和gpu/)

tensorflow和pytorch

pytorch是一個動態(tài)框架，tensorflow是一個靜態(tài)框架。tensorflow是一個靜態(tài)框架體現(xiàn)在：需要先構建一個tensorflow的計算圖，構建好之后這樣的一個計算圖是不能變的，然后再傳入不同的數(shù)據進去進行計算。這種靜態(tài)框架帶來的問題是：固定了計算的流程，勢必帶來不靈活性，如果要改變計算的邏輯或者是隨著時間變化的計算邏輯，這樣的動態(tài)計算tensorflow是是無法實現(xiàn)的。pytorch是一個動態(tài)框架，和python的邏輯一樣，對變量做任何操作都是靈活的。一個好的框架需要具備三點：（1）對大的計算圖能方便的實現(xiàn)（2）能自動求變量的導數(shù)（3）能簡單的運行在GPU上。這三點pytorch都可以達到tensorflow在gpu上的分布式計算更為出色，在數(shù)據量巨大的時候效率比pytorch要高。企業(yè)很多都是用的tensorflow，pytorch在學術科研上使用多些。pytorch包括三個層次：tensor/variable/module。tensor即張量的意思，由于是矩陣的運算，所以適合在矩陣上跑。variable就是tensor的封裝，封裝的目的就是為了能夠保存住該variable在整個計算圖中的位置，能夠知道計算圖中各個變量之間的相互依賴關系，這樣就能夠反向求梯度。module是一個更高的層次，是一個神經網絡的層次，可以直接調用全連接層、卷積層等神經網絡。

cpu和gpu

cpu更少的核，但是單個核的計算能力很強gpu:更多的核，每個核的計算能力不如cpu，所以更適合做并行計算，如矩陣計算，深度學習就是很多