中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Spark2.4是否支持圖片格式數據源

發布時間:2021-12-16 21:04:19 來源:億速云 閱讀:157 作者:柒染 欄目:大數據

今天就跟大家聊聊有關Spark2.4是否支持圖片格式數據源,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。

Spark2.4開始支持內置的圖片數據源讀取器,可以直接讀取圖片的數據。

val df = spark.read.format("image").load("/opt/pic/")

目錄可以還可以是/path/to/dir/**和分區目錄。

Image Schema

讀取的數據會生成一個DF,該DF就一列列名字叫做 image。但是其實他是個嵌套數據結構,具體結構如下:

root|-- image: struct (nullable = true)|    |-- origin: string (nullable = true)|    |-- height: integer (nullable = true)|    |-- width: integer (nullable = true)|    |-- nChannels: integer (nullable = true)|    |-- mode: integer (nullable = true)|    |-- data: binary (nullable = true)

orgin:代表圖片的路徑。

nChannels:顏色通道的數量。對于灰度圖像,典型值為1,對于彩色圖像(例如,RGB),典型值為3,對于具有alpha通道的彩色圖像,典型值為4。

mode:整數標志,提供有關如何解釋數據字段的信息。它指定數據存儲的數據類型和通道順序。希望(但不強制)字段的值映射到下面顯示的OpenCV類型之一。OpenCV類型定義為1,2,3或4個通道,并為像素值定義了幾種數據類型。通道順序指定顏色的存儲順序。例如,如果有一個包含紅色,藍色和綠色組件的典型三通道圖像,則有六種可能的排序。大多數庫使用RGB或BGR。希望三(4)個通道OpenCV類型為BGR(A)順序。

OpenCV中的類型到數字的映射(數據類型x通道數)

Spark2.4是否支持圖片格式數據源

data:以二進制格式存儲的圖像數據。圖像數據表示為具有尺寸形狀(高度,寬度,n通道)和由schema字段指定的類型t的數組值的三維陣列。該數組以row-major順序存儲。

通道順序(channel order)

通道順序指定存儲顏色的順序。例如,如果您有一個包含紅色,藍色和綠色組件的典型三通道圖像,則有六種可能的排序。大多數庫使用RGB或BGR。預計三(4)個通道OpenCV類型為BGR(A)順序

案例

對于有監督學習,可以用label作為分區列,目前label僅僅支持數字類型。

Spark2.4是否支持圖片格式數據源

val spark = SparkSession  .builder()  .appName("Spark reads pics")  .master("local[2]")  .getOrCreate()
val df = spark.read.format("image").load("/opt/pic")
df.printSchema()df.select(col("label"),  col("image.origin"),  col("image.height"),  col("image.width"),  col("image.nChannels"),  col("image.mode")).show(1,false)
spark.stop()

Spark2.4是否支持圖片格式數據源

關于圖片處理,目前spark支持的算法并不是很多,希望后續版本繼續完善吧。

看完上述內容,你們對Spark2.4是否支持圖片格式數據源有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

平江县| 南投县| 伊宁县| 平乐县| 林甸县| 六安市| 东城区| 高台县| 济源市| 西藏| 通化市| 宣威市| 上虞市| 蕉岭县| 洛浦县| 秦皇岛市| 长沙市| 陆良县| 蒲城县| 岑巩县| 会东县| 绥宁县| 克东县| 托克托县| 河间市| 铜川市| 高陵县| 济阳县| 克拉玛依市| 乡宁县| 荃湾区| 建湖县| 白银市| 盐池县| 朝阳市| 大渡口区| 澎湖县| 沁阳市| 大姚县| 温宿县| 土默特右旗|