溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
1、當我做transfomer的時候沒有問題，可是一做到action操作就會報錯。
以下是幾個小問題：
distFile = sc.textFile(" hdfs://user/spark/test/201201.csv")
distFile.map(lambda s: len(s)).reduce(lambda a, b: a + b)
執行第一條沒問題，執行第二條的時候就會報錯：
Illegal character in scheme name at index 0: hdfs://user/spark/test/201201.csv
之后找了半天，發現寫地址的時候沒小心復制多了個空格，導致這個問題。
修改掉之后再一運行，又換了個錯誤：
大概是包括net什么的，具體沒保留，查了一下，修改地址：
distFile = sc.textFile("hdfs://master:8020/user/spark/test/201201.csv")
之后又報了個錯誤，pyspark.sql.utils.IllegalArgumentException: 'java.net.UnknownHostException: user'
這之后查了一些資料也沒有太有用的，突然我想為什么一定用絕對路徑，相對路徑試試。于是之后：
distFile = sc.textFile("hdfs://user/spark/test/201201.csv")
這次沒有問題了，正常執行，之前的問題應該是master:8020這部分，這個可以修改一些不同的設置試試，應該也可以解決，另外編程過程中盡量不要用絕對路徑，多用相對路徑。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
