Start line:  
End line:  

Snippet Preview

Snippet HTML Code

Stack Overflow Questions
  /*
   * Licensed to the Apache Software Foundation (ASF) under one
   * or more contributor license agreements.  See the NOTICE file
   * distributed with this work for additional information
   * regarding copyright ownership.  The ASF licenses this file
   * to you under the Apache License, Version 2.0 (the
   * "License"); you may not use this file except in compliance
   * with the License.  You may obtain a copy of the License at
   *
  *     http://www.apache.org/licenses/LICENSE-2.0
  *
  * Unless required by applicable law or agreed to in writing, software
  * distributed under the License is distributed on an "AS IS" BASIS,
  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  * See the License for the specific language governing permissions and
  * limitations under the License.
  */
 
 package org.apache.pig.parser;
 
 import java.io.File;
 import java.net.URI;
 import java.util.List;
 import java.util.Set;
 
 import  org.antlr.runtime.CommonTokenStream;
 import  org.antlr.runtime.RecognitionException;
 import  org.antlr.runtime.tree.CommonTree;
 import  org.antlr.runtime.tree.Tree;
 
 public class QueryParserUtils {
 
     public static String removeQuotes(String str) {
         if (str.startsWith("\u005c'") && str.endsWith("\u005c'"))
             return str.substring(1, str.length() - 1);
         else
             return str;
     }
 
     public static void attachStorePlan(String scopeLogicalPlan lpString fileNameString func
             Operator inputString aliasPigContext pigContextthrows FrontendException {
         func = func == null ? pigContext.getProperties().getProperty(.PigStorage.class.getName()) : func;
 
         FuncSpec funcSpec = new FuncSpecfunc );
         StoreFuncInterface stoFunc = (StoreFuncInterface)PigContext.instantiateFuncFromSpecfuncSpec );
         
         fileName = removeQuotesfileName );
         FileSpec fileSpec = new FileSpecfileNamefuncSpec );
         String sig = alias + "_" + LogicalPlanBuilder.newOperatorKey(scope);
         stoFunc.setStoreFuncUDFContextSignature(sig);
         LOStore store = new LOStore(lpfileSpecstoFuncsig);
         store.setAlias(alias);
 
         try {
             stoFunc.relToAbsPathForStoreLocationfileNamegetCurrentDirpigContext ) );
         } catch (IOException ioe) {
             FrontendException e = new FrontendException(  ioe.getMessage(), ioe );
             throw e;
         }
 
         lp.addstore );
         lp.connectinputstore );
     }
 
     static Path getCurrentDir(PigContext pigContextthrows IOException {
         DataStorage dfs = pigContext.getDfs();
         ContainerDescriptor desc = dfs.getActiveContainer();
         ElementDescriptor el = dfs.asElement(desc);
         return new Path(el.toString());
     }
     
     static void setHdfsServers(String absolutePathPigContext pigContextthrows URISyntaxException {
         // Get native host
         String defaultFS = (String)pigContext.getProperties().get("fs.default.name");
         if (defaultFS==null)
             defaultFS = (String)pigContext.getProperties().get("fs.defaultFS");
         
         URI defaultFSURI = new URI(defaultFS);
         String defaultHost = defaultFSURI.getHost();
         if (defaultHost == nulldefaultHost = "";
                
        defaultHost = defaultHost.toLowerCase();
    
        Set<StringremoteHosts = getRemoteHosts(absolutePathdefaultHost);
                    
        String hdfsServersString = (String)pigContext.getProperties().get("mapreduce.job.hdfs-servers");
        if (hdfsServersString == nullhdfsServersString = "";
        String hdfsServers[] = hdfsServersString.split(",");
                    
        for (String remoteHost : remoteHosts) {
            boolean existing = false;
            for (String hdfsServer : hdfsServers) {
                if (hdfsServer.equals(remoteHost)) {
                    existing = true;
                }
            }
            if (!existing) {
                if (!hdfsServersString.isEmpty()) {
                    hdfsServersString = hdfsServersString + ",";
                }
                hdfsServersString = hdfsServersString + remoteHost;
            }
        }
    
        if (!hdfsServersString.isEmpty()) {
            pigContext.getProperties().setProperty("mapreduce.job.hdfs-servers"hdfsServersString);
        }
    }
     static Set<StringgetRemoteHosts(String absolutePathString defaultHost) {
         String HAR_PREFIX = "hdfs-";
         Set<Stringresult = new HashSet<String>();
         String[] fnames = absolutePath.split(",");
         for (String fnamefnames) {
             // remove leading/trailing whitespace(s)
             fname = fname.trim();
             Path p = new Path(fname);
             URI uri = p.toUri();
             if(uri.isAbsolute()) {
                 String scheme = uri.getScheme();
                 if (scheme!=null && scheme.toLowerCase().equals("hdfs")||scheme.toLowerCase().equals("har")) {
                     if (uri.getHost()==null)
                         continue;
                     String thisHost = uri.getHost().toLowerCase();
                     if (scheme.toLowerCase().equals("har")) {
                         if (thisHost.startsWith(HAR_PREFIX)) {
                             thisHost = thisHost.substring(HAR_PREFIX.length());
                         }
                     }
                     if (!uri.getHost().isEmpty() && 
                             !thisHost.equals(defaultHost)) {
                         if (uri.getPort()!=-1)
                             result.add("hdfs://"+thisHost+":"+uri.getPort());
                         else
                             result.add("hdfs://"+thisHost);
                     }
                 }
             }
         }
         return result;
     }
     static String constructFileNameSignature(String fileNameFuncSpec funcSpec) {
         return fileName + "_" + funcSpec.toString();
     }
    static String generateErrorHeader(RecognitionException exString filename) {
        return new SourceLocationfilenameex.line, ex.charPositionInLine ).toString();
    }
    @SuppressWarnings({ "unchecked""rawtypes" })
    static void replaceNodeWithNodeList(Tree oldNode, CommonTree newTree,
            String fileName) {
        int idx = oldNode.getChildIndex();
        CommonTree parent = (CommonTree) oldNode.getParent();
        int count = parent.getChildCount();
        List childList = new ArrayList(parent.getChildren());
        List macroList = newTree.getChildren();
        while (parent.getChildCount() > 0) {
            parent.deleteChild(0);
        }
        for (int i = 0; i < counti++) {
            if (i == idx) {
                // add only there is something to add
                if (macroList != null) {
                    parent.addChildren(macroList);
                }
            } else {
                parent.addChild((Tree) childList.get(i));
            }
        }
    }
     static File getFileFromImportSearchPath(String scriptPath) {
        File f = new File(scriptPath);
        if (f.exists() || f.isAbsolute() || scriptPath.startsWith("./")
                || scriptPath.startsWith("../")) {
            return f;
        }
        ScriptState state = ScriptState.get();
        if (state != null && state.getPigContext() != null) {
            String srchPath = state.getPigContext().getProperties()
                    .getProperty("pig.import.search.path");
            if (srchPath != null) {
                String[] paths = srchPath.split(",");
                for (String path : paths) {
                    File f1 = new File(path + . + scriptPath);
                    if (f1.exists()) {
                        return f1;
                    }
                }
            }
        }
        return null;
    }
    
    static QueryParser createParser(CommonTokenStream tokens) {
        return createParser(tokens, 0);
    }
    
    static QueryParser createParser(CommonTokenStream tokensint lineOffset) {
        QueryParser parser = new QueryParser(tokens);
        PigParserNodeAdaptor adaptor = new PigParserNodeAdaptor(
                tokens.getSourceName(), lineOffset);
        parser.setTreeAdaptor(adaptor);
        return parser;
    }
New to GrepCode? Check out our FAQ X